在GCP Composer上创建气流DAG
在GCP Composer上创建气流DAG
提问于 2018-11-30 16:03:12
我刚刚了解了GCP作曲家，并试图将DAG从我当地的气流实例转移到云端，并有几个关于转换的问题。
- 在本地实例中，我使用
HiveOperator从hive读取数据，并创建表并将其写回hive中。如果我必须在GCP中这样做，这怎么可能呢？我是否必须将我的数据上传到Google，HiveOperator是否在GCP中工作？ - 我有一个DAG，它使用
sensor来检查另一个DAG是否完成，这在Composer上是可能的吗？
回答 2
Stack Overflow用户
发布于 2018-11-30 21:08:43
是的，Composer只是管理Apache气流，所以您可以这样做。
确保您使用与本地使用的相同版本的气流。云编写器目前支持气流1.9.0和1.10.0。
Stack Overflow用户
发布于 2018-12-07 15:37:25
作曲家有连接存储。请参阅菜单管理->连接。检查可用的连接类型。
传感器是可用的。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/53560978
复制相关文章
相似问题
腾讯云开发者
