1回答
我尝试在Python语言中重命名Apache Beam Pipeline中的bigquery行，如下面的示例所示:在col1.2中将1个PCollection重命名为col1，在Col2.2中重命名为col2，将另一个重命名为3个字段。如何正确应用筛选器以获得包含重命名行的第二个PCollection？
浏览 10提问于2020-04-09得票数 1
我从这个中了解到，使用".fromQuery“比使用".from”更昂贵、更慢，但是如果我需要从多个表中检索数据，我该怎么办？
浏览 1提问于2020-02-20得票数 0
使用下面的代码，当我试图写入BigQuery时，会得到以下错误Exception in thread "main" org.apache.beam.sdk.Pipeline基于StackTrace，看起来错误实际上在BigQueryIO中--存储在桶中的文件有0字节，这可能会导致BigQueryIO出现问题。这项工作应该真的能够在批处理或流模式下运行，我最好的猜测是，如果这听起来合理的话
浏览 0提问于2017-06-01得票数 0
回答已采纳
我在试着2.每15分钟使用文件加载将事件从Cloud /Sub加载到BigQuery，以节省流插入的成本。3.目标将根据JSON事件中的"user_id“和"campaign_id”字段而不同，"user_id“将是数据集名称，"campaign_id”将是表名。分区名称来自事件时间戳。但是我无法访问JSON消息中的"campaign_id“和"user_id”字段。因此，我的事件没有路由到正
浏览 0提问于2018-04-17得票数 0
回答已采纳
我必须编写一些一次性的梁/数据流管道，从BigQuery读取，提取两个字段，然后将它们写到其他地方。与其尝试建立基于BigQuery模式的自动生成的Avro代码，我计划只使用索引到GenericRecord中，然后将我关心的字段转换为它们的类型。不幸的是，我找不到任何关于BigQuery模式类型映射到哪种类型的文档。从四处窥探看，地图看起来是：
浏览 1提问于2018-07-21得票数 0
回答已采纳
我正试图在google中构建python管道，而google云数据流似乎是一个不错的选择。当我研究文档和开发人员指南时，我发现apache梁总是附在数据流上，因为它是基于它的。我可能会在apache beam中找到处理我的数据文件的问题。
如果我想用DataFlow在原生python中构建我的ETL脚本，这可能吗？还是有必要用阿帕奇光束进行ETL？如果DataFlow仅仅是为了使用Apache而构建的呢？是否有无服务器的google云
浏览 4提问于2021-08-23得票数 1
我写了一个数据流作业使用阿帕奇梁，这需要从ftplib导入FTP_TLS服务器使用FTPS导入BigQuery中的数据。我尝试将包放在setup.py中，以导入ftplib包，但仍然存在相同的错误。
Apache-Beam是否不支持来自FTPS服务器的数据?如果它支持，那么如何解决该错误？
浏览 8提问于2020-06-09得票数 0
我是阿帕奇·梁的新手。根据我们的要求，我需要传递一个包含5到10个JSON记录的JSON文件作为输入，并逐行读取这个JSON数据并存储到BigQuery中。请任何人帮助我完成下面的示例代码，这些代码试图使用apache读取JSON数据： pipeline
.apply("ReadMyFile
浏览 1提问于2018-12-24得票数 1
我正在使用apache在一个管道中实现三个步骤。如果有来自mongodb数据的新列，从mongodb中读取数据，更新bigquery中的模式，并将该数据的新模式构建为bigquery i
浏览 4提问于2021-11-18得票数 1
现在，我想以编程的方式做两件事--第一，每当这个参数被用于新名称时，我想重命名它。第二，如果其他梁/柱族中没有定义这个参数(新名称)，我想把它添加到这些族中。FamilyParameter *，"Label Group")，但是FamilyManager选项没有很好的文档记录(我甚至不确定列出的"FamilyParameter“列表是否匹配在".rfa”文件中定义的参数有人能给我提供关于如何为已经在我的项目中的家庭添加或
浏览 3提问于2014-07-11得票数 2
我不知道如何在bigquery中高效地完成这项工作，所以我在考虑使用数据流。然后我们需要将PCollection写回bigquery表，表名可以是key_table。record：(record‘’splitcol‘，record)) | beam.GroupByKey() | beam.io.Write(beam.io.BigQuerySink)
现在的关键问题是，在最后一步中，如何根据PCollection中每个元素的值写入不同的表。但我是一个python爱好者，不确定在Python
浏览 9提问于2017-07-13得票数 0
我的组织计划在BigQuery中存储一组数据，并希望定期提取其中的一些数据并将其带回本地数据库。在回顾我在网上找到的关于Dataflow的内容时，最常见的例子是从另一个方向移动数据-从本地数据库到云。是否可以使用Dataflow将数据从云中带回我们的系统？
浏览 22提问于2020-07-07得票数 0
回答已采纳
基本上，我正在使用apache beam python SDK在Google Cloud Dataflow上运行一个管道。如果是第一条具有ID的消息，则将ID作为键添加到我的字典中，并将接收到的消息作为值，否则不更改字典。基本上，每次收到新的关键字时，我都会向字典中添加一个关键字。我目前编写管道的方式是有效的，但是现在只有一个工作者在处理gcp数据流工作。我不知道如果另派一名工人，会否出现问题。 在这里，我添加了代码的简化版本，但实际的代码有多个分支来检查不同类型的事件。
浏览 12提问于2019-06-20得票数 0
我想从原始IFC文件中检索数据。我正在用Xbim试试这个。我可以检索元素，但不能获得特定的几何数据。我需要位置，边界框。
可以用xbim来完成这个任务吗？有什么替代xbim的方法吗?在我的例子中，国际金融公司包括墙壁，开口，板，梁和螺柱。我需要他们的相关几何图形和位置。横梁和螺柱都有钻孔。但这些钻孔不属于任何国际金融公司实体，如IfcOpeningElement或ifc空洞。我还尝试使用Revit来获取data.But --转换中存在问题，就像它在很大程度上依赖于Ifc
浏览 1提问于2019-06-14得票数 2
1回答
在示例中，我看到了三个变体： taxi_pipeline_flink.py、taxi_pipeline_kubeflow.py、taxi_pipeline_simple.py假设即使没有安装气流，taxi_pipeline_simple.py也会运行，这是正确的吗？我认为没有，因为它使用"AirflowDAGRunner“。如果没有，那么你能运行TFX只有梁和它的转轮吗？如果是的话，为何没有这样的例子呢？在t
浏览 0提问于2019-05-17得票数 6
回答已采纳
1回答
是否可以在BigQuery中运行python函数？这里可能的备选办法是：
我不仅希望使用javascript重写上面的内容(这可能是最简单的方法)，而且我正在寻找一个更通用的解决方案，如果存在的话--在这里我可以使用p
浏览 1提问于2019-04-01得票数 27
我在BigQuery中有一堆表要重命名。造成这种情况的主要原因是我希望在查询中使用特性。我的表名的原始格式并不能很好地处理此功能。
是否可以在BigQuery中以编程方式/轻松地重命名许多表？
浏览 1提问于2017-01-27得票数 0
回答已采纳
我观察到，当google-cloud-pubsub (在我的例子中是0.21.1-beta)是一个依赖项时，Apache光束抛出了Jetty ALPN/NPN has not been properlyApache梁版本- 2.1.1
浏览 0提问于2017-11-08得票数 0
在浏览时，我看到了Dataflow SQL。它和beamSQL有什么不同吗？
浏览 12提问于2020-02-17得票数 1
回答已采纳
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号