我试图在管道的各个阶段之间传递我生成的TableRow，并得到以下错误：com.google.cloud.dataflow.sdk.Pipeline协议的描述符递归地构建我的TableRow -我递归地遍历描述符深度优先(因为protobuf可能有嵌套的定义)，并在遍历时构建Ta
浏览 1提问于2017-07-11得票数 0
回答已采纳
尝试使用数据流执行GoGroupByKey时遇到此错误。在高层次上，我想加入两个PCollection，一个是KV<String, self-defined-class>类型，另一个是KV<String, TableRow>类型。我正在使用TupleTags、KeyedPCollection和CoGroupByKey进行标准连接，非常类似于中列出的示例
PCollection<KV<String, TableRow>&g
浏览 1提问于2016-03-24得票数 1
在继续ETL之前，我想使用管道将Google Storage中的文档发送到从其中提取数据的web服务。
浏览 9提问于2017-03-14得票数 0
回答已采纳
我是数据流新手，如果我犯了什么错误，请原谅， @Override TableRow但是它给了我一个由“
浏览 0提问于2018-02-02得票数 0
我正在尝试使用Google Cloud Dataflow从BigQuery表中提取数据。
我的BigQuery表有很少的空值(对于String数据类型)和null (对于Numeric数据类型)。当我尝试使用BigQueryIO.readTableRows().fromQuery(select * from table_name)提取数据流中的数据时，我看不到具有空值的列。我如何才能将所有列都作为TableRow对象
浏览 1提问于2019-12-16得票数 1
我在大约43分钟前启动了13个数据流作业，它们都处于“未启动”状态。stacktracer或GCP日志记录中没有日志。Another answer on stack overflow让谷歌解决了他们这一端的问题。 我已经尝试了我能找到的所有其他答案。我的数据流api已启用(2天前我正在运行作业，没有任何问题，没有任何变化)。没有要检查的日志，所以这是个死胡同。我检查了我的配额，没有一个是节流的。 任何来自谷歌或有其他
浏览 15提问于2019-06-27得票数 0
我已经升级到新的谷歌数据流1.6版，当我在本地机器上测试时，我在管道的末尾得到了一个java.lang.IllegalStateException。我在1.5.1版本中没有这个问题。这不仅仅发生在实时环境中，只发生在本地。这是新版本的bug吗？有必要对我的代码进行更改以避免这些错误吗？
我附加了我的管道的一部分，试图找到问题。PCollection<KV&l
浏览 0提问于2016-06-14得票数 2
1回答
我正在Dataflow 2.x中创建一个管道，它接收来自Pubsub队列的流输入。问题在于，来自BigQuery的映射数据集非常大--任何将其用作侧输入的尝试都会失败，因为数据流运行程序会抛出错误"java.lang.IllegalArgumentException: ByteString2)键值对映射
在这个策略中，我在管道的第一部分读取了BigQuery数据和Pubsub数据，然后通过ParDo转换运行每个数据，这些转换将PColle
浏览 4提问于2017-11-27得票数 12
错误7544 - nio-8080-exec-7 s.e.ErrorMvcAutoConfiguration$StaticView :无法为请求路由和异常呈现错误页[无法编写JSON:无限递归(StackOverflowError)；嵌套异常是com.fasterxml.jackson.databind.JsonMappingException:无限递归(StackOverflowError) (通过引用链: com.google.cloud.firestore.Fir
浏览 7提问于2020-10-04得票数 0
1回答
我试图在我的项目中使用数据流API。在云仪表板中，我使用指定的链接启用了所有API：由: java.lang.RuntimeException:未能创建工作流作业引起:项目尚未启用请使用为您的项目激活“数据流”API。在com.google.cloud.data
浏览 2提问于2016-03-20得票数 0
回答已采纳
1回答
我是数据流的新手，并且尝试在大查询中动态获取表的模式。此外，我还需要在BigQueryIO.write.to()中使用动态目标类来动态获取目标表的名称。但是为了动态地获取模式，我使用了BigQuery片段，它接受datasetId和tableId作为输入，并返回给定表的模式。当尝试运行带有代码段的管道时，它会给出下面提到的错误。;
import com.google.cloud.b
浏览 2提问于2018-07-06得票数 0
3回答
我正在做一些ETL从一个CSV文件在GCS到烧烤，一切正常工作，除了日期。我的表中的字段名是TEST_TIME，类型是DATE，所以在TableRow中，我尝试传递一个java.util.Date、一个com.google.api.client.util.DateTime、一个字符串我收到了这样的错误消息:无法将非字符串JSON值转换为DATE类型。字段: TEST_TIME；值：
在使用DateTime时<
浏览 2提问于2017-04-06得票数 5
回答已采纳
4回答
我正在尝试遵循中的这个简单的数据流示例。
我已经成功地安装了数据流管道插件和gcloud SDK (以及Python2.7)。但是，当我转到run configurations并将Pipeline Arguments选项卡更改为选择BlockingDataflowPipelineRunner时，在输入创建存储桶并设置我的项目-at com.google.cloud.dataflow.sdk.repackaged.co
浏览 0提问于2016-03-19得票数 7
我已经在eclipse中安装了google cloud数据流插件。操作系统: Mac Eclipse版本: 4.6.3
浏览 1提问于2017-09-07得票数 1
我的数据流管道一直运行良好直到最后一次运行。今天，当我在一个新的数据集上运行它时，我开始获得NullPointerException。问题是，异常似乎不是来自我的代码(在堆栈跟踪中的任何地方)，如下所示-
这是数据流框架中的一个错误，还是(在isSplitOperationTooLargeForDataflowService中似乎出现了异常)，这
浏览 1提问于2016-07-04得票数 0
回答已采纳
1回答
我正在使用数据流模板将数据写入嵌套数组BQ表(表中的数组名为-merchant_array)。有时它运行良好并加载数据，但有时它在运行时给了我这个错误。(through reference chain: com.google.api.services.bigquery.model.TableRow["null"])
“消息”：“读取数据时出错，错误消息:从位置223615开始行中的JSON解析错误:只有可选字段可以
浏览 1提问于2020-07-20得票数 0
回答已采纳
我一直在编写一个数据流管道，并且正在使用flex模板。 我的代码从avro读取并处理它没有问题。但是当涉及到WriteToAvro或WriteToText时，数据流作业会失败，而且看起来像是在模板验证时失败。我完全没有理由这样做。 我试过很多方法。删除输出文件的参数并将其硬编码到中。仅供参考，当我删除最后一步并运行“ProcessData”步骤时，一切都运行得很顺利。这是最后一个刚刚中断的写入步骤。 编辑以添加需求文
浏览 9提问于2021-06-27得票数 0
我试图通过一个(已经存在的) AppEngine应用程序启动数据流作业。DataFlow作业读取存储在DataStore中的GAE应用程序生成的数据，并将处理过的数据写入BigQuery。:327)at com.google.cloud.datafl
浏览 8提问于2016-03-21得票数 1
回答已采纳
我可以使用spring-cloud-dataflow(kubernetes)来执行递归任务吗？我需要根据当前结果创建流的新实例(递归)。我需要任务的分布式处理。据我所知，数据流使用自己的消息代理(兔，kafka)。我是否需要安装另一个代理，或者我可以在数据流代理中创建队列？3)流与任务？
thx
浏览 2提问于2016-11-28得票数 0
1回答
从Google读取数据
、、、、
我是管道世界和Google的新手。错误：
线程"main“java.lang.IllegalArgumentException中的异常在com.google.cloud.dataflow.sdk.io.BigQueryIO$Read$Boun
浏览 3提问于2016-01-20得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
