我有一个流式作业，在这个作业中，我在监听来自PubSub的消息，然后从BigQuery读取数据。使用从PubSUb接收的数据来查询数据。这意味着我需要动态形成查询，然后将其传递给BigQueryIO.Read.fromQuery()函数。下面的代码将从BigQuery读取数据并返回一个TableRow，但它给了我NullPointerException，我的代码正在执行要读取的数据。
public class RequestDailyUsageTransform extends PTransform<PCollection<DailyUsageJob>, PCollectio
浏览 4提问于2017-01-31得票数 0
腾讯云通信使用的时候。发送文件消息，如果是u盘中的文件，在发送的时候，拔出u盘，会杀死进程，怎么解决。目测是sdk中对发送文件的地址上传数据流没有做空指针的判断；
浏览 270提问于2018-07-11
在google数据流文档中，可以很容易地创建自定义选项，并在管道工厂注册它们。然而，当尝试这样做并初始化自定义options对象时，当在运行在google云上的处理逻辑中调用它们时，我最终会得到一个空指针异常。我必须在上下文中传递它，还是可以以其他方式传递它？我尝试在某个对象中传递它，并遇到序列化错误。
浏览 3提问于2016-06-21得票数 0
回答已采纳
1回答
我想使用Spring与Apache光束，这将运行在谷歌云数据流运行。数据流作业应该能够在执行管道步骤时使用Spring Runtime应用程序上下文。对于自动连接的bean，我得到了空指针异常。我猜问题在于，在运行时上下文对工作线程不可用。
浏览 9提问于2019-10-05得票数 2
1回答
对数据流错误设置数据流资源监视和警报的最佳方法是什么？检查云监视-数据流没有列出那里-没有可用的指标。检查错误报告-它也是空的，尽管我的一些流失败。
浏览 2提问于2016-10-20得票数 1
回答已采纳
我为Google Cloud Messaging实现了客户端，它在这里显示错误是null pointer exception
浏览 1提问于2014-04-23得票数 0
我们的谷歌云数据流作业低于警告：
Rpc到作业-vqmu-线束-9lss:12345完成了错误DEADLINE_EXCEEDED:超过了截止日期找不到这些错误的含义。
浏览 2提问于2020-06-10得票数 0
要从Composer环境启动数据流作业，我需要有PyPi包。当我试图通过接口或云shell添加此包时，构建失败。它会引发以下错误： i 2020-03-05T08:13:18.539300693ZI 2020-03-05T08:13:18.5398783
浏览 3提问于2020-03-05得票数 0
回答已采纳
我正在运行一个作业的谷歌数据流编写的阿帕奇光束，从BigQuery表和文件读取。转换数据并将其写入其他BigQuery表。作业“通常”会成功，但有时当我从大型查询表中读取数据时，会随机得到空指针异常，并且作业会失败：at我读BQ的方式很简单：如果有任何帮助，我将不胜感激。
有没有人？
浏览 0提问于2017-06-23得票数 2
1回答
我正在尝试使用云数据流来处理相当数量的记录。我的源是google云存储，我的目标是cloud SQL(MySQL)。我有以下代码要写入接收器(Cloud SQL)。
浏览 41提问于2019-12-05得票数 0
回答已采纳
1回答
使用数据流模板，即云存储文本到BigQuery (流)模板，过去可以将"inputFilePattern“(即:您想要处理的文本的云存储位置)描述为正则表达式。不幸的是，它现在抛出这个错误消息："Object not found“。 有没有其他方法可以上传谷歌存储位置上的所有文件，命名约定与BigQuery类似？ 请看以下截图： ? ?
浏览 11提问于2020-09-08得票数 0
我是谷歌云数据流的新手。Dexec.mainClass=com.nyt.dataflowPoc.WordCount -Dexec.args=“--项目=cdfpoc-1264--阶段位置=gs://poc位置/分段--运行器=分块数据流水线运行器--输出=gs://poc-位置”
它给了我下面的错误。原因: com.google.api.client.googleapis.json.GoogleJsonResponseException: 400错
浏览 2提问于2016-03-29得票数 1
错误："Commit failed, will be retried at higher level but may not succeed"完全错误： {
"insertId": "7054061089043139090:270578:0:287794",dataflow.googleap
浏览 9提问于2022-08-21得票数 2
我在IntelliJ中测试了我的数据流java应用程序，它运行得非常好。但是，当在linux系统中运行数据流jar文件时，出现了以下问题：
这是我用于数据流的选项：--project=myproject --stagingLocation=gs://mybucket/以下是出现此目录问题的原因：
我查找了maven程序集jar与maven树荫jar之间的区别，发现FileSystemRefistrar指向了错误的文件。，我必须将这两个库按以下顺序排列：
束流运行程序
浏览 0提问于2018-03-21得票数 0
回答已采纳
1回答
我使用下面的apache库来运行数据流作业，从BigQuery读取数据，并存储/写入Cassandra。梁-sdks java-io-cassandra- 2.6.0
由于> 2.3版本支持saveAsync，我
浏览 1提问于2018-10-11得票数 2
我正在运行一个云数据流作业，该作业应该将数据写入到我的项目的一个存储桶中该作业似乎被以下消息卡住了 检查授予控制器服务帐户的权限 我不明白这是为什么，因为桶属于我的项目。 有人能帮上忙吗？
浏览 14提问于2020-04-10得票数 0
1回答
我目前正在使用一个谷歌DataFlow Flex模板(云数据流到BigQuery)，我正在考虑使用一个更新版本的模板，而不是我目前在生产中的模板。有没有什么地方可以查看更新版本的模板的发行说明，以显示已经修复了哪些错误或添加了哪些功能-我似乎在任何地方都找不到这些？这些都存在吗？
浏览 16提问于2021-08-31得票数 1
回答已采纳
我知道我们有配置参数，您可以指定网络和子网，我试过这样做，但是对于共享的VPC网络，它给了我这个错误。
浏览 0提问于2018-07-27得票数 0
回答已采纳
2回答
我有一个需要触发云功能的需求，一旦文件被放入另一个项目的google云存储桶中，云函数就会触发数据流作业。谷歌文档说这是不可能的，请看这里的
但是，我尝试这样做，我的云功能在部署时失败了，错误如下。
浏览 1提问于2021-03-12得票数 0
回答已采纳
我正在谷歌云数据流上构建一个波束管道。
这是令人困惑的，因为明显的数据流有能力写入桶，它创建了一个暂存文件夹。
您能确认没有一个现有的GCS对象与您试图使
浏览 6提问于2017-06-29得票数 5
回答已采纳
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号