我有一个谷歌云数据流作业(使用apache beam python sdk)计划每6分钟后，内部读取一个大查询表，做一些转换，并写入到另一个大查询表。此作业已开始间歇性失败( 10次中约4次)，错误跟踪如下。Exists: Job bbb-erizo:asia-northeast1.beam_bq_job_QUERY_AUTOMATIC_JOB_NAME_a2207822-8_754",
"errorsglobal",
浏览 15提问于2021-02-17得票数 3
在执行数据流作业时，我得到了一个持续的错误：
BigQuery导入作业"dataflow_job_838656419“失败。，：BigQuery为"TestProject”项目中的数据集"TestDataSet“中的表"TestTable”创建导入作业。，：BigQuery执行失败。：HTTP传输
浏览 4提问于2016-08-29得票数 1
回答已采纳
我已经创建了一个标准的PubSub到BigQuery数据流。然而，为了确保我不会在离线时增加巨额费用，我取消了数据流。在GCP控制台中，似乎没有重新启动它的选项--这是通过控制台还是通过shell (如果是，如何实现的)进行的吗？
浏览 11提问于2018-01-03得票数 12
回答已采纳
1回答
我有一个管道，它需要一个数据流作业才能运行。我使用gcloud命令启动了一个数据流作业，工作时间超过了一个月。但是，由于最近三天，数据流作业在10-20秒内失败，有以下错误日志。我使用的命令是： --bigquery-project my_pro
浏览 3提问于2022-01-27得票数 0
回答已采纳
我在数据流上做的工作遇到了麻烦。下面是上下文，我使用以下路径在bigquery上创建了一个数据集现在，我想在数据流上运行一个作业，然后在google我可以看到一个新作业正在排队，但大约5分钟后，作业就会失败，并得到以下错误消息：
错误2021-09-29T18:06:00.795ZInid/不受支持<em
浏览 1提问于2021-09-29得票数 1
1回答
如何在BigQuery中跳过CSV文件中的错误记录？我尝试过使用以下函数：我在输入CSV中有一条错误的记录。但是当我使用上面的函数时，代码返回null，并且代码失败，而不是忽略错误的记录。
浏览 1提问于2015-04-09得票数 0
我们正在编写一个数据流作业，将数据从存储桶中的JSON写入到BigQuery数据集。存储桶和BigQuery数据集都位于区域X中。但是，在区域X中无法使用数据流端点。最近的区域是Y。因此，我已经将Dataflow作业区域设置为Y，但区域设置为X。因此，所有的计算实例都是在区域X中旋转的。但是，数据流作业仍然失败，错误如下：
无
浏览 4提问于2020-03-05得票数 0
1回答
我们有多个作业(用Java /Kotlin编写)，它们可以以两种不同的方式运行：
当从用户帐户运行数据流作业时，Dataflow在我们的大多数Dataflow用例中，我们在项目A中运行Dataflow作业，而在项目B中从BigQuery中读取数据流作业。因此，我们<em
浏览 0提问于2018-12-05得票数 3
1回答
权限问题
、
这里是GCP的初学者。我正在测试GCP数据流，作为IOT项目的一部分，以便将数据从Pub/Sub转移到BigQuery。我从主题的页面“”按钮中创建了一个数据流作业。除了无法删除数据流的问题外，我还遇到了以下问题：工作流失败。原因:刷新您的凭据存在问题。请检查: 1.为您的项目启用了
浏览 2提问于2021-04-10得票数 0
我正在使用数据流kafka到bigquery模板。启动数据流作业后，它会在队列中停留一段时间，然后失败，出现以下错误：在应聘工作时，我提供了以下参数：
kafka主题名引导服务器ip和端口(私有ip)
浏览 3提问于2020-12-07得票数 0
我们的数据流作业之一将其输出写入BigQuery。我对如何在底层实现这一点的理解是，Dataflow实际上以JSON格式将结果(切分)写入GCS，然后启动一个BigQuery加载作业来导入该数据。但是，我们已经注意到，一些JSON文件在作业之后不会被删除，不管它是成功还是失败。错误消息中没有警告或建议不会删除文件。当我们注意到这一点时，我们看了一看我们的桶，它有数百个来自失
浏览 5提问于2015-05-12得票数 6
回答已采纳
我的csv文件有3941495条记录，我检查了我的文件，压缩后它正好有3941495条记录，但是服务器上的结果是3941489条记录。我得到了状态"CompletedWithWarnings"，这是状态信息
有人知道怎么修吗？或者如何下载错误日志？
浏览 5提问于2016-07-07得票数 0
回答已采纳
我正在检查从Redshift迁移到BigQuery的可行性。我需要在BigQuery上实现以下用例的帮助。下面是我们目前在Redshift中是如何做到的-我们如
浏览 0提问于2016-11-08得票数 1
1回答
当我使用DataflowRunner提交数据流作业时(我使用的是使用Pub/Sub源代码的流作业)，我在定义BQ表名的执行参数(假设错误的表名是project)时犯了错误，作业引发了一些错误。然后，我使用--update命令更新了作业，使用了正确的表名，但是作业再次抛出了一些错误--即错误告诉我，我仍
浏览 2提问于2020-12-07得票数 2
回答已采纳
我希望从Cloud /Sub中读取数据，并使用将其写入BigQuery。每个数据都包含一个表ID，其中将保存数据本身。
public class StarterPipeline {
private static final Logger
浏览 4提问于2017-12-28得票数 6
回答已采纳
我们看到了BigQuery在第一次尝试调用getQueryResults (例如，没有分页令牌)时引发的查询错误的零星情况(今天是4倍)。错误是：get()调用上的作业状态返回‘完成’。这是bq等待失败作业的输出：工作
查询<e
浏览 1提问于2015-05-24得票数 1
回答已采纳
我正在通过CommandLineJobRunner实用程序运行作业(使用由maven shade插件生成的fat jar +依赖项)；作业随后在中途失败，因为"java堆内存限制已达到“，作业没有被标记为失败，但仍然显示为已启动状态。我尝试使用相同的作业参数重新运行作业(正如文档所建议的)，但这给出了以下错误：
5:24:34.147
浏览 1提问于2016-08-03得票数 5
回答已采纳
在使用gcloud dataflow flex-template run时，我很难理解--impersonate和--service-account-email之间的区别。据我所知，--impersonate对于gcloud是全局的，而另一个标志仅用于与数据流相关的命令。但在此期间，我仍然需要能够模拟我在使用--service-account-email时使用的服务帐户...非常感谢!艾德里安。
浏览 6提问于2021-01-22得票数 1
1回答
但是，当尝试从导出的模板启动数据流作业时，我似乎无法获得正确的启动参数。错误消息不是很具体，但很明显，我没有得到正确的位置(输入和输出)。谷歌为这个用例提供的惟一模板(可在https://cloud.google.com/dataflow/docs/guides/templates/provided-templates#cloud-storage-
浏览 12提问于2019-02-11得票数 0
1回答
通过使用'FILE_LOADS‘技术的Apache光束数据流作业写入BigQuery时遇到错误。流插入(else块)工作正常，正如预期的那样。'FILE_LOAD‘(if块)失败，错误如下，代码后面给出。GCS存储桶上的临时文件是有效的JSON对象。RetryStrategy.RETRY_ON_TRANSIENT_ERROR
浏览 0提问于2020-08-13得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
