当我使用已定义的模板时，我总是遇到这个问题。我不确定问题出在哪里。关于sdk：Apache Beam SDK for Java 2.10.0 Processing stuck in step WriteSuccessfulRecords/StreamingInserts$DatasetServiceImpl.insertAll(BigQueryServicesImpl.java:765)
at org.apache.beam.sdk.io.gcp.bigquery.BigQueryServi
浏览 11提问于2019-03-16得票数 0
因为我不允许在同一个线程中问我的问题，而另一个人有同样的问题(但不使用模板)，所以我正在创建这个新线程。Processing stuck in step WriteSuccessfulRecords/StreamingInserts/StreamingW
浏览 0提问于2019-05-24得票数 0
回答已采纳
我希望使用Dataflow将事件从PubSub流流到BigQuery。我看到在GCP中有两个模板可以实现这一点:一个是Dataflow从主题中读取消息，另一个是订阅。在这里使用订阅的好处是什么，而不仅仅是使用主题中的事件？
浏览 0提问于2019-05-24得票数 2
回答已采纳
我正在尝试设置一个数据流作业，以便将数据从PubSub主题写入BigQuery表。我单击了PubSub主题控制台中的"Export“，并执行了以下详细步骤。(Unknown Source)
当我通过WriteSuccessfulRecords单击时，我会在"StreamingWrite“框中同时显示(这一次意味着什么？)WriteSuccessfulRecords (和StreamingWrite等)框中的“运行”时间目前在2天以上，大约一小
浏览 3提问于2020-11-05得票数 1
我正在建立一个概念的简单证明，以学习Google中的一些概念，特别是PubSub和Dataflow。我有一个PubSub主题greetingconst escapeHtml = require('escape-html');};
浏览 0提问于2019-05-16得票数 7
我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动： 带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery它不会从订阅中提
浏览 21提问于2021-10-01得票数 0
回答已采纳
背景：发布/订阅消息中的一些字段名包含破折号(-)，我无法控制这些破折号，并且数据流模板似乎期望在目标BigQuery表中<em
浏览 0提问于2019-08-01得票数 0
我们需要将一个json文件上传到云存储桶中，然后我们需要编写一个云函数来将json文件数据加载到bigquery表中。
浏览 0提问于2020-03-04得票数 0
1回答
为什么使用发布/订阅？Usecase:有一个http触发的"Cloud function“，在这个函数上发送一些数据。此函数在处理数据后，将数据发布到发布/订阅主题。然后还有另一个Cloud函数，它是基于发布到该发布/订阅主题而触发的。因此，这个云函数从发布/订阅中获取已发布的数据，并将其插入到<
浏览 7提问于2021-04-09得票数 1
回答已采纳
我正在尝试使用数据流、发布/订阅和BigQuery来创建和导出合成数据流。(1,50)}}
} 该架构位于文件gs://my-folder/my-schema.json中。流似乎运行正常-我可以使用“导出到云存储”模板从相应的发布/订阅主题导出到GCS存储桶。当我尝试使用“导出到BigQuery”模板时，我一直收到
浏览 2提问于2020-10-27得票数 2
回答已采纳
1回答
我想使用Cloud Dataflow、PubSub和Bigquery将tableRow写入发布订阅消息，然后将它们写入Bigquery。我希望表名、项目id和数据集id是动态的。
浏览 0提问于2018-07-15得票数 0
我想使用pubsub将数据插入到bigquery表中。数据已经处理过了，所以我不需要数据流。我该怎么做呢？提前感谢
浏览 0提问于2018-07-03得票数 2
我需要帮助使用代码获取生成的数据，并将其发送到云上。我是一个初学者，我不知道如何去解决这个问题，所以任何类型的方向都将非常感谢。下面是用于获取数据并将其打印到HTML表上的代码。
浏览 1提问于2021-02-22得票数 0
我正在尝试构建一个流/批处理管道，它从发布/订阅中读取事件，并使用python3.6将它们写入BigQuery 根据文档，云发布/订阅会为每条消息分配唯一的message_id和timestamp，用于检测订阅者收到的重复消息https://cloud.google.com/pubsub/docs/faq) 要求如下: 1)消息可以以任意顺序传入(异步消息
浏览 13提问于2019-10-16得票数 0
问题:我知道Google Pub/Sub订阅无法修补以更新过滤器。我只是想出其他方法来处理产品中的更新来过滤。我可以想出的方法：
浏览 0提问于2021-07-13得票数 1
我正在尝试使用谷歌提供的模板PubSub to BigQuery设置一个数据流作业。我看到一个用于指定云发布/订阅输入主题的选项，但我没有看到任何用于在GCP控制台UI中指定发布/订阅输入订阅的选项。在
浏览 3提问于2018-01-12得票数 3
回答已采纳
问题陈述是我们正在自定义PubSubToBQ提供的PubSubToBQ数据流java模板，在该模板中我们将配置多个订阅/主题来读取数据并将数据推送到多个Bigquery表中，这需要作为单个数据流管道执行但是，当我们从eclipse执行模板时，我们必须在gcs桶上传递订阅/主题和烧烤细节，然后使用具有不同订阅和烧烤细节的gcloud命令运行模板。数据流作业不会被新
浏览 0提问于2019-07-16得票数 0
我在数据流中使用Pub/Sub订阅BigQuery模板。Pub/Sub订阅中的消息数据是csv格式，如下所示
这将在加载到BigQuery表时留下一个错误。如何在模板中将CSV数据转换为JSON？
浏览 0提问于2021-03-10得票数 0
在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批处理中的所有消息并将其一次性写入BigQuery，还是一次写入一条消息？ 有没有一个比另一个更好的好处呢？
浏览 35提问于2021-11-23得票数 0
回答已采纳
但是，本教程中没有给出运行手机游戏的命令。
有没有人能教我怎么做？我在Google Cloud Shell上使用以下
浏览 35提问于2019-05-23得票数 0
回答已采纳
云服务器
ICP备案
对象存储
云点播
云直播
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号