处理流经发布订阅到Bigquery的记录的unique_id和时间戳特性

文章/答案/技术大牛

发布

1回答

python-3.6、google-cloud-pubsub

我正在尝试构建一个流/批处理管道，它从发布/订阅中读取事件，并使用python3.6将它们写入BigQuery 根据文档，云发布/订阅会为每条消息分配唯一的message_id和timestamp，用于检测订阅者收到的重复消息(https://cloud.google.com/pubsub/docs/faq) 要求如下: 1)消息可以以任

浏览 13提问于2019-10-16得票数 0

2回答

增量地将数据从GCP数据存储转移到BigQuery的最佳实践

google-bigquery、google-cloud-datastore

我们正在从Datastore数据源构建我们的数据仓库解决方案。我们希望在预定义的时间间隔内将新插入/更新/删除的数据存储实体加载到BigQuery中进行分析。似乎有几种选择：进行完整的备份，并将数据加载到BigQuery中。并在BigQuery中报道。这在概念上非常简单，但是每次加载/处理所有数据对我来说都是非常低效的。在执行操作时发布所有新的&

浏览 0提问于2018-07-30得票数 0

1回答

使用主题模式的PubSub & BigQuery订阅

google-bigquery、google-cloud-pubsub

随着2022年7月新的直接PubSub到BigQuery的发布，我们现在可以创建直接从PubSub获得数据的BigQuery订阅。文档似乎没有指定，所以忽略这一点。使用Avro逻辑字段时，创建订

浏览 5提问于2022-08-02得票数 3

回答已采纳

3回答

如何检测Pubsub到Bigquery订阅的延迟？

google-cloud-platform、google-bigquery、google-cloud-dataflow、publish-subscribe、google-cloud-pubsub

当使用pub/sub对bigquery订阅(而不是通过数据流)时，如何计算发布子发布时间和到达bigquery之间的延迟？我希望只检查时间戳的差异，但注意到current_timestam

浏览 9提问于2022-11-24得票数 0

回答已采纳

1回答

通过仅下载更改来更新集合

meteor

在我们的应用程序中，我们使用了一些非常大的集合(>25万个文档)。应用程序必须脱机使用，因此需要将整个集合存储在客户端上。网络一出现，两个包和就会同步整个集合。本着节省带宽和为用户提供良好性能的精神，我正在寻找一种方法，以避免每次应用程序连接到服务器时都下载整个集合。

浏览 0提问于2014-05-02得票数 0

1回答

Google中的时间戳倾斜

google-cloud-dataflow

我正在尝试运行一个管道，该管道从公共主题中读取并写入bigquery。从主题消息中解析时间戳。但是，我收到了一个关于允许时间戳倾斜的错误，引用了下面的文档。getAllowedTimestampSkew公共时间戳getAllowedTimestampSkew()返回允许的时间戳偏移持续时间，这是时间戳可以在DoFn.Context.outputW

浏览 1提问于2016-01-26得票数 3

2回答

确定订阅在事务性复制中何时变得不活跃。

sql-server、sql-server-2012、replication、transactional-replication

当我试图在一些出版物上发送一个跟踪令牌以获得延迟时，我会得到以下错误-也有与这些发布相关联的订阅。我可以通过重新初始化\重建复制来修复这个问题，但是我想知道是否有一种方法可以判断订阅何时停止接收到任何信息？我想确定这已经有多长时间没起作用了。正在复制的表上没有时间戳，因此我无法在此基础上计算出来。我检查了复制监视器，在分

浏览 0提问于2017-11-08得票数 -1

0回答

如何在BigQuery插入错误时崩溃/停止DataFlow发布/订阅摄取

google-bigquery、google-cloud-dataflow、google-cloud-pubsub

如果从PubSub接收的事件/行中的字段不是目标BigQuery表中的列，则DataFlow作业会在运行时记录IOExceptions，声明它无法插入行，但似乎会确认这些消息并继续运行。相反，我想要做的是停止接收来自发布/订阅的消息和/或使数据流作业崩溃，以便警报可以基于最早的未确认消息的时间。至少，我希望确保那些无法插入到<

浏览 5提问于2017-06-10得票数 5

回答已采纳

1回答

VCP Google Cloud Platform的数据流发布/订阅主题到BigQuery，而不是从订阅中提取数据

google-cloud-platform、google-bigquery、google-cloud-dataflow、google-cloud-pubsub、private-cloud

我正在使用GCP处理和存储从模拟IoT设备发送的数据。数据(应该)在以下路径中流动：带有mqtt客户端的模拟IoT设备-> IoT核心设备-> IoT核心注册表->发布/订阅主题->发布/订阅订阅->云数据流发布/订阅订阅BigQuery模板-> BigQuery表我所在<em

浏览 21提问于2021-10-01得票数 0

回答已采纳

1回答

适用于具有自动递增id的原始JSON事件的Google Cloud数据存储选项

google-bigquery、google-cloud-sql、bigtable、google-cloud-bigtable、google-cloud-logging

这些事件是由用户在响应非常大的电子邮件广播时生成的，因此在短时间内吞吐量可能非常低，最高可达每秒约25,000个事件。这些事件的JSON表示可能只有1kb左右我想简单地将这些事件存储为原始和未处理的JSON字符串，仅附加，并为插入的每个记录使用单独的连续数字标识符。我正在利用Google Cloud Logging聚合来自计算引擎节点的事件流，从这里我可以直接流到BigQuery

浏览 2提问于2016-03-29得票数 0

2回答

MQTT Broker - Mosquitto事件日志

mongodb、logging、mqtt、database

是否可以使用Ubuntu12.04上的MQTT Broker 来记录所有事件，例如发布到所有通道的消息、订阅、客户端连接/断开连接和错误，并将其记录到带有时间戳的日志文件中，然后让程序将其插入到数据库Mongodb

浏览 3提问于2014-01-26得票数 3

2回答

如何测量paho-mqtt网络的时延

python、c++、mqtt、latency、paho

我正在尝试测量MQTT网络中从我的发布者到我的订阅者的延迟。我本来希望使用on_message()函数来衡量这段旅程需要多长时间，但我不清楚这个回调是在代理收到消息之后还是在订阅者收到消息之后进行的？还有其他人对如何测量整个网络的延迟有任何其他的建议吗？

浏览 1提问于2018-07-16得票数 2

2回答

/Sub如何避免时钟倾斜

google-cloud-platform、publish-subscribe、google-cloud-pubsub

我正在研究从/sub订购消息列表的方法。说：有一种方法从它目前已经收到的所有消息中确定是否有它尚未收到的消息需要首先处理。订阅者将临时将所有消息放入某个持久存储中并对消息进行包装。它将定期检查最古老的未加标记消息年龄，并检查存储中消息的发布时间戳。在最老的未加标记消息之前发布的所有消息都保证已经收到，因此可以从持久存储中删除这些消息，并按顺序进行<e

浏览 0提问于2019-03-29得票数 3

回答已采纳

2回答

SQL复制按照什么顺序写入数据

sql-server、t-sql、replication

我使用数据库的单向复制。在数据库中，我有一个带有数据类型“时间戳”(而不是日期时间)的列。那么，订阅服务器的表中的时间戳是否也可以像在发布</

浏览 0提问于2020-12-17得票数 0

回答已采纳

1回答

异步还是同步拉出以计数pub子pub/sub中的流数据？

publish-subscribe、google-cloud-pubsub

我想计数最后一小时的消息数量(最后一小时指消息数据中的一个时间戳字段)。我目前有一段代码可以同步计算消息(我正在使用Google /Sub同步拉)，但我注意到这需要很长时间。我的代码将反复轮询预定义的订阅次数(我将其设置为100+)，因此我确信在最后一小时内不会有更多的消息出现故障。这是一个不可接受的设计，因为它意味着用户必须等待5-10分钟的服务，以计数消息时，他们想

浏览 1提问于2019-10-01得票数 1

1回答

没有快照的事务复制

sql-server、transactional-replication

在UI中的订阅选项中将“允许从备份文件初始化”更改为“true”。我选择“添加订阅服务器”并将其指向报表服务器。代理计划设置为“位置:分发服务器”和“计划:持续运行”。命令(S)已经交付‘ 现在看看今天早上的日志，我看到

浏览 0提问于2014-02-06得票数 1

1回答

获取最新的时间戳值

sql、google-bigquery

我有一个管道，它从BigQuery表中读取数据，对数据执行一些处理，并将其保存到新的BigQuery表中。这是通过cron每周执行的批处理过程。源表中不断添加条目，因此我希望每当我启动ETL进程时，它都只处理自上次启动ETL作业以来添加的新行。为了实现这一点，我已经考虑对我的接收表进行查询，请求它包含的最新时间戳。然后，作为数据源，我将对源表执行另一个查询，过滤并请求具有比我刚刚

浏览 27提问于2021-07-06得票数 0

回答已采纳

1回答

我正在尝试编写一个使用GCP服务的摄取应用程序。每天可能有大约1TB的数据以流的方式到来(即每小时100 TB，甚至在特定时间一次)。我正在尝试设计一个摄取应用程序，我首先认为在cron作业中编写一个简单的Python脚本来顺序读取文件(甚至在两个三线程中)，然后将它们作为消息发布到pub/sub是一个好主意。此外，我需要有一个数据流作业运行，始终从发布/订阅读取数据，并将它们保存到BigQuery</em

浏览 4提问于2019-02-15得票数 1

1回答

MQTT Broker - Mosquitto消息日志记录

logging、mqtt、mosquitto

是否可以将MQTT Broker Mosquitto事件(如发布到所有通道的消息、订阅、客户端连接/断开和带有时间戳的日志文件中的错误)记录下来，然后让程序将其插入数据库(任何SQL都是加密形式的SQL我订阅了主题$SYS/ broker /#，它只能获得连接日志，我在这里的查询是如何获得从代理发送和接收到的

浏览 0提问于2019-08-02得票数 2

1回答

通过数据流SQL实现云发布/订阅到BigQuery

google-bigquery、google-cloud-dataflow、gcloud、google-cloud-pubsub

我想了解数据流管道的工作原理。在我的例子中，我有一些定期发布到云发布/订阅的内容，然后Dataflow将其写入BigQuery。通过的消息量数以千计，所以我的发布者客户端有1000条消息的批处理设置，1mb和10秒的延迟。问题是，在批处理中发布时，Dataflow SQL是接收批<

浏览 35提问于2021-11-23得票数 0

回答已采纳

点击加载更多