我正在使用扫雪机进行行为数据跟踪。docs.snowplowanalytics.com/docs/getting-started-on-snowplow-open-source/setup-snowplow-on-gcp/setup-bigquery-destination/)将数据从发布/订阅使用到BigQuery，但我希望直接使用从发布/订阅到Java API的数据。但是，来自P
浏览 20提问于2021-05-07得票数 0
回答已采纳
我正在使用Google Cloud Dataflow创建数据处理应用程序-它将把数据从Pubsub流式传输到Bigquery。但是，如果我将源代码更改为PubsubIO.Read.subscription(...)，我会失败，并返回"java.lang.IllegalStateException: no evaluator for PubsubIO.Read“(我并不感到惊讶，因为
浏览 0提问于2015-07-14得票数 1
我找不到一种使用java从pub/sub读取消息的方法。 <groupId>com.google.cloud</groupId> <version>0.17.2-alpha</version>
</
浏览 1提问于2017-06-11得票数 6
所以我实现了
看来服务器端的一切都是正确的。(TopicAdminClient.java:256) ~[google-cloud-pubsub-1.101.0.jar:1.101.0]
at com.google.cloud.pubsub.v1at org.springframework.cloud.gcp.pubsub.PubSubAdmin.createTopic
浏览 25提问于2020-03-13得票数 1
3回答
也会有一定程度的传感器到传感器的通信，我对使用XMPP作为传输很感兴趣，因为它具有高效的消息传递、实时特性和NAT穿越。我希望找到(python或任何其他语言) XMPP机器对机器(M2M)服务的示例，希望使用PubSub模型进行异步通信，而不是使用基于轮询的RPC。我在网上或我所见过的XMPP书籍中找不到任何示例，因为它们似乎主要集中在用于聊天、视频等人机交互的XMPP上。我必须处理的一般要求是：
通过XMPP相互
浏览 1提问于2012-01-16得票数 2
我有一个从电子商务网站抓取数据的网络刮板，现在，我的数据从熊猫数据帧中存储在BigQuery表中。但这些都是我手动完成的。例如，从GCP站点启动VM实例，然后使用远程SSH连接我的本地计算机，然后在项目文件夹上打开终端并运行才能开始抓取。然后，在该过程完成后，我再次手动关闭VM实例。现在，我想要的是自动执行此任务，它将在每个月的第一天自动启动VM实例，然后抓取电子商务站点数据，然后当程序完成时，它将
浏览 1提问于2021-10-27得票数 0
4回答
我决定为我的项目用java开发一个用于云数据处理应用程序的并行处理框架。该框架必须划分给定的顺序java代码，并在云中的不同虚拟机中处理该子代码。框架必须根据负载动态地分配和释放资源。我的问题是如何开发这个框架。
云中有没有库可以将java代码调度到不同的虚拟机中？如果有空位，请告诉我。
浏览 2提问于2011-12-14得票数 6
我有一个来自第三方的API (对于我和gcp)，我想知道是否有可能从API获得数据到PUBSUB，或者从我可以在我的环境中设置的包装API中。基本模式：
(第三方API) -> PUBSUB -Cloud函数-> BigQuery
浏览 5提问于2022-09-01得票数 0
是否可以从GCP外部将事件发布到云发布/订阅？ 让我来澄清一下我的疑问。在亚马逊网络服务中，我们可以通过API Gateway从非云客户端(https://github.com/cdk-patterns/serverless/blob/master/the-big-fan/README.md)调用REST API来直接将事件发布到SNS主题中，那么在GCP中是否有这样的</
浏览 16提问于2020-09-07得票数 1
我正在做一个普通的express支持的API项目，该项目使用firebase函数来执行一些离线数据处理。在许多情况下，API会将事件引发到pub-sub，然后被云函数拾取。一个典型的例子是所有的聚合(日/月的总销售额)都被推送到云函数。 我正在考虑使用firebase仿真器的集成测试套件，在那里我可以测试从API层到云函数被触发及其对数据存储的更新。在仿真器上集成测试套件
浏览 8提问于2021-04-19得票数 0
1回答
我正在用Java开发数据流，输入来自一个Pubsub。后来，我看到了关于如何使用本地Pubsub仿真器的指南here，这样我就不需要为了测试而部署到GCP。当我使用Python代码与Pubsub仿真器交互时，我注意到在运行仿真器的命令行中出现了消息Detected HTTP/2 connection： Executing: cmd /c C:\..."localhost:8085")行中添加http时，我得到一个
浏览 13提问于2020-04-10得票数 0
回答已采纳
我的airflow.cfg中的自定义配置web_server_port = 8080以前，我还使用过时的试验性REST API在外部触发任务(没有客户端，但使用自定义REST调用)，并且没有出现问题。使用新的稳定API，即使通过airflow.api.auth.backend.defa
浏览 3提问于2021-01-18得票数 1
从库本地运行示例(这个错误会自动出现在google cloud flexible engine中，尽管deploy在一周内没有生成)private staticEnable it by visiting https://console.developers.google.com/apis/api/pubsub-experimental.googleapis.comEnable it by visiting https://
浏览 0提问于2016-08-10得票数 1
我一直在pubsub工作，在那里我可以成功地将数据从某个特定的主题中用java从特定的项目中提取出来。如果我必须在html中显示这些数据，首先我必须调用servlet方法，然后servlet将调用pubsub来获取数据，然后我必须将该数据包含在响应中。由于访问数据需要额外的一个层( java )，所以是否可以通过跳过java调用来直接在javascript调用中获取数据？在google中是否有任何api</e
浏览 1提问于2015-05-01得票数 0
回答已采纳
我正在开发一个Apache beam管道，用于将无界数据发布到pubsub主题中。发布是使用pubsub IO连接器PubsubIO.writeMessages()完成的。如果在管道处理过程中pubsub连接失败，我需要捕获连接失败，并在连接失败期间识别正在处理的数据。但是我在Apache forward pubsub中找不到一个直接的故障处理机制。当我使用错误的pubsub连接进行测试时，管道尝试连接时抛出以下异常
浏览 16提问于2021-11-25得票数 2
它在生产中运行顺利，但我有麻烦让所有的部分连接在一起的docker-compose，特别是阿帕奇光束管道。我遵循了Dataflow pipeline and pubsub emulator，通过将SO答案中的localhost替换为我的docker-compose.yaml中定义的服务名称，使管道侦听GCP但是，管道在使用MalformedURLException启动时会失败 Caused by: java.lang.IllegalArgumentException: java<
浏览 9提问于2019-03-08得票数 0
回答已采纳
我正在尝试将数据发布到Cloud。数据以JSON格式保存在我的本地文件夹中。我不使用云存储，而是试图通过云功能直接读取pubsub消息。通过手动传递消息测试流程，数据也被插入到Bigquery表中。我可以看到使用云存储的各种选项，在这里，我从DB表读取更改的数据，将这些记录插入到一个虚拟表中，并将数据从该表转换为JSON格式并写入一个.txt文件。从这里开始，如果我能将数据发布到pubsub，整个流
浏览 0提问于2019-04-04得票数 2
2回答
假设有一个redis客户机订阅通道c1，另一个redis客户端将“数据”发布到通道c1。此时，当订阅"c1“的客户端获得数据(通过调用pubsub.listen()或pubsub.get_message())或通过redis服务器直接订阅通道c1时，发布的数据是否在redis服务器中挂起？换句话说，当redis客户端调用pubsub.getMessage()或pubsub.listen()时，redis客户端是向redis服务器发送请求以获取
浏览 6提问于2015-12-29得票数 0
回答已采纳
我试图使用java客户端获取一个命名的主题：String topic404的回复：<$1.interceptResponse(Ab
浏览 2提问于2016-02-11得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
