我有许多REST API来从不同的数据源获取数据，现在我想将这些rest响应发布到不同的kafka主题。此外，我还希望确保不会产生重复数据。有没有工具可以做这类操作？
浏览 16提问于2018-01-25得票数 1
回答已采纳
1回答
我试图建立一个卡夫卡流从我的覆盆子Pi 3到一个卡夫卡主题。覆盆子派和卡夫卡经纪人不在同一个网络里。
Raspberry上有一些传感器，它每秒钟以JSON格式保存.log文件中的日期。
浏览 0提问于2018-02-23得票数 2
回答已采纳
我们有一个管理时间序列数据的特定功能。该功能已经作为REST API提供，并在Cloudfoundry上运行。我们希望提供对使用Spark Streaming和kafka摄取时间序列数据的支持，以便解决方案更具可扩展性和健壮性。从spark streaming内部调用REST API在spark中原生构建功能有什么缺点？
浏览 8提问于2017-02-16得票数 0
我计划构建一个web应用程序，用户可以在其中更新一些数据。其他开发人员应该能够通过API订阅我的应用程序，如果数据发生更改，必须得到通知。通过此通知，必须将更改的数据发送给订阅者。然后，订阅者应用程序自动处理接收到的数据。我不知道订阅应用程序的代码，所以我的应用程序和订阅应用程序之间的接口必须类似于REST API。我考虑过使用Apache Kafka或RabbitMQ来发送这些消息，但不知道这是否是实现此类功能的正确方式。我自己从来没有在AP
浏览 21提问于2019-03-11得票数 0
1回答
针对大数据的微服务之间的通信
、、、、
我有一个数据摄取服务，它(当前)从SQL获取数据，这些数据需要由预测服务使用。我不确定的是，我如何编排这些服务？我是否应该使用API网关来调用启动管道的摄取？
浏览 0提问于2017-06-07得票数 1
2回答
实时事件处理
、、
我有一个事件源(比如油井中的传感器，大约50000个)，它向服务器产生事件。在服务器端，我想以这样的方式处理所有这些事件，即来自传感器的关于最新湿度、温度、压力...etc的信息将被存储/更新到数据库中。我真的需要spark，(flume/kafka) + spark，来满足处理端吗？
浏览 13提问于2017-06-29得票数 1
好的，所以我想做一个基于我从RSS上读到的新闻feeds的平台。我想使用kafka将数据摄取到redis，而redis中的这些数据也将被其他服务使用。所以我想知道我应该实现一个API来与我的redis BD交互，这样我就不会在向redis发出请求的客户端之间共享我的业务逻辑，我已经考虑在一个服务器中实现一个REST API，该服务器将存储核心业务逻辑我的意思是:我不会在API REST中实现POST
浏览 17提问于2021-02-22得票数 0
回答已采纳
今天，我们的机器(运行android操作系统)调用后端上的REST API端点，这将做一些事情，比如更新后端数据库，redis缓存，触发任务。我们返回一个HTTP 20X，40X，50X。那么第一个问题-当我们从机器接收遥测/事件并对其执行某种处理时，这个类是流处理吗？第二个问题-我们有一个无弹性的摄取管道。调用单个API，然后同步连接到我们的后端( database，redis)来更新状态，这意味着数据库之类的东西上的争用将影响摄取。我们需
浏览 3提问于2021-04-26得票数 0
我有csv文件，我需要转换成json，然后发送到kafka，然后发送到ElasticSearch。
我能够将Csv转换为Json并发送给kafka消费者。如何从Kafka Consumer获取数据到ElasticSearch
浏览 0提问于2018-12-06得票数 3
我想在Apache Kafka中创建实时数据管道。我有一个数据库，它位于远程位置，该数据库不断更新。我应该使用哪个Kafka连接API从数据库中提取数据并实时摄取到Kafka broker中？稍后，我将使用kafka stream和KSQL运行即席查询来执行指标。
任何帮助都将不胜感激！
浏览 2提问于2018-08-28得票数 1
我有一个需要将关系数据库中的数据更改发送到kafka-topic中的用例。我能够编写一个简单的JDBC程序，该程序执行一组针对特定时间段的更改的查询，并使用KafkaTemplate ( spring框架提供的包装器)将数据写入kafka-topic。如果我使用kafka-connect来做同样的事情，那就是写一个源连接器。我将获得什么好处或管理费用(如果有的话)？
浏览 0提问于2019-07-24得票数 0
我刚接触Apache Kafka和它的与API相关的流服务，但想知道是否有任何正式的文档来获取摄取所需的初始原始数据？从本质上讲，我想尝试构建一个初级的密码交易机器人，但我的印象是http API可能比与Kafka Streams集成的API具有更多的延迟。例如，我知道RapidAPI有一个可以访问的http库，可以帮助提取数据，但我不确定如果我想通过Kafka Streams摄取数据</e
浏览 0提问于2021-06-05得票数 0
1回答
我有1000个rest web服务。需求将数据摄取到数据湖的标准方法？满载、CDC和流数据。将数据加载到kafka主题中，不重复
浏览 0提问于2018-01-30得票数 1
/kafka-topics.sh --create --zookeeper 10.25.3.207:2181 --replication-factor 1 --partitions 1 --topic/kafka-console-producer.sh --broker-list 10.25.3.207:6667 --topic lognew ./kafka-console-consumer.sh --zookeeper 10.25.3.207:2181 --topic
浏览 4提问于2015-11-23得票数 8
我有一个从kafka摄取数据到Snowflake的要求。我想用snowflake kafka连接器来设计这个摄取。我的理解是，我的接收器需要是一个variant表，所以连接器会将kafka消息推送到variant列。一旦数据在variant列中，我将需要运行另一个进程来读取variant列，解析它并将数据存储到相应的目标表中。请让我知道这是否是摄取kafka数据的最佳方法 谢谢
浏览 33提问于2020-07-29得票数 0
回答已采纳
我们已经为我们的产品实现了一个名为Ampool ADS的kafka接收器连接器，它将来自kafka主题的数据摄取到相应的ampool表中。主题和表通过它们的名称映射。我需要将单个主题(从topic ->表中摄取)处理到一个专用的接收器任务中。因此，例如，如果我的配置包含3个不同的主题(topic1、topic2、topic3)，接收器连接器应该创建3个不同的接收器任务，每个任务(每个表)并行地向各自的/映射表进行专门的摄取。使用
浏览 2提问于2017-04-24得票数 0
正如标题中提到的，我想知道Snowflake支持哪些数据源。我甚至不能完全确定如何处理这个问题。我知道您可以在受支持的云提供商的云存储中创建一个外部阶段，但是如果我想从Oracle数据库加载数据怎么办？在这种情况下，最好的解决方案是使用ODBC驱动程序，还是？
浏览 4提问于2021-09-29得票数 1
我通过本教程设置了一个Kafka事件接收器：我如何开始摄取卡夫卡的数据，并开始将其推送给我上面创建的事件接收器？我是否必须在Siddhi启动一些程序，才能开始从Kafka或其他地方摄取食物？关于如何开始从卡夫卡摄取到事件接收者的链接中，并没有明确提到。
浏览 1提问于2017-07-18得票数 0
我使用Kafka Rest代理来生成和使用Azure APIM从Kafka主题消费，因此使用Rest代理的原因。我可以使用auto.offset.reset =最早的线性方式使用消息，所以每次调用Kafka Rest都会给我最新的消息，这是很棒的，A1 is data requestor
B2is API that fulfills A1's request using REST proxy for <em
浏览 2提问于2022-07-21得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号