1回答
从mysql到mongo数据库的数据调度问题
mysql、mongodb、apache-kafka、etl、data-synchronization
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL</
浏览 14提问于2020-02-04得票数 0
1回答
MSSQL与KAFKA集成
apache-kafka
我正在尝试使用kafka (实时数据)将数据从MSSQL导入到Hive，其中包含增量和更新的数据。我看到了github的用于mysql到hdfs数据传输的融合平台，但我没有找到用于MSSQL的。谁正在做这个工作，请建议我如何集成MSSQL和kafka？
浏览 27提问于2016-09-26得票数 1
1回答
用kafka从MySQL导入数据到Postgres
mysql、postgresql、apache-kafka、apache-kafka-connect、debezium
我有一个MySQL和Postgres之间的同步进程，只有一个表才能成功。
一旦我创建了一个新的表，并且在MySQL端添加了很少的记录，我就无法在Postgres中找到数据。你能帮帮我吗？
浏览 2提问于2019-12-18得票数 0
2回答
Clickhouse Kafka主题加入：
apache-kafka、clickhouse
我有两个(以及更多) Kafka主题，我需要加入他们。我的问题来自我在博客/StackOverflow上读到的内容...有两个选项： 1)将它们都流式传输，Clickhouse Kafka引擎/spark流，然后运行join，这在Clickhouse中是不推荐的
浏览 22提问于2019-03-06得票数 1
1回答
kafka-连接-jdbc日期时间
apache-kafka、confluent-platform
我们希望使用将数据从遗留数据库(在mysql上)导入到kafka。我已经建立了基本的例子，并使它发挥作用。因为我们得到了异常：
我可以轻松地排除该列，并通过编写除该列之外的select查询，使用kafka-connect自定义查询选项导入数据。
浏览 3提问于2016-06-30得票数 0
1回答
如何从Cloudant导出数据以进行分析？
apache-kafka、ibm-cloud、couchdb、cloudant
我们需要将Cloudant的所有数据提取到另一种存储形式中，以便对其进行一些分析。从Cloudant导出所有数据的最佳方法是什么？
浏览 6提问于2022-11-09得票数 2
2回答
将BigQuery发送给卡夫卡作为来源
apache-kafka、google-bigquery
我有一个来自网页的流数据加载到BigQuery中，我想将BigQuery连接到卡夫卡作为源。有没有像kafka-connect这样的连接器用于BigQuery接收器。
谢谢，巴拉
浏览 1提问于2018-02-20得票数 3
1回答
卡夫卡连接Debezium MySQL连接器时间戳发行
java、mysql、timestamp、apache-kafka-connect、debezium
我使用部署在Kafka中的Debezium MySQL连接器来流MySQL对Kafka的更改，我们从那里获取这些消息，丰富数据并将数据推送到另一个MySQL。我可以在下面的Kafka消息中看到上面的数据当消息加载
浏览 13提问于2021-12-22得票数 0
1回答
Kafka实时流vs Micro服务
apache-kafka、kafka-consumer-api、kafka-producer-api
选择Kafka实时流是否有gbps的最低报文速率要求？
我们可以在Kafka中处理非常低的消息率吗？
浏览 0提问于2019-03-31得票数 1
1回答
过滤数据库中的行
mysql、apache-kafka、apache-kafka-streams
我想知道kafka平台是否适合下面的工作。例如，如果基于日期，将来可能会满足条件，那么是否有机会再次过滤被拒绝的邮件，以最终通过过滤器并进一步处理？在给Kafka提供数据之前先过滤数据行是不是更好？
谢谢。
浏览 9提问于2017-08-11得票数 0
回答已采纳
1回答
Flink 1.2.0 jdbc从Mysql读取流数据
java、mysql、jdbc、apache-flink、flink-streaming
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。env.createInput( .setDrivername("com.mysql.jdbc.Driver")
.setDBUrl("jdbc:mysq
浏览 72提问于2017-02-22得票数 2
1回答
如何使用jdbc连接器将ksql表数据导出到Mysql表
mysql、apache-kafka、confluent-platform、connector、ksqldb
有没有办法通过jdbc连接器将数据从KSQL导出到mysql表中？？ 我了解了如何使用KSQL将mysql表数据导入到Kafka集群中。但这不是我想要的。host --interactive --tty \
confluentinc/cp-ksql-cli:5.3.1 https://www.confluent.io/hub/confluentinc/kafka-connect-jdbc
浏览 44提问于2020-03-17得票数 0
2回答
Python如何删除Kafka主题下的所有消息
python、python-2.7、apache-kafka、kafka-python
我们正在尝试将数据从csv文件导入到Kafka。我们每天都需要导入数据，平均来说，前一天的数据是被降级的。在python中，如何删除Kafka主题下的所有消息？或者我如何删除python中的Kafka主题？或者我看到有人建议等待数据过期，如果有可能，我如何设置数据过期时间？如有任何建议，将不胜感激！
谢谢
浏览 5提问于2015-09-21得票数 4
回答已采纳
1回答
如何用debezium捕获mysql中的数据，在kafka连接中改变数据捕获和使用jdbc接收器？
apache-kafka、apache-kafka-connect、change-data-capture、debezium
我在用debezium捕获mysql中的数据时遇到了问题，将数据捕获并使用kafka连接jdbc接收器将其消费到另一个mysql。因为debezium对kafka主题产生的模式和有效负载与kafka连接jdbc接收器所期望的模式不兼容。
当jdbc接收器想要使用数据并在另一个mysql中创建记录时，我就会异常。
浏览 2提问于2017-05-14得票数 1
回答已采纳
1回答
使用springboot将数据从mysql传递到kafka的最佳方式是什么
spring-boot、apache-kafka、producer
将数据从mysql传递到kafka produce的最佳方式是什么 我知道有很好的kafka连接器。然而，我想使用springboot框架。因为我需要转换数据并与其他http结果合并，然后我想产生数据到kafka。 那么有没有什么好的例子，github，博客wahtever~？
浏览 44提问于2020-07-21得票数 1
1回答
java包中接收器连接器的实现
java、apache-kafka、apache-kafka-connect
我已经启动了zookeeper，kafka服务器，kafka生产者和kafka消费者，我已经把从confluent下载的jdbc sql连接器jar放在路径中，我已经在connect-standalone\config\sink quickstart-MYSQL.properties没有任何错误，但是它有很多警告并且没有开始，但是我的数据没有反映在tables.what中我错过了，你能帮我吗我有下面的警告<init>(Reflections.java:140)
at org.a
浏览 21提问于2020-10-28得票数 0
2回答
如何定期向hadoop提供数据
mysql、hadoop
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
1回答
卡夫卡连接器到IBM DB2
mongodb、apache-kafka、ksqldb
我目前在大型机技术中工作，我们将数据存储在IBM DB2中。有人能告诉或指导我如何从卡夫卡连接到IBM或MONGODB中导入数据并将其放入DB2中吗？
任何帮助都是非常感谢的。
浏览 1提问于2020-12-27得票数 4
2回答
如何将托管的kafka集群中的数据转储并导入本地kafka集群？
apache-kafka、kubernetes
我在中有一个拥有大量测试数据的Kafka集群。我希望将部分/全部测试数据导入到本地Kafka集群中。这样，我就更容易在本地环境中使用kubernetes的实际数据执行测试了。那么，有没有办法把卡夫卡主题中的5000条信息转储到文件中，并将它们还原成本地的kafka主题呢？
浏览 6提问于2018-01-06得票数 2
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号