2回答
我有卡夫卡作为服务器生态系统中的消息代理，我能以某种方式使MySQL成为消费者吗？
我需要直接用卡夫卡的数据库来写数据。
浏览 7提问于2015-07-07得票数 1
回答已采纳
我最近开始学习apache kafka。在得到一些初步的想法后，我对kafka在应用程序架构中的位置感到困惑。
我的意思是，我们如何将它引入到以前只有三层的简单应用程序中。前端(安卓应用)，后端(Node.js)，MySQL。用户可以从应用程序创建帖子，应用程序将调用node.js上的端点，并将帖子存储在数据库中。在这个简单，直截了当的架构中，kafka还会添加什么额外的东西？它将如何集成？
浏览 2提问于2021-10-27得票数 0
在MySQL中，使用binlog，我们可以提取数据更改。但我只需要在那个时间/一天内所做的最新更改，并需要将这些数据输入到timeseries DB (计划使用druid)
在读取binlog时，有没有什么机制可以避免重复并保留最新的更改？我的意图是每天在timeseries数据库中备份整个MySQL数据库。它有助于通过参考当天存在的实际数据来调试我的应用程序的过去日期
浏览 4提问于2021-10-28得票数 0
如何使用Kafka连接源连接器将模式和数据更改以及某些类型的转换流到另一个MySQL实例。如果我使用Kafka的Python (Confluent_kafka)在加载到目标DB之前使用和转换消息，是否也有一种传播模式更改的方法。
浏览 3提问于2022-06-01得票数 0
2回答
我的公司每天产生大约600万条记录，我看到hadoop是处理大量数据的一个很好的解决方案。我发现了如何从mysql加载数据，但它正在导出完整的数据库，有没有办法保持我的mysql DB和Hadoop之间的数据同步？
浏览 2提问于2020-03-07得票数 1
我当前的项目是以MainFrames为数据库，以DB2为数据库的。我们有70个数据库，每个数据库都有近60个表。我们的架构师提出了一个使用Kafka与星火流一起处理数据的方案。Kafka在读取数据的RDBMS表方面有多好？我们是使用Kafka直接从表中读取数据，还是有其他方法将RDBMS中的数据导入Kafka？如果有更好的解决方案，你的建议会有很大帮助。
浏览 4提问于2017-06-25得票数 0
回答已采纳
我正在尝试设置一条从mysql binlogs到redshift的数据管道。我正在从Mysql binlogs(使用一个工具- cannedbeer，来自mypipe的fork )向kafka写入数据，然后使用spark streaming将这些消息写入到使用spark redshift我面临的问题是，由于Dstream .Can的foreachRDD方法(写入Redshift的副作用)中的作业失败，相同的消息被多次写入</e
浏览 1提问于2015-11-12得票数 1
我使用kafka主题从mysql数据库接收消息，我需要编写python代码将json格式的数据从mysql推送到kafka，topic.My的要求是以json格式获得输出，而不是用原始字符串。下面是用json格式将mysql表数据转储到kafka主题的python代码。代码：
connection = mysql.connector.connect(host='xyz.u
浏览 7提问于2021-05-02得票数 0
多年来，我一直在开发一个高流量的广告服务平台，使用前面有一个HAProxy的主主玛丽亚数据库集群来平衡关系数据查询(读取查询会转到所有服务器，但只写到一个服务器上，以防止服务器不同步)。所谓关系数据，我指的是活动设置、用户详细信息、支付等。我还使用Redis缓存一些不太动态的MySQL信息，但我相信有很多机会可以更好地利用它，因为一旦流量增加，我经常遇到以下瓶颈：
MySQLdeadlocks的连接太多(可能是因为主服务器超载时写入开始在多台服务器上我的目标是将更多的写操作从My
浏览 1提问于2020-08-28得票数 0
1回答
我的项目从Kafka的主题中获取数据，并将数据写入数据库(mysql)。如果我读到卡夫卡的数百条信息，大多数信息都可以正确地写入数据库。但是，可以使用空值将一些消息写入数据库(数据库可以拥有该记录，但所有列中的值都为空)。我在这里有遗漏什么吗？
浏览 2提问于2022-05-12得票数 -1
2回答
我读到了Apache Kafka，我偶然发现了它的消费者群体的概念。我不理解的是它的用例。来自不同组的两个不同的消费者可以阅读正在发布的相同消息。为什么要由两个不同的消费者处理相同的消息？
浏览 0提问于2016-08-27得票数 0
1回答
我知道我们可以集成spark和kafka，并将数据帧以key和value的格式写入kafka队列，如下所示 df -数据帧 df.withColumnRenamed("Column_1", "key") .write() .option("kafka
浏览 15提问于2019-05-28得票数 0
1回答
从我的阅读和观察来看，我理解Kafka Connect允许您使用Source连接器将数据发送到Kafka，使用Sink连接器从Kafka读取数据。例如，您可以使用PostgreSQL源连接器向Kafka写入，然后使用Elasticsearch和Neo4J Sink连接器并行读取卡夫卡的数据。
我的问题是:这种抽象是如何工作的？为了从Kafka读取数据并将其写入任何地方，您必须期待一
浏览 2提问于2021-02-05得票数 0
kafka1是旧的，拥有所有的数据，它的控制器kafka1 2，3，4是新的，没有数据我可以这么做吗？将dns kafka1更改为kafka4 (这是集群-数据写入正确吗？)启动kafka-重新分配-Partions.sh，将数据从kafka1移动到kafk
浏览 4提问于2017-11-08得票数 0
回答已采纳
在本例中，结果被写入主题。相反，如何通过REST或其他任何方法轻松、快速地将结果保存到远程数据库中。汇合平台上有什么结构吗？代码示例: //而不是代码，发送远程数据库
wordCounts.toStream().to("streams-wordcount-output"，Produced.with(stringSerde，longSerde
浏览 0提问于2019-03-27得票数 1
回答已采纳
我有一个很大的kafka主题，我想从这个主题开始写批量偏移量。我目前正在使用以下方法。tOffsets = (o.topic, o.partition, o.untilOffset)
}然而，这会导致每个kafka分区对任何给定的数据存储(MySQL、ZK、Hbase等)进行一次写入，这可能会在尝试对大量分区进行小时间批处理时产生不希望看到的结果。我找不到一种方法来收集驱动程序的offsetRanges，这将是更
浏览 0提问于2018-01-31得票数 0
1回答
我们正在开发一个SAAS系统，在这个系统中，我们最初使用MySQL作为DB，但随着数据的增长，我们的数据列表变慢了，所以为了解决这个问题，我们已经使用了Mongo DB，我们已经在其中存储了准备好的JSON，我们需要显示一段时间(与MySQL的所有连接)，它工作得很好
我们用java编写了一个调度程序，它每2分钟运行一次，并将修改后的记录从MySQL更新到mongo。最初，它工作得很好，但随着时间的推移，数据和它的速率增加，它失败了很多次，所以我们决定寻找任何可以从MySQL</
浏览 14提问于2020-02-04得票数 0
1回答
我有一个场景，我需要将数据放在KTable中，并将KTable中的数据存储到Oracle11g DB中。做这件事的可能方法是什么？
浏览 4提问于2017-10-09得票数 0
我已经实现了一个Kafka Connect JDBC Source连接器，它连接到Oracle-Database，并将数据写入Kafka-Topic。目前，我已经在设置value.converter.schemas.enable=false的情况下设置了选项value.converter=org.apache.kafka.connect.json.JsonConverter该选项允许将JSON数据写入Kafka主题(顺便说一句，它工作
浏览 3提问于2021-02-18得票数 0
0回答
我一直在使用Apache Kafka实现ETL数据管道。我已经使用Kafka Connect进行提取和加载。
Connect将读取源数据，并以JSON的形式写入Kafka topic的实际数据。在转换阶段，我想从Kafka主题读取JSON数据，然后需要转换为基于一些自定义业务逻辑的SQL查询，然后需要写入输出Kafka主题。到目前为止，我已经编写了一个生产者-消费者应用程序，它从主
浏览 3提问于2017-12-15得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
