如何建立分布式模式下的卡夫卡连接以提高性能
提问于 2020-02-04 10:18:13
我正在运行我的卡夫卡连接弹性搜索在分布式模式。目前我有两个EC2实例(实例类型为t2.2xlarge)
Number of vCPUs 8
Memory 32 Gb我正在运行kafka连接上面的实例类型，最大任务为2。我正计划从生产商那里投入大量的空头，这将使用卡夫卡连接将唱片放入ElastciSearch。
重投意味着每秒钟有10000条记录。
记住这一点，我应该如何创建卡夫卡连接。
例如
- 需要多少个任务才能使记录更快地进入ES？
- 是2个EC2实例，还是需要更多的任务？
- ，为一个EC2实例创建多少个任务比较好？
- 有一个更大的EC2，或者有多个EC2有更小的实例是更好的？
<代码>H 110>如何确认所有记录都是从Kafka主题转换为使用Kafka连接？H 211G 212>
我应该如何基准我的卡夫卡连接性能？
到目前为止，我没有使用任何模式注册中心。
请建议
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-02-04 12:11:38
我有两个EC2实例
所以你只能运行两个工人。添加更多的(在不同的AZs)，以更好的容错。您需要添加CPU和内存监视，以了解是否应该添加更多实例。
运行kafka的
在上面的实例类型上连接，最大任务为2。
您可以拥有与输入主题分区一样多的任务。
10000每秒记录
卡夫卡当然能处理这件事。您需要分别对ES索引器进行基准测试。
我如何确认所有的记录都是用卡夫卡连接从卡夫卡主题转换成ES的
您将监视与任何其他使用者任务相同的使用者组延迟。
拥有一个更大的EC2更好，或者多个EC2具有更小的实例更好
“更好”是相对的。如果您希望性能优于成本，那么选择更大的实例并分配更多的堆空间。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/60063374
复制
腾讯云开发者
