1回答
我在Kinesis流中的一些特定分片下设置了一组记录。我正在使用KCL2.x consumer来消费kinesis中的记录，但问题是，consumer正在从流中所有可用的分片中获取记录。那么，有没有什么方法可以在配置configBuilder对象或KCL使用者时指定分片或它们的ID，以便只<e
浏览 28提问于2020-07-13得票数 0
回答已采纳
2回答
我读到每个kinesis流可以有多个消费者应用程序。
但是，我听说每个分片只能有一个消费者。这是真的吗？我找不到任何支持这一点的文档，也无法想象如果多个消费者正在从同一个流中读取内容，那会是什么样子。当然，这并不意味着生产者需要针对不同的消费者在不同的分片中重复内容。
浏览 3提问于2015-12-29得票数 18
回答已采纳
这将打开一个聊天屏幕，所有用户都可以在其中添加他们的消息。
它就像线程，每个用户都可以在上面添加/读取消息，而不是像聊天应用程序一样。在firebase中，我可以检测到任何节点中的任何新变化。但是亚马逊网络服务的DynamoDB是怎样的呢？
浏览 13提问于2018-08-01得票数 0
我们有一个应用程序，它处理来自运动的数据，并为少数seconds.we维护一些状态，他们担心维护的状态是否会受到KCL的多线程性质的影响。谁能告诉我们来自KCL的RecordProcessor是否是线程安全的？
浏览 0提问于2015-10-21得票数 0
1回答
我观察到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收到。可能发生这种情况的原因是什么？之前和之后的记录都很好。我从我的Kinesis生产者中获取了序列号，并
浏览 0提问于2017-04-07得票数 1
我有一个应用程序，它使用KCL 2.x来消费来自Kinesis的记录，流的不同分片中的数据具有不同的格式，我想使用不同配置的KCL消费者来分别处理它们。例如，如果我在Kinesis流中有3个分片，我将为不同的分片生成3个具有不同配置的不同使用者，即每个<em
浏览 10提问于2020-07-14得票数 1
回答已采纳
1回答
如何使用python boto3将日志发送(接收)到不同的kinesis stream shard？当只有一个分片时，我可以发送和接收，但是如果我为我的kinesis流指定了多个分片，我不知道它是如何工作的。
浏览 3提问于2017-09-13得票数 0
2回答
我正在尝试构建一个从AWS Kinesis读取数据的简单应用程序。我已经设法使用单个分片读取数据，但我想从4个不同的分片中获取数据。问题是，我有一个while循环，只要分片处于活动状态，它就会迭代，这会阻止我从不同的分片读取数据。到目前为止，我找不到替代算法，也无法实现基于KCL的解决方案。
浏览 4提问于2016-05-11得票数 1
它是否从函数创建时选择的起始点重新启动(即: Trim Horizon)？
浏览 0提问于2016-12-08得票数 1
亚马逊网络服务上的这篇文档建议使用dynamoDB流的最佳方式是通过Kinesis客户端库，使用适配器在kinesis流和dynamodb Stream API之间进行转换。这是文档：https://docs.aws.amazon.com/amazondynamodb/latest/developerguide/Streams.KCLAdapter.html 这些是适配器实现的maven<groupId&
浏览 26提问于2020-11-28得票数 1
回答已采纳
我有一个kinesis流(20个分片)，它有大约1天的数据延迟，正在被一个基于KCL的kinesis消费者消耗。消费者部署了20个ECS实例，因此每个实例都有一个线程从每个分片拉取数据。根据文档，看起来单个getRecords调用可以获取多达10,000条记录或最大有效负载大小为10MB。然而，当我监视消费者日志时，似乎并不是所有的分片都达到了这个限制。使用单个getRecords调用获取的
浏览 0提问于2020-09-07得票数 0
我在我的kinesis流中执行了从1分片到2分片的重新分片，之后我的KCL使用者每隔一分钟就会记录以下警告。cleanedUpCompletedLease=false，cleanedUpGarbageLease=false、wereChildShardsPresent=true、wasResourceNotFound=false的原因，无法清理newStream的租约shardId
浏览 98提问于2020-11-07得票数 0
1回答
我有一个应用程序，它消耗来自Kinesis流的记录，并进一步处理它们，但是性能非常低，所以现在我计划使用KCL 2.x来迁移到Kinesis增强的扇出用户，以提高其性能。由于用于增强扇出的Aws Kinesis非常令人困惑，有人能帮助我举例说明如何在我的Java应用程序中实现这个消费者特性吗？
浏览 2提问于2020-07-07得票数 0
回答已采纳
我不熟悉AWS Kinesis。我正在尝试使用KCL1版(遵循亚马逊的说明：https://docs.aws.amazon.com/streams/latest/dev/kinesis-record-processor-implementation-app-java.html#kcl-java-interface-original) 我想初始化一个新的KCL实例，但是我不知道我的</e
浏览 26提问于2019-04-18得票数 0
2回答
我似乎找不到一个像样的例子来说明我如何通过Python使用AWS Kinesis流。有没有人能给我提供一些我可以研究的例子？
最好的
浏览 1提问于2014-03-01得票数 27
回答已采纳
我有一个.war，其中我们有一个Kinesis应用程序，它处理包含单个分片的流。我们在生产中部署了两个war实例。因此，我最终会让两个工作人员在具有单个分片的单个流上工作。解决此问题的推荐方法是什么？我尝试在我的开发机器上本地部署了两个wars，从每个记录只被处理一次的意义上来说似乎是很好的。我知道AWS建议每个分片一个实例。从他们的文档中：
Typically, when you
浏览 1提问于2015-07-01得票数 0
Kinesis流用于从调用应用程序馈送消息，我们从Kinesis流和进程中获取消息。KPL (Onpremise)用于产生(馈送)数据到Kinesis，KCL (@ AWS EC2)用于消费者终端KPL以良好的速度产生消息，但消费者由于处理时间的原因而花费更多时间Question1>>How我们可以提高消费者的消费率吗？假设消费者并发读取流中的消息(并发数与分片数成正比) Question2>>We需要根据消费
浏览 0提问于2018-07-13得票数 0
为什么我发现在AWS Lambda中使用KCL的例子如此之少。我想作为消费者使用KCL。我的设置是具有多个分片的流。在每个分片上，一个Lambda正在消耗。我想在Lambda中使用KCL来跟踪迭代器在分片上的位置。
为什么我找不到将KCL与Lambd
浏览 0提问于2018-11-13得票数 7
使用用户组管理的建议解决方案是什么？据我所知，有两种方法2)使用AWS提供的kpl kcl功能？请参见默认情况下，kpl kcl是禁用的。
这两种解决方案的优缺点是什么？
浏览 9提问于2019-08-10得票数 3
1回答
我有一个用例，其中有一个现有的Kinesis流，我不知道有多少分片。但是，我必须创建一个消费应用程序，该应用程序将从分片中消费，并且我还必须将该应用程序Docker化。我看了一下这个docker图片链接，也做了同样的事情：
我的问题是，由于我不知道有多少分片，所以我只启动了一个容器，其中包含我的消费者代码。那么在现实中，如果我的kinesis有5个分片，而我只启动了一个容器，那么KCL</e
浏览 7提问于2019-11-12得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
