0回答
我已经编写了一段代码来从kinesis流中获取记录到一个Lambda函数，该函数给出数据、分区ID和序列号的输出有效负载，然后我尝试调用第二个lambda从第一个lambda中获取序列号和分区ID，然后第二个我坚持使用序列号和分区ID从<e
浏览 1提问于2016-07-06得票数 0
它在流中被分配了序列号x。现在，该记录将在24小时后从流中删除。
现在，假设在许多天后，有人更新了这个record1的属性。现在，这会用序号y再次推到流中，我的问题是，是否存在x= y的可能性。
浏览 1提问于2021-04-08得票数 1
回答已采纳
1回答
我对Kinesis非常陌生，我花了很多时间浏览文档，但还无法确定是否有可能在单个碎片上有多个“主题”(因为没有更好的术语)。最初我以为这就是分区键的用途，但是在之后
我目前只需要一个碎片，但我确实需要能够将消息分离到这个碎片中的不同渠道/
浏览 2提问于2016-09-27得票数 5
回答已采纳
我有Kinesis Stream.I捕获的事件。我想将所有事件放在S3上的特定文件夹结构上。我想做一个带有日期戳的文件夹，就像6月15日的所有事件都应该放在这个文件夹中，从6月16日开始，新的文件夹应该来挑选事件，等等。作为Kinesis的新手，我只是跟着文档走，我发现有一个连接器框架，其中S3Emitter与配置一起使用来挑选数据需要emitted.However的S3位置。
浏览 0提问于2014-06-16得票数 9
回答已采纳
1回答
我观察到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收到。可能发生这种情况的原因是什么？之前和之后的记录都很好。我从我的Kinesis生产者中获取了序列号，并在aws cli中使用AT_SEQUENCE_NUMBER作为分片迭代器类型直接获取记录
浏览 0提问于2017-04-07得票数 1
1回答
使用者组仍然利用来自分区的可伸缩性(即每个使用者组最多可以拥有'n‘使用者，其中'n’是一个主题上的分区数)。这就是卡夫卡的美，可扩展性和多通道阅读是两个独立的概念，两个独立的旋钮要转动。在Kinesis中，我们被告知，如果您使用Kinesis客户端，您可以通过定义不同的Kinesis应用程序来获得与使用者组相同的功能。换句话说，我们可以有不同的Kinesis应
浏览 0提问于2018-05-05得票数 7
回答已采纳
来自AWS 文档：我看不出这两句话有什么联系。此外，文档没有明确指定排序的类型。经过一次小小的调查后，我发现如果我们使用After库(例如，KPL)，库成功地发送到Kinesis的顺序是在使用Kinesis时维护的。问题是，这个记录顺序不能保证与我发送到任何库的记录顺序相等。Applicatio
浏览 0提问于2018-02-26得票数 5
回答已采纳
2回答
我在读关于AWS Kinesis的文章。在下面的程序中，我将数据写入名为TestStream的流中。我将这段代码运行了10次，在流中插入了10条记录。', StreamName: 'TestStream' else console.log(data)
浏览 0提问于2018-01-23得票数 47
回答已采纳
1回答
每个请求都绑定一个Id。所以要这么做。我们得锁定身份。这样，我们就可以避免写操作冲突。来做这个(我的研究)-
acquirelock perform write operation release lockIf, id is already present, then wait, else
浏览 5提问于2016-08-06得票数 2
我已经准备了pyspark代码，以便在我的spark streaming中从AWS Kinesis读取数据。代码运行正常，没有任何错误，但没有获取任何记录。我只用一个分片创建了一个运动数据流，并使用kinesis实用工具来创建运动火花流。= "test"endpoint_url = "kinesis.us-eas
浏览 19提问于2019-04-26得票数 0
我正试图在以下帮助下读取推送到Kinesis流的消息
get_records()和get_shard_iterator() API。我的制作人在处理结束时一直在推动记录，消费者每隔30分钟也会继续以cron的身份运行。因此，我尝试将当前消息的序列号存储在我的数据库中，并使用AFTER_SEQUENCE_NUMBER切分迭代器和最后读取的序列号。我还尝试使用AT_TIMESTAMP和消息时间戳，生产者将其作为消息的一部分推进到流中，并
浏览 5提问于2017-10-03得票数 1
回答已采纳
2回答
我似乎找不到一个像样的例子来说明我如何通过Python使用AWS Kinesis流。有没有人能给我提供一些我可以研究的例子？
最好的
浏览 1提问于2014-03-01得票数 27
回答已采纳
API使用分区键来确定记录的碎片id。即使PutRequest的响应包含碎片id，它也不可靠，因为碎片是可拆分的，以便可以将记录移动到新的碎片中。我找不到一种方法来确定使用者端特定分区键的碎片id。
看起来，AWS将分区键映射到128位整数键，但是在文档中没有解释散列算法。我想要做的是在具有特定分区键的Kinesis流中处理记录，这意味着它们将位于特定的碎片中，这
浏览 3提问于2015-08-08得票数 4
回答已采纳
2回答
如何判断读取器已处理的Kinesis流中数据的百分比？我知道每个阅读器都有一个每个分片的检查点序列号，我也可以从describe- StartingSequenceNumber中获取每个分片的流，但是，我不知道阅读器当前在我的数据中进行了多长时间(我不知道分片的最新序列号我在考虑为每个分片获取一个最新的迭代器，并获取最后一个记录的序列号，但是，如果自从我获得最新的迭代器后没有新的数据，这似乎就不起作用了。
有什么想法或工具可以做到这一
浏览 1提问于2015-01-09得票数 4
我确实有一些使用AWS kinesis和lambdas的经验，但根据我的经验，我们无法控制聚合是如何完成的。所有机器都将通过kinesis发送数据，并将用户id作为分区键。这对于其他一些用例来说是很棒的，但在这里，如果我收到100条记录，我不知道该怎么办(我想“等待”接收更多记录，或者等待从第一条记录的日期起经过的10秒)。
我也不确定“按用户id”的聚合是如何工作的。到目前为止，在lambda上，
浏览 0提问于2020-03-07得票数 0
我们如何在Amazon kinesis中处理静态数据？例如，我有excel表格中的数据，我想在Kinesis中处理它们。有可能吗？如果是，那么如何实现呢？
浏览 0提问于2016-05-05得票数 0
我有一个Kinesis Firehose Stream，其中生成了不同模式的JSON。我不想对不同的模式使用不同的流。
浏览 1提问于2021-06-05得票数 0
我假设使用Kinesis从DynamoDB流中读取将为具有相同分区键的记录提供始终有序的事件序列。如果发生了重新分区，库还会为同一分区键的所有表活动提供有序的记录吗？
浏览 3提问于2016-06-12得票数 3
回答已采纳
1回答
我和我的团队有一个基于亚马逊Kinesis服务的流媒体系统，它使用Java独立消费者和KCL向其他团队提供跟踪信息。我们决定将这个系统迁移到Google Cloud Platform。我们了解到，Google平台中Amazon Kinesis的自然替代品是Google Cloud Dataflow服务。是那么回事吗？另一个问题是数据分区，因为我们在Kinesis中使用user-id作为分区键。在Google Dataflow上做同样的
浏览 1提问于2017-04-01得票数 0
5回答
> S3使用当前日期作为在S3中创建密钥的前缀。因此，这将按写入记录的时间对数据进行分区。我的消防水管流包含有特定事件时间的事件。
是否有方法来创建包含此事件时的S3键？事件时间可以在分区键中，或者我可以使用Lambda函数从记录中解析它。
浏览 4提问于2017-02-09得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
