Kinesis创建具有相同序列号的多个记录
Kinesis是亚马逊AWS提供的一项流式数据处理服务，用于收集、处理和分析大规模实时数据流。它可以帮助用户轻松构建高度可扩展的实时应用程序。
在Kinesis中，可以创建具有相同序列号的多个记录。序列号是Kinesis为每个记录分配的唯一标识符，用于确保记录的顺序和一致性。当多个记录具有相同的序列号时，它们被视为同一批次的记录，表示它们是按照相同的顺序到达Kinesis流中的。
创建具有相同序列号的多个记录可以用于实现一些特定的应用场景，例如：
- 事务性处理：当需要确保一组记录按照特定的顺序进行处理时，可以将它们设置为具有相同的序列号。这样可以保证这些记录被作为一个事务进行处理，保持数据的一致性。
- 批量处理：具有相同序列号的多个记录可以表示它们属于同一个批次，可以一起进行批量处理。这样可以提高处理效率，减少处理的延迟。
- 数据分片：在某些情况下，为了更好地管理和处理数据，可以将数据分成多个分片，并为每个分片设置相同的序列号。这样可以将数据按照分片进行处理，提高系统的并发性和可扩展性。
腾讯云提供了类似的流式数据处理服务，称为腾讯云流数据处理（Tencent Cloud Stream Processing Service，SCF）。它可以帮助用户实时处理和分析大规模数据流，并提供了类似于Kinesis的功能和特性。您可以通过腾讯云官方网站了解更多关于腾讯云流数据处理的信息：腾讯云流数据处理产品介绍。
相关·内容
来自AWS 文档：
动态数据流是一个有序的数据记录序列。流中的每条记录都有一个序列号，该序列号由Kinesis数据流分配。
我看不出这两句话有什么联系。此外，文档没有明确指定排序的类型。
经过一次小小的调查后，我发现如果我们使用After库(例如，KPL)，库成功地发送到Kinesis的顺序是在使用Kinesis时维护的。问题是，这个记录顺序不能保证与我发送到任何库的记录顺序相等。
Application -(1)> KPL -(2)> Kinesis
顺序由成功地从KPL发送到Kinesis的记录序列决定。(在发生网络故障时，将再次从KPL发送记录，然后再发送其他记录)。
“随机
浏览 0提问于2018-02-26得票数 5
回答已采纳
根据Kinesis文档，序列号应该是唯一的，但是我们看到相同的值在多个记录中重复使用。我们的事件生产者是Spring Boot应用程序，它在内部使用KPL，消费者是AWS lambdas。在测试期间，我们已经执行了几次重新分片。下面你可以看到样本序列号被多次重复使用。这怎么可能呢？ "Records": [{
"kinesis": {
"kinesisSchemaVersion": "1.0",
"partitionKey": "00000000000000002&
浏览 12提问于2019-05-29得票数 1
1回答
我有一个AWS动态流，我在Hive中创建了一个外部表，指向它。然后，我为检查点创建了一个DynamoDB表，在我的Hive查询中，我按照描述的设置了以下属性
set kinesis.checkpoint.enabled=true;
set kinesis.checkpoint.metastore.table.name=my_dynamodb_table;
set kinesis.checkpoint.metastore.hash.key.name=HashKey;
se
浏览 3提问于2015-05-04得票数 0
1回答
我在试着从一片震颤碎片中得到记录。我循环获得切分迭代器，然后在迭代器中获取记录。我似乎得到了无数的迭代器，没有包含任何记录。
我的问题涉及迭代器的生命周期。既然Kinesis只保存了24小时的数据，迭代器应该有5分钟的寿命，难道我不应该在任何时候看到最多288个迭代器吗？
浏览 0提问于2018-08-15得票数 5
回答已采纳
我们正在使用Flink Kinesis Consumer将Kinesis流中的数据消费到我们的Flink应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。因此，下次应用程序启动时，它将从中断的位置恢复。 但是，Flink Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此，我们需要依靠ShardIteratortype (trim_horizen、latest等)来决定在应用程序重启时从哪里恢复Flink应用程序处理。 一种可能的解决方案是依赖于Flink检查点机制，但只有当应用程序在失败后恢复时才起作用，而不是当应用
浏览 16提问于2019-02-22得票数 3
在Kinesis完成工作之后，下一步就是将这些信息发送到目的地。AWS目前提供3种目的地选择：
运动流
动态消防软管输送流
AWS Lambda函数
对于我的用例，不是我想要的，所以我只剩下：
运动流
AWS Lambda函数
如果我将目的地设置为Kinesis，那么我将向该流附加一个Lambda来处理记录。
AWS还提供了将目的地设置为Lambda的能力，从而绕过了此过程的Kinesis步骤。在挖掘文档的过程中，我发现了以下内容：
特别是在Lambda输出调用频率下的那些文档中，它说：
如果将记录作为连续查询或滑动窗口发送到数据分析应用程序中的应用程序
浏览 0提问于2018-03-28得票数 3
我有一个应用程序，我只需要1 Kinesis的带宽，但我需要许多lambda函数调用并行，以跟上记录处理。我的记录大小处于高端(其中一些文件侵犯了1000 KB的限制)，但传入速率仅为1MB/s，因为我使用单个EC2实例填充流。由于每条记录都包含一个内部时间戳，所以我不关心按顺序处理它们。基本上，我有几个月的数据，我需要迁移，我想并行地做。
处理后的记录为能够处理1000个并发客户端的数据库集群提供记录，因此我以前的解决方案是将我的Kinesis流拆分为50个碎片。然而，事实证明这很昂贵，因为我所需要的只是并行化处理。我使用的带宽不足1%，我不得不增加保留时间。
从长远来看，我想答案是把我的记
浏览 0提问于2015-12-11得票数 2
回答已采纳
1回答
我们正在评估运动，我发现了下面的行为。我有一个简单的测试使用Kinesis测试的准确性和基本功能。
测试将项目生成到流中，如下所示：
PutRecordRequest putRecordRequest = new PutRecordRequest();
putRecordRequest.setStreamName( streamName );
putRecordRequest.setData(ByteBuffer.wrap(event.getBytes()));
putRecordRequest.setPartitionKey( message.getEvent
浏览 3提问于2014-12-11得票数 0
回答已采纳
1回答
我观察到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收到。可能发生这种情况的原因是什么？之前和之后的记录都很好。
所有异常都在我的应用程序中使用，并且不会被KCL接收。因此，的情况也没有发生。
一些细节:打开分片数量:4关闭分片数量:3运行的工作进程数量:5
我从我的Kinesis生产者中获取了序列号，并在aws cli中使用AT_SEQUENCE_NUMBER作为分片迭代器类型直接获取记录，我可以看到这些记录。
所以流有它们，但是KCL应用程序没有接收到它们。
浏览 0提问于2017-04-07得票数 1
1回答
我有一些代码，它接受用户的id和最后修改日期，以创建一个需要增量的序列。情况并不总是这样，因此本应从该脚本进行的更新并不总是有效。
DECLARE @SequenceNumber BIGINT
SET @SequenceNumber = 0
SELECT
[Student_ID] as IDCode,
[Last_modified] as LastModified,
CONVERT(BIGINT, CONVERT(VARCHAR(MAX), CAST(FLOOR(CAST([Last_modified] AS FLOAT)) AS BIGINT) * 100000
浏览 0提问于2016-08-18得票数 0
1回答
我使用python的模块向写入记录。达到的最大吞吐量约为40 puts/秒。然而，根据
每个碎片每秒可以支持多达1000个PUT记录。
因此，我目前的方法只达到4%的，这在理论上是可能的，这似乎非常低。
有人知道如何提高吞吐量吗？
安装程序: Kinesis是一个有一个碎片的实例。生产者位于与Kinesis相同区域的专用AWS EC2实例(t3.media)上。它创建大约20个字符长度的字符串，并通过boto.kinesis.Connection.put_record("my_stream", my_message)将它们发送到Kinesis。
简化代码：
from b
浏览 2提问于2015-06-23得票数 3
回答已采纳
1回答
在Kafka中，我可以将我的主题分成许多分区。在Kafka中，我不能拥有比分区更多的使用者，因为分区被用作扩展主题的一种方式。如果我有更多的负载，我可以增加分区的数量，这将允许我增加使用者的数量，这将允许我对一个给定的主题进行更多的线程/进程处理。
在卡夫卡，有一个消费者集团的概念。如果我们有10个消费者组在一个单一的主题，每个消费者群体将有机会处理每一个主题中的每一个信息。使用者组仍然利用来自分区的可伸缩性(即每个使用者组最多可以拥有'n‘使用者，其中'n’是一个主题上的分区数)。这就是卡夫卡的美，可扩展性和多通道阅读是两个独立的概念，两个独立的旋钮要转动。
在Kinesis
浏览 0提问于2018-05-05得票数 7
回答已采纳
对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到AWS Kinesis firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流，然后我们可以创建到Kinesis Firehose的管道。如果我们指向Kinesis Firehose传递流，则会收到错误- ResourceNotFoundException消息:帐户XXXX下的流测试未找到 但是，如果我们将log-stash指向Kin
浏览 14提问于2019-03-25得票数 0
1回答
我正在测试这个架构: Kinesis Firehose S3→雅典娜。现在我使用的是Kinesis生成的虚拟数据，每一行看起来像这样：{"ticker_symbol":"NFLX","sector":"TECHNOLOGY","change":-1.17,"price":97.83}
然而，有两个问题。首先，Glue Crawler为每个文件创建一个单独的表。我读到过，如果模式匹配，Glue应该只提供一个表。正如您在下面的屏幕截图中所看到的，模式是相同的。在爬虫选项中，我尝试了Create a si
浏览 18提问于2021-01-28得票数 0
我对AWS文档有点困惑，它可以在这里将记录放到Kinesis中：
它说，设置sequenceNumberForOrdering应该用来保证订单“从同一个客户端到同一个分区键的puts”。
最底层的例子让我感到困惑：
在这个例子中变量sequenceNumberOfPreviousRecord的初始值应该是什么？"0"
为什么以前的记录放在哪个分区键中似乎并不重要？(示例中的循环为两个不同的分区键(0和1)放置记录。)
也许我只是不明白，但我认为医生们可以更好地解释这个问题。
浏览 2提问于2017-07-24得票数 6
1回答
我有带有多个嵌套json (UDTs)的记录，基于这些记录，Redshift中有多个表:1用于主JSON，其他用于嵌套json。
现在，这些输入记录需要从Kinesis Firehose保存到Redshift。当将Redshift配置为目的时，只有一个选项可以通过AWS控制台提供一个表。
是否有任何方法可以将多个Redshift表配置为Kinesis的目的地？
浏览 1提问于2020-09-18得票数 3
回答已采纳
2回答
我在读关于AWS Kinesis的文章。在下面的程序中，我将数据写入名为TestStream的流中。我将这段代码运行了10次，在流中插入了10条记录。
var params = {
Data: 'More Sample data into the test stream ...',
PartitionKey: 'TestKey_1',
StreamName: 'TestStream'
};
kinesis.putRecord(params, function(err, data) {
if (err) consol
浏览 0提问于2018-01-23得票数 47
回答已采纳
我计划使用DynamoDB，它的数据需要与CloudSearch同步。我知道Lambda是可以使用的，但是我想用Kinesis来实现它。因此，生产者是DynamoDB，它将为表中的每个PUT/DELETE生成流的数据。
我的设计非常直截了当：(假设消费者有序地接收记录)
接收记录
同步到CloudSearch
(重复)
当多个碎片存在时，我遇到了一些问题，弄清楚KCL如何确保在客户端有序交付记录。从API文档中，我了解到
我们需要使用GetShardIterator创建每个切分迭代器
有了那个碎铁器，我就可以在一个特定的序列中得到这个碎片的所有项目。
但是，
浏览 3提问于2017-08-04得票数 0
我已经创建了一个Kinesis数据流，并将如下格式的记录输入到其中： {
"ufo": 5,
"unicorn": 7,
"something else": 9,
} 我正在尝试编写一个转换lambda，它将转换上面的记录并将三个记录插入到Redshift中。红移表模式是这样的： CREATE TABLE my_table(
timestamp DATETIME,
name TEXT,
count INT
) SORTKEY(timestamp); 因此，从本质上讲，从单个Kinesis记录中，我
浏览 16提问于2020-07-16得票数 1
回答已采纳
1回答
我有一个包含人员列表和持续时间值的表，我需要将表中每个人的总持续时间相加，并显示每个人的记录数。
PersonTable
id int
name nvarchar(max)
duration decimal(18,2)
SELECT name, sum(duration) as TotalDuration, count(*) as NumRecords
FROM PersonTable
GROUP BY name
不幸的是，我还需要确保没有人被放置在持续时间超过3小时的组中。如果某个人有足够的记录，他们的总和超过3小时，那么我需要为该人生成2个组，或者将总数保持在3以下所需的组数。基表中没有
浏览 0提问于2011-12-10得票数 2
回答已采纳
1回答
websphere新手。正在尝试在单元默认信任存储中安装和验证根证书和链证书。我已经安装了带有相同指纹的根证书和链证书，但这两个证书的序列号与我的其他根证书和链证书不同。所以这里的问题是-如果他们有相同的指纹，证书是相同的吗？如果他们有不同的序列号呢？
谢谢
浏览 0提问于2021-07-22得票数 0
我试图使用“帐户A”中Lambda的boto3 api将事件发送到另一个帐户(Account B)中的boto3流中。
kinesis = boto3.client('kinesis', )
response = kinesis.put_record(
StreamName="account-b-stream-name",
Data=data,
PartitionKey="partitionkey")
这将导致以下错误
An error occurred (AccessDeniedExceptio
浏览 6提问于2020-12-07得票数 1
1回答
我有一个kinesis消费者，它正在从过去的3个days..but运行，但它仍然没有读取生产者数据 生产者将数据放在序列号49593554362799306497476712297116585830001273292214763522 ->中 消费者在-> 49592407930728695436502186699740292765095159714163982338上阅读 有人能帮我理解这些序列号吗？
浏览 12提问于2019-03-07得票数 1
我正在试着测试它，如下所示
这个地区是弗吉尼亚
我创建了一个EC2实例和访问管理(IAM)角色，该角色被配置为可以写入和CloudWatch的权限。
OS amazon Linux : amzn-ami-hvm-2017.09.1.20180115-x86_64-gp2 (ami-97785bed))
安装假冒的Apache日志生成器并运行脚本
pwd -> /home/ec2-user/Fake-Apache-Log-Generator-master/access_log_*.log
Run script -> python apache-fake-log-
浏览 0提问于2018-02-09得票数 1
我想从我没有权限创建dynamoDB表的帐户上读取kinesis流。我猜生成器表是用来记录“读指针”位置的。 是否可以(使用AWS java库)使用dynamo的本地实例来执行此跟踪？
浏览 12提问于2019-10-12得票数 0
回答已采纳
3回答
我试着通过Flink获取Kinesis的数据。
在我例子中，一条记录中有多条消息。如何将其划分为多个记录？(我会把它发送到Elasticsearch。)
我试着搜索它，但我找不到合适的答案。
我的代码所做的是从Kinesis获取数据，解压缩gzip，将其转换为字符串，然后使用objectMapper.readvalue到我的POJO for java。
有两个POJO:一个用于整个事件，一个用于LogEvents。
{
"messageType":"DATA_MESSAGE","owner":"<account id>&#
浏览 4提问于2021-09-24得票数 2
我正在开发一个应用程序，该应用程序使用(KCL)从AWS Kinesis读取和处理事件。我不希望事件生成器端受到延迟的影响，因此使用KinesisAsyncClient来发送事件。但是，为了使我的事件处理正常工作，我需要在我的生产者端以"order I called“的方式处理事件。此信息可作为每个Kinesis记录中的时间戳字段使用。
除了切换到使用阻塞同步Kinesis之外，还有什么其他解决方案可以有效地对流事件进行排序吗？
浏览 2提问于2016-04-05得票数 0
回答已采纳
1回答
亚马逊Kinesis声称支持Avro文件。
Avro文件(这里查看Avro 1.8 )包含特定文件的模式和数据。
同时，Kinesis会摄取许多记录，并将它们粘合到一个大文件中。
如果我们放入的每个记录都是一个Avro文件，Kinesis将这些文件粘合在一起形成更大的文件，那么我们将拥有具有无数个小模式的文件。这看起来并不有用/有效/有效。
我遗漏了什么？
浏览 0提问于2018-05-10得票数 2
我有一个连接到AWS Kinesis Stream (由其触发)的AWS lambda。当我在Kinesis中激发事件时，我的lambda会被调用。下面是一些将事件推送到Kinesis中的示例代码(此部分有效)：
var kinesis = new AWS.Kinesis({
region: 'us-east-1'
});
var params = {
Data: new Buffer(JSON.stringify(data)),
StreamName: 'myStreamName',
PartitionKey: uuid.v1()
};
k
浏览 0提问于2017-02-14得票数 1
回答已采纳
1回答
我在vb.net中创建了一个应用程序，它接受来自用户的值并将它们插入数据库(在server 2008中创建)。它接受来自应用程序本身的名称、地址、电话号码等。但问题是，用户还需要在应用程序中输入序列号。有办法自动管理序列号吗？因为没人记得上一张唱片的序列号。因此，在为新记录分配序列号之前，每次都需要检查数据库中最后一个记录的序列号。
我还希望，如果从数据库中间删除任何记录，序列号应自动调整。所以，我想要的是，序列号应该自动分配，就像第一次记录的1，下一次记录的2，3，4，5，6.诸若此类。但是，如果与序列号5相对应的记录被删除，那么s.no。6应成为s.no。5.
提前感谢
浏览 2提问于2014-07-13得票数 0
回答已采纳
我已经准备了pyspark代码，以便在我的spark streaming中从AWS Kinesis读取数据。代码运行正常，没有任何错误，但没有获取任何记录。 我只用一个分片创建了一个运动数据流，并使用kinesis实用工具来创建运动火花流。 spark_session = SparkSession.builder.getOrCreate()
ssc = StreamingContext(spark_session.sparkContext, 10)
sc = spark_session.sparkContext
Kinesis_app_name = "test"
Kinesi
浏览 19提问于2019-04-26得票数 0
1回答
在下面的示例中，如果我已经知道插入数据时返回的记录的序列号，我就可以返回该记录。但是如何返回不同设备添加的所有数据呢？
import boto
mykin = boto.connect_kinesis(aws_access_key_id='access_key',
aws_secret_access_key='secret_key')
myput = mykin.put_record(stream_name='mytest', data='abcdefghij',
浏览 2提问于2013-12-19得票数 0
1回答
我对Kinesis非常陌生，我花了很多时间浏览文档，但还无法确定是否有可能在单个碎片上有多个“主题”(因为没有更好的术语)。最初我以为这就是分区键的用途，但是在之后
分区键用于按流中的碎片对数据进行分组。流服务将属于流的数据记录分离为多个碎片，使用与每个数据记录相关联的分区键来确定给定数据记录所属的碎片。
...it听起来就像分区(可以)跨越多个碎片。
我目前只需要一个碎片，但我确实需要能够将消息分离到这个碎片中的不同渠道/主题中--这不可能吗？
-编辑--
值得一提的是-我的应用程序中同时使用了KCL和KPL。
浏览 2提问于2016-09-27得票数 5
回答已采纳
说有碎片，需要先迭代它们，然后对每个碎片进行迭代，以获得记录的数量。
文件还说：
(如果您使用DynamoDB Streams Kinesis，这是为您处理的:您的应用程序将以正确的顺序处理碎片和流记录，并自动处理新的或过期的碎片，以及在应用程序运行时分裂的碎片。有关更多信息，请参见使用DynamoDB流动态适配器处理流记录。)
好的，但是我用的是兰巴而不是运动(它们不是相互关联的吗？)如果lambda函数被附加到dynamodb流，那么我应该不关心碎片吗？或者我应该编写labda代码，并期望aws环境只将一些记录传递给lambda？
浏览 6提问于2017-10-01得票数 3
1回答
我目前正在使用DynamoDB流，并期待着移动到Kinesis，因为我想从流中获得对我喜欢处理的记录数量的控制。
我一直在读关于“激流”和“兰达”的书。有许多关于Kinesis和EC2的文章，其中有多个消费者和KCL等。
我所想知道的是，如果我和兰巴一起去寻找激流，那么预期的行为是什么呢？
就像Dynamo流一样，当Kinesis在流中有记录时，lambda会被事件中的一堆记录触发？
每当动态流中有记录时，Lambda就会被触发，Lambda可以继续读取这些碎片来获取记录并进一步处理。
我正在寻找上述第二种选择。我不希望用一组记录触发lambda，但是我想控制我所读的数量。
有
浏览 0提问于2019-06-28得票数 1
当使用Kinase数据流时，可以使用特性吗？
DynamoDB Streams API
DynamoDB流API有意类似于Kinesis，这是一种用于大规模实时处理流数据的服务。在这两个服务中，数据流由碎片组成，碎片是流记录的容器。这两个服务的API都包含ListStreams、DescribeStream、GetShards和GetShardIterator操作。(尽管这些DynamoDB流操作与Kinesis中的对应程序相似，但并不是100%相同的。)
是否有可能在DynamoDB流中使用增强的扇出？是否有任何关于此用途的文档或代码示例？
看起来答案可能是否定的，因为上面没有列出
浏览 1提问于2019-07-19得票数 0
2回答
我想按给定的时间(或一个开始时间)重播。
用例：
应用程序失败时，可能会考虑处理一些流记录，但实际上尚未完成。即不保存在本地数据存储中。因此，在系统恢复方面，我们希望在当前检查点的30分钟(或任何给定数量)之前开始处理记录。
我偶然发现了这个，它将动态记录保存到S3中，然后重放来自S3的事件。
我在想，如果没有s3的话，是否有可能重播这些唱片，因为Kinesis保存了24小时的唱片。24小时就够长了。
浏览 0提问于2016-02-15得票数 2
from __future__ import print_function # Python 2/3 compatibility
import boto3
import json
import decimal
#kinesis = boto3.resource('kinesis', region_name='eu-west-1')
client = boto3.client('kinesis')
with open("questions.json") as json_file:
questions = json.load
浏览 4提问于2016-05-27得票数 7
我已经创建了一个包含6个分片的kinesis流。我只需要运行一个简单的应用程序，将两条记录放到我的kinesis中，然后应用程序就完成了。 奇怪的是，当我转到我的kinesis流的监控页面时，我总是看到传入的数据。例如，在过去的一个小时内，我有超过293K条输入记录。我没有任何dot记录。 ?
浏览 11提问于2020-01-29得票数 0
我使用的是Boto3和动态。我想让Kinesis从流中返回一个项目。
这是我的密码：
kinesis = boto3.client('kinesis')
iterator = kinesis.get_shard_iterator(
StreamName = "requests",
ShardIteratorType='LATEST'
)
response = kinesis.get_records(
ShardIterator = iterator,
Limit = 1,
StreamName
浏览 6提问于2022-04-09得票数 0
回答已采纳
1回答
我使用spring动态绑定器在批处理模式下消费消息。
有时，我无法使用来自流的消息。这不是一直都在发生的
对于ShardConsumer{shardOffset=KinesisShardOffset{iteratorType=AFTER_SEQUENCE_NUMBER，sequenceNumber='49594358705006691330463332232285735104253344290967650306'，timestamp=null，=‘mystream-1’，shard='shardId-000000000000'，reset=false}，stat
浏览 0提问于2019-04-16得票数 0
回答已采纳
1回答
嘿，伙计们，就像在附件中的表格一样，对于一个保单，如果有丢失和从同一机构发出的组合，那么我不想要“丢失”记录，但如果保单有bot丢失从不同的机构发出，那么我想要所有的记录。有没有办法用Excel或sql query来做到这一点？
浏览 1提问于2015-04-09得票数 0
我正在使用KCL创建一个应用程序，以从另一个帐户A中的kinesis获取记录。
我假设帐户A中的角色是获取临时凭据以从kinesis获取记录。凭证过期后，KCL不会停止运行，只需休眠片刻，再次唤醒即可。
如何避免凭据过期。
浏览 0提问于2016-05-19得票数 0
我使用以下Python代码块来获取我放到Kinesis流中的记录，然后将这些记录放入S3存储桶中。这个流只有一个分片。
# Fetching the shard iterators from the Kinesis stream
shard_iterators = []
if response and 'StreamDescription' in response:
for shard_id in response['StreamDescription']['Shards']:
shard_id = shard_id[&#
浏览 0提问于2014-06-13得票数 0
我是AWS cloudformation的新手，需要创建一个Kinesis数据流，然后使用python代码将记录写入此数据流。我可以通过cloudformation模板创建数据流，但不能设置权限。我将如何附加一个权限，以允许某些用户组使用python库写入此kinesis数据流？ 我当前的模板代码是， AWSTemplateFormatVersion: '2010-09-09'
Description: 'This template will create an AWS Kinesis DataStream'
Parameters:
CFNStreamNa
浏览 25提问于2019-04-23得票数 0
回答已采纳
我的spring boot应用程序使用的是aws kinesis绑定器，它充当消费者。我将最后一个序列号保存在数据库中，以便在应用程序重启时读取该序列号，并使用AFTER_SEQUENCE_NUMBER作为shardIteratorType在该序列号之后开始处理。我可以通过使用新的序列号手动更新配置yml来完成此操作。有没有什么方法可以动态设置这个序列号。谢谢。
浏览 23提问于2020-10-01得票数 0
4回答
亚马逊声称，他们的动态流媒体产品保证了记录的订购。
它提供了记录的排序，以及按相同顺序读取和/或重播记录的能力(.)
运动是由由一个或多个碎片组成的溪流组成的。记录存储在这些碎片中。我们可以编写连接到碎片的使用者应用程序，并按照存储的顺序读取/重播记录。
但是Kinesis能保证，在不将订购逻辑推送给消费者的情况下，开箱订购流本身吗？消费者如何从同一流的多个碎片中读取记录，以确保记录的读取顺序与添加到流中的顺序相同？
浏览 6提问于2016-08-31得票数 28
2回答
使用大量连接时Kinesis出错
、、、、
我正在使用Kinesis存储从安装在EC2服务器上的Jmeter发送的记录。问题是，当我启动7200个线程并在我的Kinesis流上使用1个共享时，一切都正常工作。如果我启动了9000个线程，我会收到这个错误
Rate exceeded for shard shardId-000000000001 in stream Jmeter under account 769870455028. (Service: AmazonKinesis; Status Code: 400; Error Code: ProvisionedThroughputExceededException; Request ID
浏览 2提问于2015-05-21得票数 1
我正在尝试为Spark本身在给定的链接中提供的spark kinesis stream scala应用程序编译和创建一个jar。
以下是我的sbt文件，它有所有的依赖项，并且它的编译对于简单的程序来说很好。
name := "stream parser"
version := "1.0"
val sparkVersion = "2.0.2"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion % &
浏览 0提问于2016-11-23得票数 0
1回答
如何强制不删除流
、、、
我部署了一个CloudFormation Kinesis流。
然后，我使用另一个名称从另一个流进行了新的部署...前一个已被删除。也就是说，它会删除前一个部署，并始终保留最后一个部署。
我在文档中没有找到任何解释如何强制deploy不删除Kinesis创建的流的内容。
有什么想法吗？
在serverless.yml上遵循我的Kinesis资源配置
resources:
Resources:
KinesisStream:
Type: AWS::Kinesis::Stream
Properties:
Name: kinesis_name_1
浏览 0提问于2018-01-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
