Amazon KCL的检查点记录抛出ProvisionedThroughputExceededException
Amazon KCL（Amazon Kinesis Client Library）是亚马逊提供的用于开发消费者应用程序的库，用于处理 Amazon Kinesis 数据流。它提供了一种简化的方式来读取和处理实时数据，并且可以自动处理数据的分片和负载均衡。
检查点记录（Checkpoints）是 Amazon KCL 中的一个重要概念，用于跟踪应用程序在数据流中的处理进度。检查点记录会定期保存应用程序的处理状态，以便在应用程序重启或发生故障时能够从上次的检查点继续处理数据，确保数据不会丢失。
当 Amazon KCL 的应用程序在处理数据时，如果发生 ProvisionedThroughputExceededException 异常，意味着应用程序的处理速率超过了所配置的吞吐量限制。这个异常通常是由于数据流的读取速率超过了所配置的吞吐量限制导致的。
为了解决这个问题，可以采取以下措施：
- 增加数据流的吞吐量限制：可以通过调整数据流的分片数或者增加每个分片的吞吐量限制来提高处理速率。
- 优化应用程序的处理逻辑：可以通过优化代码、增加并发处理能力或者使用多线程等方式来提高应用程序的处理速率。
- 监控和调整：定期监控应用程序的处理速率和吞吐量，根据实际情况进行调整，以确保应用程序能够正常处理数据。
腾讯云提供了类似的产品和服务，可以用于处理实时数据流。其中，推荐的产品是腾讯云的云原生数据总线（Tencent Cloud Native Data Bus，简称 TCD），它提供了高可用、高性能的数据流处理能力，支持实时数据的读取、处理和存储，并且可以与其他腾讯云产品无缝集成。
更多关于腾讯云云原生数据总线的信息，可以参考以下链接：
相关·内容
AWS库中的检查点和裁剪是如何关联的？
文档页面处理启动、关闭和节流：
默认情况下，KCL开始从流的尖端读取记录，这是最近添加的记录。在此配置中，如果数据生成应用程序在任何接收记录处理器运行之前将记录添加到流中，则记录处理器启动后不会读取记录。
若要更改记录处理器的行为，使其始终从流开始读取数据，请在应用程序的属性文件中设置以下值：
initialPositionInStream = TRIM_HORIZON
开发的文档页面中写道：
流要求记录处理器跟踪已在碎片中处理的记录。KCL通过将一个检查指针(IRecordProcessorCheckpointer)传递给processRec
浏览 2提问于2016-07-23得票数 20
从文档中可以清楚地看到，当以TRIM_HORIZON作为迭代器类型启动KCL应用程序时，记录将从流的开头读取。文档还提到，应用程序的状态是通过使用检查点在DynamoDB表中维护的。
但是，我没有找到任何参考，KCL应用程序是如何使用这些DynamoDB表信息的。
具体而言，我的问题如下-我有流与168小时的保留期，这是大量的数据。假设我的KCL(从TRIM_HORIZON上的迭代器开始)与传入的数据同步，并且在流的末尾处理记录，并且定期地指向记录。现在，如果我重新启动我的KCL，它会从流的开头开始读取数据(168个小时前)，但仍然使用DynamoDB表查看检查点并跳到最新的记录，还是根本没有
浏览 5提问于2017-04-01得票数 3
回答已采纳
我有一个.war，其中我们有一个Kinesis应用程序，它处理包含单个分片的流。我们在生产中部署了两个war实例。因此，我最终会让两个工作人员在具有单个分片的单个流上工作。解决此问题的推荐方法是什么？我尝试在我的开发机器上本地部署了两个wars，从每个记录只被处理一次的意义上来说似乎是很好的。我知道AWS建议每个分片一个实例。从他们的文档中：
Typically, when you use the KCL, you should ensure that the number of instances does not exceed the number of shards (except fo
浏览 1提问于2015-07-01得票数 0
我正在构建一个DynamoDB应用程序，以使用KCL库从一个KCL流中使用事件。
使用这个库：
com.amazonaws:dynamodb-streams-kinesis-adapter:1.4.0
这取决于：
com.amazonaws:amazon-kinesis-client:1.9.0
但是，已经有了KCL的2.2.0版本，具有不同的组id：
software.amazon.kinesis:amazon-kinesis-client:2.2.0
有没有办法在DynamoDB流适配器中使用较新的KCL？
浏览 1提问于2019-04-11得票数 5
我有一个动态用户，其工作是跟踪系统中的“当前活动用户”。每分钟，用户都会将心跳发送到Kinesis流，而这个系统只保存了它所见过的所有唯一用户GUID的列表，以及上次从该GUID接收到的心跳。如果在2分钟内没有看到心跳，我们假设用户不再是活动的，并将其从“当前活动用户”列表中删除。相当直截了当。
因为这个系统只关注当前活动的用户，所以我们不需要备份处理旧消息。如果我们要关闭这个消费者两个小时，然后打开它，我们想要开始处理“最新”的消息，而不是捡起我们停止的地方。
最后，这已经实现为的一个应用程序，使用MultiLangDaemon与Kinesis进行通信。
在正常使用中，我发现从“最新”开始的
浏览 5提问于2021-03-17得票数 0
给定一个包含多个碎片的流，我假设每个应用程序将通过，在从该流处理的记录上维护自己的检查点。然而，我发现很难找到这种情况--阅读AWS的文档。
我的问题是，如果我有两个使用KCL连接到同一个流的Kinesis应用程序，它们会共享处理记录的相同检查点吗？他们能独立地处理记录吗？
浏览 2提问于2015-03-23得票数 1
回答已采纳
1回答
根据
工作人员使用Java ExecutorService任务调用记录处理器方法。如果任务失败，工作人员将保留对记录处理器正在处理的碎片的控制。工作人员将启动一个新的记录处理器任务来处理该碎片。有关更多信息，请参见“节流”。
根据AWS文档上的：
(KCL)依赖于您的processRecords代码来处理处理数据记录时出现的任何异常。从processRecords抛出的任何异常都会被KCL吸收。为了避免在重复失败时进行无限重试，KCL不会重新发送在异常发生时处理的一批记录。然后，KCL为下一批数据记录调用processRecords，而不重新启动记录处理器。这实际上会导致使用者应用程
浏览 3提问于2017-11-01得票数 6
回答已采纳
1回答
在Kafka中，我可以将我的主题分成许多分区。在Kafka中，我不能拥有比分区更多的使用者，因为分区被用作扩展主题的一种方式。如果我有更多的负载，我可以增加分区的数量，这将允许我增加使用者的数量，这将允许我对一个给定的主题进行更多的线程/进程处理。
在卡夫卡，有一个消费者集团的概念。如果我们有10个消费者组在一个单一的主题，每个消费者群体将有机会处理每一个主题中的每一个信息。使用者组仍然利用来自分区的可伸缩性(即每个使用者组最多可以拥有'n‘使用者，其中'n’是一个主题上的分区数)。这就是卡夫卡的美，可扩展性和多通道阅读是两个独立的概念，两个独立的旋钮要转动。
在Kinesis
浏览 0提问于2018-05-05得票数 7
回答已采纳
我在我的kinesis流中执行了从1分片到2分片的重新分片，之后我的KCL使用者每隔一分钟就会记录以下警告。 由于LeaseCleanupManager.LeaseCleanupResult(cleanedUpCompletedLease=false，cleanedUpGarbageLease=false、wereChildShardsPresent=true、wasResourceNotFound=false的原因，无法清理newStream的租约shardId-000000000006 ) shardId-000000000006是被分成两个子分片7和8的父分片，我的DynamoDB条目
浏览 98提问于2020-11-07得票数 0
我使用KCL编写了一个Amazon Kinesis消费者，它管理我的记录处理任务。它当前正在处理记录，而不进行过滤。我正在寻找一种方法来处理样本记录，同时跳过其中的一些。 例如，如果总共有100条记录，而我只想处理其中的1/10 (10条样本记录)。 谢谢!
浏览 23提问于2019-09-17得票数 1
1回答
我在FARGATE上部署了一个KCL (2.0/Java)，用于读取多个碎片。不幸的是，我现在遇到了两个问题，我希望有人能帮助我：
FARGATE不允许JVM优雅地关闭。
因为1. LeaseTable on DynamoDB中的检查点值没有更新。KCL应用程序的一个新实例将重新处理给定碎片中的所有事件。
关于1，我已经发现在使用FARGATE的SIGTERM之后存在一些日志问题，但是由于碎片检查点没有更新，我假设存在避免要运行的关闭例程的一般性问题。
如果对于2，有人知道是否有可能“手动”更新，例如每5分钟更新一次检查点值，这至少会减少重复处理事件的数量。
概括:何时(关闭期
浏览 0提问于2019-02-24得票数 0
回答已采纳
我正在很长一段时间内更新一定数量的记录，而且我也不确定这些记录将在什么时间产生。有时，当多个记录同时产生时，我会收到一个错误日志条目，上面写着我击中了ProvisionedThroughputExceededException。
我想防止这个异常发生，或者至少能够捕获异常(然后重新抛出它，这样我就不会改变逻辑)，但是我得到的只是下面的错误日志：
[2019-02-12 15:50:48] local.ERROR: Error executing "UpdateItem" on "https://dynamodb.eu-central-1.amazonaws.com
浏览 0提问于2019-02-12得票数 0
回答已采纳
我有一个带有20个碎片的运动流的设置，这些碎片是由一个基于KCL的移动用户使用的。使用者部署在ECS中有20个实例。(意味着多个KCL实例？)
我认为在这种情况下会发生的事情是：
每个实例将为每个碎片创建20个工作线程，彼此独立。
因此，在任何时候，一个碎片都会有20个单独的线程连接到它。
相同的记录集将由每个实例处理(即:重复的记录处理不会跨实例处理)
这也将超过每个碎片的消费率限额。(每秒5次事务)
运行我的使用者的一个实例就足够了。换句话说，跨多个实例扩展使用者将完全没有任何好处。
的回答似乎表明，“碎片租约”将确保它只由一个实例处理。但是，这里的说，“KCL
浏览 0提问于2020-09-05得票数 0
回答已采纳
我们在对多个事件一起设置检查点时遇到了ProvisionedThroughputExceededException。
异常堆栈跟踪如下：
com.amazonaws.services.kinesis.model.ProvisionedThroughputExceededException: Rate exceeded for shard shardId-000000000000 in stream mystream under account accountid. (Service: AmazonKinesis; Status Code: 400; Error Code: Provis
浏览 0提问于2017-07-12得票数 2
我一直试图使用KCL2库从DynamoDB流读取数据。但是我遇到了以下错误-
2022-06-09 11:51:50.717 ERROR [pay-orch-public-apis,,] 959982 --- [ Thread-13] s.amazon.kinesis.leases.ShardSyncTask : Caught exception while sync'ing Kinesis shards and leases
software.amazon.awssdk.services.kinesis.model.ValidationException: 1 va
浏览 11提问于2022-06-09得票数 0
1回答
我们使用连接到AWS Kinesis流的Spark流来聚合(每分钟)我们接收到的指标，并将聚合写入进水数据库，以便将它们提供给实时仪表板。
一切正常，但我们现在正在考虑如何管理部署暂停和系统的最终故障。
docs说，库已经为失败、检查点等等做好了准备，但我想澄清一下检查点是如何在那里工作的。
在(ASL)下，由亚马逊提供的(KCL)创建一个输入DStream。KCL构建在Apache2.0许可的AWS之上，并通过工人、检查点和碎片租约的概念提供负载平衡、容错和检查点。
我们可以为运动定义检查点间隔，但据我所知，它只是用来标记流的哪个点，直到我们使用了度量标准。所以，我们仍然需要使用火花
浏览 2提问于2016-03-10得票数 9
我们多次进行了以下测试，我们很难找到合理的解释为什么会发生这种情况：
我们创造一个消费者，我们等待它准备好。
我们在用户正在监听的流上发布两条记录。
我们有一个碎片，有时消费者没有收到记录的通知。我们使用不同的workerIds，但可能是具有相同ApplicationName的应用程序窃取记录。
为什么KCL用户从来没有得到刚刚发布的记录？
浏览 3提问于2016-10-12得票数 3
我不熟悉AWS Kinesis。我正在尝试使用KCL1版(遵循亚马逊的说明：https://docs.aws.amazon.com/streams/latest/dev/kinesis-record-processor-implementation-app-java.html#kcl-java-interface-original) 我想初始化一个新的KCL实例，但是我不知道我的分片ID是什么。我的控制台显示我有1个活动的。 我试图在我的亚马逊控制台中找到它，但找不到。谢谢！
浏览 26提问于2019-04-18得票数 0
我正在使用KCL (v2)将Kafka消费者转换为AWS Kinesis消费者。在Kafka中，偏移量用于帮助消费者跟踪其最近消费的消息。如果我的Kafka应用程序死了，它将在重启时使用偏移量从它停止的地方消费。
然而，这在Kinesis中是不同的。我可以设置kinesisClientLibConfiguration.withInitialPositionInStream(...)，但它的唯一参数是TRIM_HORIZON、LATEST或AT_TIMESTAMP。如果我的Kinesis应用程序死了，它将不知道在重启时从哪里恢复消费。
我的KCL消费者非常简单。main()方法如下所示：
Kin
浏览 10提问于2018-07-24得票数 7
回答已采纳
1回答
我们正在构建一个基于Kinesis / DynamoDB流的服务，关于检查点的行为我们有以下问题。
我们有一个工作人员，它从以下配置withInitialPositionInStream (InitialPositionInStream.LATEST)开始，并且KCL应用程序的名称总是相同的。
我们通过关闭和重复关闭工人所观察到的是，它不会从流尾开始消耗，因为我们有一个滞后度量，我们看到，当工人打开时，消费滞后是几个小时，当我们期望它小于1秒时，因为它们是我们目前产生的信息。
这是一种预期的行为吗？我们是不是误解了LATEST的工作方式？
非常感谢。
浏览 3提问于2020-09-22得票数 1
回答已采纳
我有一个应用程序，它使用KCL 2.x来消费来自Kinesis的记录，流的不同分片中的数据具有不同的格式，我想使用不同配置的KCL消费者来分别处理它们。例如，如果我在Kinesis流中有3个分片，我将为不同的分片生成3个具有不同配置的不同使用者，即每个分片1个使用者。当我创建多个消费者时，我面临的问题是，如果我通过java代码配置了3个不同的消费者，那么它们中的任何一个都会占用所有分片的租约锁，而其他消费者无法获得该租约。例如，分片总数: 3，配置的消费者总数: 3， Application logs :
[2020-07-13 18:55:50,549] (LeaseCoordinato
浏览 10提问于2020-07-14得票数 1
回答已采纳
我在Amazon EMR上使用4个r3.4xlarge实例对大约30万个文档运行了LDA。对于k=800主题、一个小型批处理fraction = 0.2和maxIter=20 (或10)，作业完成，但是如果我将maxIter增加到30，例如，作业失败。我很难理解为什么增加最大迭代次数会导致作业失败。我尝试过使用检查点，但我不确定这会有什么帮助( Spark代码在这方面并不是完全自我记录的)。有谁遇到过类似的问题吗？
浏览 2提问于2016-12-06得票数 1
我试着用Amazon的Kinesis按顺序发送1000条消息，但是被移动用户接收的消息并不是顺序的。我尝试过的事情：
使用putRecord()方法与SequenceNumberForOrdering一起发送。与此实现了有序序列，但吞吐量却非常低。
使用putRecords方法发送，但没有成功。
使用KCL +Amazon的API使用者。
浏览 3提问于2017-08-01得票数 1
2回答
我有一个使用(KCL)编写的Kinesis使用者。此使用者在假定的IAM角色下运行。
我从上读到：
KCL创建一个具有应用程序名称的DynamoDB表，并使用该表维护应用程序的状态信息(例如检查点和worker shard映射)。每个应用程序都有自己的DynamoDB表。有关更多信息，请参见跟踪Amazon数据流应用程序状态。
当然，我需要向我的IAM角色添加dynamodb:CreateTable权限。但是，在其他方面(例如，dynamodb:DescribeTable)，我会遇到错误。
是否有KCL使用者需要访问的所有DynamoDB操作的列表？文档似乎缺乏，我宁愿有一个权威的列表
浏览 5提问于2019-11-08得票数 1
回答已采纳
1回答
如果我使用的是IndexFaces，您需要提供一个图像和一个集合id，然后将图像中的脸添加到指定的集合id中。假设我在包含100万个faces的集合上提供了一个集合id，这是AWS Rekognition中集合的限制。因此，向该集合中添加更多的faces会抛出一个错误(我认为)，因为这将超过集合中100万张faces的限制。因此，我想知道IndexFaces会抛出什么错误和/或如何在AWS上判断集合中的脸数？我已经列出了IndexFaces下面的错误列表，以防有帮助。
AccessDeniedException您没有被授权执行此操作。
ImageTooLargeException输入图像大小
浏览 3提问于2017-07-21得票数 2
我们正在使用Flink Kinesis Consumer将Kinesis流中的数据消费到我们的Flink应用程序中。 KCL库使用DynamoDB表来存储最后成功处理的Kinesis流序列号。因此，下次应用程序启动时，它将从中断的位置恢复。 但是，Flink Kinesis Consumer似乎没有维护任何这样的序列号。在任何持久化存储中。因此，我们需要依靠ShardIteratortype (trim_horizen、latest等)来决定在应用程序重启时从哪里恢复Flink应用程序处理。 一种可能的解决方案是依赖于Flink检查点机制，但只有当应用程序在失败后恢复时才起作用，而不是当应用
浏览 16提问于2019-02-22得票数 3
我正在使用KCL创建一个应用程序，以从另一个帐户A中的kinesis获取记录。
我假设帐户A中的角色是获取临时凭据以从kinesis获取记录。凭证过期后，KCL不会停止运行，只需休眠片刻，再次唤醒即可。
如何避免凭据过期。
浏览 0提问于2016-05-19得票数 0
我是在从亚马逊动态流中获取数据时得到这个错误的。我正在做下面的步骤
创造亚马逊动力蒸汽
数据使用putRecord api的AmazonKinesisClient。
然后使用KCL库的工作人员从流中获取数据。
浏览 7提问于2014-12-14得票数 5
回答已采纳
使用Amazon Kinesis Connectors库，是否可以配置两个发射器？例如，我想从流中过滤和转换记录，然后使用Redshift发射器将结果存储在Redshift中，但也会将过滤和转换后的记录发送到新的Kinesis流。
IKinesisConnectorPipeline接口似乎只为单个发射器设计，但我假设许多用户使用单个流做多个事情，所以我想知道做这件事的标准方法是什么。
浏览 0提问于2014-09-30得票数 2
我们有一个Spring应用程序，它使用Java KCL客户端来使用Kinesis流中的记录。有没有办法让KCL“暂停”，停止处理记录，然后安全地重启它？推荐的方法是什么？
浏览 4提问于2019-04-25得票数 0
1回答
我使用的是DynamoDB流+ (KCL)。如何度量在流中创建事件时和在KCL端处理事件之间的延迟？
如我所知，KCL的MillisBehindLatest度量是特定于Kinesis (而不是DynamoDB流)的。approximateCreationDateTime记录属性具有分钟级近似，这对于次秒级延迟系统来说是不可接受的.
请您提供一些monitoringDynamoDB流延迟的有用指标，好吗？
浏览 2提问于2016-10-14得票数 5
2回答
我正在使用亚马逊网络服务的。
我需要一种在部署期间关闭Kinesis工作线程的方法，以便在检查点停止，而不是在processRecords()中途停止。
我在Worker.java中看到了一个关闭布尔值，但它是私有的。
我需要的原因是检查点和幂等性对我来说很重要，我不想在批处理过程中终止进程。
编辑
感谢@CaptainMurphy，我注意到Worker.java公开了shutdown()方法，它可以安全地关闭worker和LeaseCoordinator。它不做的是在IRecordProcessor中调用shutdown()任务。它会突然终止IRecordProcessor，而不用担心状态。
浏览 6提问于2015-04-25得票数 6
为什么我发现在AWS Lambda中使用KCL的例子如此之少。
它确实提供了一个很好的实现来跟踪您在流上的位置(检查点)。
我想作为消费者使用KCL。我的设置是具有多个分片的流。在每个分片上，一个Lambda正在消耗。我想在Lambda中使用KCL来跟踪迭代器在分片上的位置。
为什么我找不到将KCL与Lambda一起使用的人。这里的问题是什么？
浏览 0提问于2018-11-13得票数 7
1回答
我观察到有一些记录存在于kinesis流中，但它们尚未被KCL消费者应用程序接收到。可能发生这种情况的原因是什么？之前和之后的记录都很好。
所有异常都在我的应用程序中使用，并且不会被KCL接收。因此，的情况也没有发生。
一些细节:打开分片数量:4关闭分片数量:3运行的工作进程数量:5
我从我的Kinesis生产者中获取了序列号，并在aws cli中使用AT_SEQUENCE_NUMBER作为分片迭代器类型直接获取记录，我可以看到这些记录。
所以流有它们，但是KCL应用程序没有接收到它们。
浏览 0提问于2017-04-07得票数 1
我想知道在增强型扇出(KCL2.x)应用程序中使用这两个指标时，是否有人可以澄清这两个指标之间的区别。
我相信KCL 'MillisBehindLatest‘衡量的是GetRecords调用中使用的迭代器年龄。但是，当使用KCL2.x时，记录将通过HTTP/2推送到消费者，并且应该使用SubscribeToShardEvent.MillisBehindLatest
在实践中，我们的KCL2.x应用程序向cloudwatch发出这两个指标。如果没有使用迭代器进行轮询，则不清楚为什么会发出MillisBehindLatest。
浏览 2提问于2020-08-25得票数 0
1回答
我正在尝试使用类似于https://github.com/aws-samples/amazon-kinesis-learning的Kinesis客户端库来使用Kinesis数据流。但在这个例子中，他们安排了这个过程。我想在没有调度的情况下使用传入的记录。 我不想用DynamoDB，cloudWatch。期望一个简单的消费者使用流中的记录 有没有使用java在没有调度程序的情况下处理记录的方法
浏览 17提问于2020-07-15得票数 0
我正在创建一个基于KCL的nodejs应用程序。在processRecords函数中，我尝试使用http请求将从kinesis获得的记录发送到web服务。但是当web服务不可用时，http请求将失败。我想让KCL停下来，从kinesis那里获取记录，并向pagerduty发送一个警报。
有人知道怎么做吗？
浏览 2提问于2016-06-21得票数 2
1回答
我在Kinesis流中的一些特定分片下设置了一组记录。我正在使用KCL2.x consumer来消费kinesis中的记录，但问题是，consumer正在从流中所有可用的分片中获取记录。那么，有没有什么方法可以在配置configBuilder对象或KCL使用者时指定分片或它们的ID，以便只使用指定分片中的记录。 示例代码： configsBuilder = new ConfigsBuilder(
applicationName,
streamName,
kinesisAsyncClient,
dynamoDbClient,
浏览 28提问于2020-07-13得票数 0
回答已采纳
Could not resolve com.amazonaws:aws-java-sdk-core:1.11.438.
Required by:
project : > com.amazonaws:amazon-kinesis-client:1.10.0 > com.amazonaws:aws-java-sdk-dynamodb:1.11.438
project : > com.amazonaws:amazon-kinesis-client:1.10.0 > com.amazonaws:aws-java-sdk-kinesis:1.11.438
projec
浏览 2提问于2019-09-25得票数 0
回答已采纳
1回答
我有一个具有以下设置的应用程序。动态数据流(保留期:1天) ->
StreamExecutionEnvironment .getExecutionEnvironment() .addSource(新FlinkKinesisConsumer) .map(新MapFunction()) .addSink()；
当MapFunction由于某些短暂的异常而崩溃时，Flink将重新启动所有的操作符。重新启动时，导致崩溃的记录丢失，从未重试。
我想要寻找的行为是重新处理记录，尽管它可能仍然会导致异常。
我知道基于的KCL可以跳过记录，但在我们的例子中，异常是在MapFunction而不是Flink
浏览 5提问于2022-07-24得票数 0
1回答
我正在使用(KCL)和Spring。要使用KCL，我必须为接口RecordProcessor实现一个类(我将其命名为IRecordProcessor )。KCL将调用这个类和来自运动的过程记录。但是当我尝试使用依赖注入时，我发现它没有成功。
以下是RecordProcessor的片段
@Component
public class RecordProcessor implements IRecordProcessor {
@Autowired
private SingleRecordProcessor singleRecordProcessor;
@Override
浏览 0提问于2018-08-18得票数 0
回答已采纳
1回答
我有一个应用程序，更新项目中的发电机-DB，这是除了当前时间的更新UTC时间戳什么都没有。我有一个任务，我正在尝试使用新的UTC时间戳更新所有94000条记录。我当前的dynamo-DB配置具有80个读写单元的容量。在完成这项任务后，我检查了&它更新了多达50%的记录，但不是全部。所有更新操作都是在现有索引上执行的，具有80个单位的读取/权限容量。
如果我超出了写入容量怎么办？它还会延迟更新记录吗？或者它会半途而废？
result = cls.db_table.scan(req_id__eq=str(req.id))
for req in result:
浏览 0提问于2018-05-02得票数 0
KCL
ShardConsumerSubscriber:131-ShardId-000000000000:上一次请求在2020-04-28T12:57:25.166Z发出，但截至2020-04-28T12:58:00.435Z (PT35.269S)没有响应。取消订阅，并重新启动。“但从不重新启动应用程序，此后不处理任何数据。
<dependency>
<groupId>software.amazon.kinesis</groupId>
<artifactId>amazon-kinesis-clie
浏览 21提问于2020-04-28得票数 0
3回答
我目前正在用Golang版本编写简单的(KCL)。对于我的简单KCL，我想要它的一个特性是跨多个记录处理器和EC2实例的负载平衡碎片。例如，我有两个记录处理器(将在单独的EC2实例中运行)和四个Kinesis。负载平衡特性将允许每个记录处理器处理、两个Kinesis 。
我读到Java实现了这个功能，但是在库中找不到实现。我的问题是我将如何在Golang实现这个特性？谢谢。
浏览 5提问于2017-09-11得票数 2
我正在使用亚马逊.Net核心软件开发工具包连接亚马逊DynamoDB，除了重复和随机获得超时(大约每个请求30秒)之外，一切都很好。 我使用日志记录，并在获得扫描操作结果后将问题追溯到GetRemainingAsync方法。 public async Task<IList<T>> GetByPropertyAsync(List<KeyValuePair<string, object>> properties)
{
var conditions = new List<ScanCondition>();
浏览 24提问于2019-03-19得票数 4
回答已采纳
从我使用KCL client获得的KinesisClientRecord (记录)中，我能够通过执行以下操作从流中获取表示ddb update事件的JSON对象： String recordData = StandardCharsets.UTF_8.decode(record.data()).toString();
JSONObject kinesisRecordObject = new JSONObject(recordData); 现在我想要访问我从dynamoDB获得的字段，但是我不能反序列化它，因为它是一个DynamoDB Converting DynamoDB JSON to St
浏览 19提问于2021-06-24得票数 0
回答已采纳
1回答
我正在使用AWS Kinesis对生产者和消费者进行实验，问题是消费者一直在接收我们生成的第一条消息(或记录)，尽管我们多次更改了发送的数据对象。此外，我们已经尝试了多个ShardIteratorType，但都没有成功。Latest不产生任何结果，所有其他产生相同的原始记录。 using System;
using System.Collections.Generic;
using System.IO;
using System.Text;
using System.Threading.Tasks;
using Amazon;
using Amazon.Internal;
using Ama
浏览 44提问于2019-05-04得票数 6
我正在阅读KCL文档(AWS的)，如果我正确理解它，我需要安装KCL本身(Java)，然后我的NodeJS使用者应用程序将能够访问它。首先，这是对的吗？
如果是这样的话，我对NodeJS和KCL之间的联系感到困惑。我在AWS示例代码中看到了一行：
var kcl = require('../../..');
(在样本中找到)
在NodeJS中，我习惯以这种方式引用JS文件，而不是目录。这似乎只是遍历文件系统3层向上和停止。这是指什么呢？这是与KCL的连接吗？我是否只需要确保我的KCL安装位于能够容纳此require语句的相对路径上？
浏览 3提问于2017-07-12得票数 0
回答已采纳
我试图了解如何部署使用Kinesis库(KCL)构建的应用程序。
我找到了，但它只声明
在部署Amazon应用程序时，您可以遵循自己的最佳实践，将代码部署到Amazon EC2实例。例如，您可以将您的Amazon应用程序添加到您的亚马逊EC2 AMI中。
这并没有给我一个更广泛的认识。
使用Ant脚本来运行Java程序。这是最好的做法吗？
而且，我甚至在运行EC2实例之前就已经理解了，我需要确保
开发的代码JAR/WAR或任何其他格式都需要在EC2实例上
EC2实例需要已经具备了执行程序所需的所有环境，比如Ant安装程序。
谁能给我多加些细节吗？
浏览 5提问于2014-07-04得票数 10
回答已采纳
1回答
我有下面的用例
我有动态流有用户数据。
我想读取基于用户操作的运动流。
根据用户输入过滤记录，持续过滤一段时间，比如说5分钟。
继续将这些过滤后的批处理返回给用户5分钟。
超时后停止阅读运动
问:是否有一种按需阅读“运动”的方法，没有任何延迟使用KCL或任何其他图书馆。莱伊说，我可以让KCL jvm应用程序的设置，它不是当前正在读取，每当它得到用户的行动，只要开始阅读。类似地，在一些超时或进一步的用户操作之后停止读取。
我可以写一个逻辑，可以做到这一点，但想知道是否有任何东西建在KCL。
浏览 0提问于2018-09-23得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
