当没有附加消费者时，Kinesis数据会发生什么情况？
当没有附加消费者时，Kinesis数据会继续保留在数据流中，直到有消费者连接并开始消费数据为止。Kinesis数据流是一个持久的、有序的、可重放的数据流，它可以存储和传输大量实时数据。即使没有消费者连接，数据仍然会被持久化保存在数据流中，直到达到数据保留期限或手动删除为止。
Kinesis数据流适用于需要实时处理和分析大量数据的场景，例如实时监控、实时分析、实时报警等。它可以处理来自各种数据源的数据，包括日志数据、传感器数据、应用程序输出等。
腾讯云提供了类似的产品，称为腾讯云数据分发服务（Tencent Cloud Data Streaming Service），它提供了高可靠、高吞吐量、低延迟的数据流处理能力。您可以通过腾讯云数据分发服务将实时数据传输到各种目标，如数据仓库、实时分析引擎、实时报警系统等。
更多关于腾讯云数据分发服务的信息，请访问以下链接： https://cloud.tencent.com/product/dts
相关·内容
我设置了一个新的Kinesis数据流，并向其中写入了一些数据。然后我意识到我还没有设置Kinesis Firehose，所以我也设置了它。我希望Firehose收集之前已写入流的数据并将其转储到S3，但我发现Firehose仅在附加后才转储写入流的数据。 当没有附加使用者时，写入Kinesis数据流的数据会发生
浏览 18提问于2020-04-07得票数 0
1回答
我想知道当我们有200个动态分片，被100个实例读取，最终将数据转储到具有50个分区的Kafka主题中时，会发生什么？因为一个Kafka分区一次只能被一个实例订阅。
浏览 17提问于2021-05-20得票数 0
我通过PutRecords向aws kinesis发送数据。并且所有的数据都发送成功。但是一些记录在消费者端被接收了两次。我检查了发送的数据和接收的数据，它们是相同的。我认为当PutRecords没有收到kinesis服务器的响应(由于糟糕的网站导致响应丢失)时，它会重新发送数据。但是数据是由kinesis服务器接收的。因此，我在消费者端得到了两
浏览 1提问于2017-02-21得票数 0
1回答
但数据丢失是一个主要问题，不应该发生。1)消费者处理过程中的网络问题:当网络短暂中断并恢复时会发生什么情况？当网络恢复时，Kafka消费者会自动处理并激活吗?还是我们必须重新初始化它们？如果他们活着回来，他们会从离开
浏览 2提问于2019-03-18得票数 1
当向所有ISR副本写入消息时出现故障，但该消息已经保存在领导者上，会发生什么情况？ 即使请求失败，数据是否仍可供消费者使用？ 消费者是否能够读取“未提交”的数据？
浏览 22提问于2020-12-09得票数 2
回答已采纳
当消费者暂停卡夫卡分割并触发再平衡时，会发生什么情况？当分配给新的使用者时，分区仍然是暂停的，还是会恢复？
我在寻找它的时候得到了复杂的答案。无法得到卡夫卡的文件。
浏览 0提问于2020-07-29得票数 2
回答已采纳
我有一个kinesis流(20个分片)，它有大约1天的数据延迟，正在被一个基于KCL的kinesis消费者消耗。消费者部署了20个ECS实例，因此每个实例都有一个线程从每个分片拉取数据。然而，当我监视消费者日志时，似乎并不是所有的分片都达到了这个限制。使用单个getRecords调用获取的记录在消费者实例之间非常不一致。在极少数情况下，某些调用会获取9999条记录。因此，数据延迟并没有</e
浏览 0提问于2020-09-07得票数 0
我有一个在AWS中运行的数据迁移作业，它将数据发送到Kinesis，而Lambda函数充当将数据写到DynamoDB的使用者(我将kinesis设置为lambda的触发器)。我的问题是当开始撞击时：我在图表上看到了200或300个数据，即使在lambda用户从未停止读取数据和将数据写入DDB表时，但一旦迁移过程完成(没有更多的信息要
浏览 3提问于2017-06-15得票数 1
回答已采纳
这是否意味着有些记录不是从Kinesis中读取的？ReadProvisionedThroughputExceeded值是零。
浏览 0提问于2016-10-14得票数 0
在使用Spark Structured Streaming和Kinesis Streams时，我在重新处理流中积累的数据时遇到了读取不平衡的情况(而不是从最新数据读取)。我对Apache Kafka解决这个问题持怀疑态度，因为AFAIK修复我上面描述的读取不平衡的唯一方法是在消费者级别引入某种协调。这就是Apache Flink的kinesis连接器在重新处理Kinesis streams ()时提供对齐的方式
我一直在更深入地研究A
浏览 1提问于2021-07-04得票数 1
1回答
基本上，如果引入了一个没有分配给使用者的新主题，我就会将这个新主题分配给使用者。因此，一个消费者现在被分配到两个不同的主题。
该消费者轮询消息并将其存放到HDFS中。现在我注意到的是，当第二个主题的订阅进入时，有时我会收到错误，无法附加到HDFS中的文件，当我查看日志时，它正在尝试附加一些本不应该在以后才附加的数据。例如，数据到kafka的顺序是A，B，C。当MDD将A附加到HDF
浏览 3提问于2017-01-19得票数 1
1回答
我有一个Lambda函数，并附加了一个Kinesis数据流作为触发器。Lambda显示了一个很高的节气门计数，可能是因为有几次来自Kinesis触发器的调用，并且当并发数为1000时，它会超过这个数字。我的问题实际上是节流调用发生了什么。所以Lambda试着调用它6个小时，即使它失败了，它会发生什么呢？我能否获得节流事件的有效载荷信息以及在6个小时的重试后被丢弃的事件？我如何知道序号或运动时间戳，在此节流开始发生，然后启动Lambda
浏览 3提问于2022-04-21得票数 0
我正在创建一个新的服务，它将成为卡夫卡主题的消费者。这是Spring应用程序，所以我使用spring。
主题有20个分区。在一开始，库伯内特斯有两个例子。将来，取决于负载，我们希望扩展和运行其他实例。当只有两个服务实例时，每个实例运行10个线程，每个线程从一个分区读取。但如果我想扩大服务范围呢？如果我运行另外两个实例，会发生什么情况？据我所知，当一个新的消费者加入一个消费者组时，一组消费者试图“重新平衡”负载，以便为
浏览 0提问于2019-02-06得票数 2
当使用者附加其优先级用于使上游使用者，但在默认情况下进行调整-1，以便本地消费者首先在远程获得负载平衡时，这使它能够在需要/需要时进行配置。因此，优先级调整可以控制数据流的方向.当优先级调整=-1时，代理将首先将数据传输到远程，而不是在本地使用它。
在两个集群之间迁移。消费者和发布者可以按任何顺序移动，并且消息不会被复制(如果您执行exchange联合)。相反，当您的使用者在那里
浏览 2提问于2021-02-17得票数 1
回答已采纳
我已经检查了Kinesis上的所有AWS文档。我所发现的是生产者如何将数据流传输到kinesis流中，而消费者在初始化时如何消费这些流(类似于FIFO模型)。如果发送到流的数据在分片中停留了24小时，我希望多次访问某个特定值。然而，我没有找到一个合适的机制来做到这一点。有没有一种方法可以扫描运动流而不是像FIFO模型那样处理流。
浏览 2提问于2015-12-22得票数 1
1回答
我正在使用一个Cloudformation堆栈，并且我有一个管道Kinesis Stream ==> Kinesis Firehose ==> S3 Bucket。另外，来自，
当您将数据生产者的数据发送到Kinesis流时，Kinesis数据流服务使用AWS KMS密钥对您的数据进行加密，然后将其存储在rest中。当您的流从您的Kinesis流读取数据</e
浏览 0提问于2018-01-24得票数 2
回答已采纳
2回答
如果有人能帮我回答以下问题，那就太好了：
当数据是缓冲区时，read()块还是返回什么？当缓冲区中没有任何数据可读取时，会发生什么情况？
浏览 0提问于2013-04-29得票数 2
回答已采纳
1回答
我读过一些教程/例子，其中介绍了背压是如何导致生产者对超载消费者的反应减缓的。给出的典型例子是吞食和分析tweet。当流量突然激增，以致消费者无法处理负载时，他们会施加背压，而生产者则以较低的速度作出反应。因为我将在AWS环境中工作，
浏览 1提问于2018-04-08得票数 1
1回答
在我的DynamoDB表中，只要添加/更新了一些记录，就会触发Kinesis，它将我的数据转储到S3。我的DynamoDB表也启用了TTL。
当某些记录被删除时，是否也会触发？当物品过期时，会不会在那个时候触发移动消防软管，在S3端会发生什么？
浏览 5提问于2021-03-02得票数 1
回答已采纳
在Bitcask中，当发生写时：当对键进行读取时：
文件和偏移量是从哈希表中找到的，它使用随机查找IO获取数据。这些文件被分割，然后合并和压缩，以删除过时的数据。合并后，如何更新哈希表以指向新合并的文件？什么时候会发生？此时读取请求会发生什么情况？
浏览 4提问于2019-10-04得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
