我正在使用API (C#)将我的日志发送到Kinesis Firehose。Kinesis正在将其发送到Elasticsearch，我正在使用Kibana分析这些数据。由于某些原因，我看到Kibana的记录延迟了几分钟(2-5分钟)。我不知道延迟是在哪一步。为什么要花这么长时间才能看到数据？
浏览 7提问于2017-12-03得票数 0
回答已采纳
我有一个用例，在这个用例中，我需要对发送到我的Kinesis Firehose流的有效负载进行API调用，然后将其存储到S3中。流程如下: Kinesis数据流-> Kinesis Firehose ->转换Lambda ->调用以获取与当前记录相关的附加数据-> Kinesis Firehose -> S3。基本上
浏览 15提问于2021-04-13得票数 0
回答已采纳
1回答
我们正在考虑在我们的项目中使用Amazon web服务。其中上游流将把消息推入kinesis，稍后这些消息将被馈送到lambda中，这些消息在处理之前将按顺序排列。据我所知，AWS lambdas将根据消息的数量横向扩展。我们有每秒400条消息的数量，这意味着AWS lambda将响应消息数量，并将在单独的容器上实例化新流程，以利用并行性，为了实现并行性，必须折衷排序。因此，在订购了10条消息的情况下，命中lambd
浏览 0提问于2018-04-04得票数 0
我正在寻找一个使用putrecordbatch发送多个记录到kinesis streams的示例。
我目前正在使用putrecord命令，通过以下方式将记录发送到kinesis streams。aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record='Data="{\"productid\":1，\"produc
浏览 17提问于2017-03-02得票数 1
回答已采纳
我已经设置了AWS DMS，并将数据从我的Kinesis RDS导入SQLServer Streams，然后再导入Kinesis Firehose，现在我想以压缩格式(Snappy)将数据写入S3。在Firehose的控制台上，它显示我需要为源记录指定一个模式。这是necessary?...if吗?那么我该如何获取源数据定义并创建一个Glue Catalog以供此时使用呢？此外，如果我在表列
浏览 2提问于2020-06-17得票数 0
我有一个使用flask构建的应用程序接口，它使用kinesis firehose将数据转储到s3。目前只在一个地域，有多个实例的负载均衡和弹性伸缩组。现在我想让flask应用程序在多个区域运行，以减少延迟。但是，我可以找到一种方法来为不同地区配置Kinesis Firehose流。这意味着，即使我将我的应用程序放在不同的地区，Kinesis Firehos
浏览 13提问于2020-02-06得票数 0
回答已采纳
2回答
我正在使用Lambda通过Firehose向Redshift发送批量消息。根据，如果有一些传递问题(有毒的消息，端点关闭等)，Firehose将继续尝试24小时并删除该消息。我希望在X次失败尝试后将失败的消息移动到另一个队列中(本质上类似于)。最好的方法是什么，最好不交叉检查目标Redshift数据库？
浏览 0提问于2016-02-16得票数 3
我已经设置了一条Kinesis消防软管，并按照AWS docs中的说明安装了Kinesis代理。我可以将测试数据发送到S3存储桶，但Kinesis代理不会发送任何.log文件。我也试过在没有https://的情况下使用"firehose.endpoint"，但我仍然无法通过任何数据。 我已经验证了aws-kinesis-agent服务正在运行。/aws-kin
浏览 11提问于2019-06-26得票数 1
我已经安装了一个Amazon，其中安装了Kinesis，并将其配置为将日志发送到Firehose。EC2实例被附加了一个带有KinesisFirehoseFullAccess权限的IAM角色。但是，在发送数据时，我正在接收权限不足的错误。
我知道我已经提供了最高水平的IAM动态许可，但我现在面对的是一堵空白的墙。当然，我稍后会减少权限，但是我首先需要得到这个概念工作的证明。从AWS消防软管，做了一个测试发送到
浏览 5提问于2020-03-31得票数 1
Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。在Firehose的情况下，没有分片或维护的概念。在这种情况下，Kinesis Firehose是Kinesis Streams的替代品吗？
浏览 0提问于2017-10-15得票数 3
我试图发送相同的日志到多个AWS帐户上的多个通过Fluent位v1.8.12。如何正确使用role_arn中的属性？我能够发送到消防水管A，但没有消防水管B。而且，AWS A上的角色A可以在AWS帐户B上承担角色B。这就是我想要做的。这是流畅的位输出conf。:kinesis_firehose.1] Failed to send log records to b
[2022/0
浏览 11提问于2022-06-21得票数 0
回答已采纳
我有Kinesis Stream.I捕获的事件。我想将所有事件放在S3上的特定文件夹结构上。我想做一个带有日期戳的文件夹，就像6月15日的所有事件都应该放在这个文件夹中，从6月16日开始，新的文件夹应该来挑选事件，等等。作为Kinesis的新手，我只是跟着文档走，我发现有一个连接器框架，其中S3Emitter与配置一起使用来挑选数据需要emitted.However的S3位置。有人能建议我如何维护文件夹结构来捕获日期
浏览 0提问于2014-06-16得票数 9
回答已采纳
我正在尝试使用kinesis_firehose_delivery_stream资源来创建一个带有Direct PUT源、没有数据转换和extended_s3目的地的Kinesis。我已经修改了中的代码(以删除lambda函数)，现在看起来如下所示： required_providers { source = "hashicorp"
acl = "private&qu
浏览 4提问于2021-05-17得票数 1
回答已采纳
数据流控制台中的“monitor”选项卡显示没有任何东西被发送到流中。更新data "aws_iam_policy_document" "kinesis_firehose" { effect="Allow"这是实时日志中的
浏览 4提问于2021-03-07得票数 1
我有一个问题，在基巴纳与字段value解释如下。我试着解释一下情况。
我将dynamoDB流发送到Lambda，然后发送到Kenesis，最后从Firehose发送到Elasticsearch。我正在使用Kibana可视化数据，这里是我的问题所在。，当我在Kibana配置索引模式时，它会自动识别"timestamp" (这很好)。我试着修改JSON，然后再把它发送到火龙带，但是Kibana
浏览 0提问于2017-05-09得票数 0
回答已采纳
我正在构建一个解决方案，通过kinesis流和firehose处理来自Lambda(Python 2.7)的数据到弹性搜索域。数据存储在Python字典中，并以JSON格式转储到Kinesis dataDictionary = {
"precipitationType),PartitionKey='systemDate') 处理成功，但我只有两个浮点型字段，没有geo_point/ge
浏览 21提问于2019-02-26得票数 0
我设置了一个新的Kinesis数据流，并向其中写入了一些数据。然后我意识到我还没有设置Kinesis Firehose，所以我也设置了它。我希望Firehose收集之前已写入流的数据并将其转储到S3，但我发现Firehose仅在附加后才转储写入流的数据。 当没有附加使用者时，写入Kinesis数据流的数据会发生什么情况？流配置了24小时的保留期，所以我假设数据仍然在某个地方(至少现
浏览 18提问于2020-04-07得票数 0
我有一个AWS Kinesis Firehose Stream设置为将数据馈送到AWS ElasticSearch集群，我可以通过将文档发送到Firehose Stream来成功插入文档，FirehoseStream将它们加载到ElasticSearch中。但我希望能够在将文档发送到Firehose Stream时手动指定/设置文档的id值。我成功地使用了AWS PHP SDK将数据发送到
浏览 0提问于2016-05-11得票数 17
我希望能够发送数据到kinesis firehose根据数据里面的内容。例如，如果我发送以下JSON数据： "name": "John",}
我想根据id过滤数据，并将其发送到我的s3存储桶的子文件夹中，如: S3://myS3Bucket使用Kinesis Firehose或AWS Lambda可以做到这一点吗？我现在能想到的
浏览 2提问于2018-05-15得票数 9
我正在尝试找出可以将数据写入kinesis的托管服务。通过这种方式，我需要我的消息至少要有一次传递到kinesis流。使用SQS来写入Kinesis是建议还是好主意。我正在寻找可以水平扩展的解决方案。
浏览 1提问于2015-07-13得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
