何时需要将Kinesis数据流与Kinesis Firehose一起使用？
Kinesis数据流和Kinesis Firehose是亚马逊AWS提供的两种云计算服务，用于处理和分析实时数据流。它们在以下情况下可以一起使用：
- 高吞吐量数据处理：当需要处理大量实时数据流时，Kinesis数据流和Kinesis Firehose可以一起使用。Kinesis数据流可以接收和存储实时数据，并提供实时数据处理能力，而Kinesis Firehose可以将数据流式传输到目标存储或分析服务，如S3、Redshift或Elasticsearch。
- 数据转换和压缩：Kinesis Firehose提供了数据转换和压缩功能，可以将原始数据流进行格式转换、数据压缩和数据清洗等操作，然后将处理后的数据传输到目标服务。因此，当需要对数据进行转换和压缩时，可以将Kinesis数据流与Kinesis Firehose一起使用。
- 简化数据传输和管理：Kinesis Firehose可以自动处理数据传输和管理的细节，包括数据缓冲、批处理和错误处理等。当需要简化数据传输和管理流程时，可以使用Kinesis Firehose来代替手动管理数据流。
- 数据备份和归档：Kinesis Firehose可以将数据流式传输到S3等存储服务，实现数据备份和归档。当需要对实时数据进行长期存储和备份时，可以将Kinesis数据流与Kinesis Firehose一起使用。
腾讯云提供了类似的云计算服务，可以参考腾讯云的相关产品文档来了解更多信息：
相关·内容
我想构建一个我想要进行实时分析的用例。我不确定何时需要在使用Kinesis Firehose之前使用Kinesis数据流。在文档中，它说Kinesis Firehose可以从Kinesis数据流获取数据，但用例并不清楚。https://aws.amazon.com/kinesis/data-firehose/faqs/?nc=sn&loc=5
浏览 26提问于2020-06-08得票数 1
我们可以将来自Kinesis数据流的数据直接流到亚马逊s3中，还是只能通过Kinesis Firehose。
浏览 23提问于2019-09-10得票数 0
Kinesis Firehose以及Kinesis Streams用于根据AWS博客中提到的详细信息加载流数据。在Firehose的情况下，没有分片或维护的概念。在这种情况下，Kinesis Firehose是Kinesis Streams的替代品吗？
浏览 0提问于2017-10-15得票数 3
我对不同的Kinesis服务感到困惑，我阅读了以下术语：
Kinesis streaming data platform
Kinesis Data Stream
Kinesis Data Firehose
Kinesis Video Stream
Kinesis Data Analytics
Kinesis Data Pipeline
谁能告诉我每个服务是什么，或者只是一个昵称？它们的用例是什么？
谢谢。
浏览 63提问于2019-11-24得票数 2
我可能有兴趣使用Kinesis Analytics实时转换一些流，以将它们输出到ES集群中。
但是，在AWS文档中，我看不到当Amazon Kinesis Data Firehose将自定义文档ID推送到ES时，我是否能够手动设置它。
有人能证实这是可能的吗？
浏览 19提问于2019-03-27得票数 3
来自文档： “然后，Kinesis Data Firehose使用AWS Lambda同步调用模式对每个缓冲批处理异步调用指定的Lambda函数。” 如果firehose以同步模式调用lambda，那么它如何也被异步调用呢？
浏览 24提问于2018-12-20得票数 2
我在EKS中托管Elasticsearch集群，我想通过Kinesis Firehose将所有的cloudwatch组流式传输到这个Elasticsearch集群。但AWS Kinesis firehose不支持流数据到除AWS托管的ES以外的Elasticsearch群集。
将数据流式传输到自托管ES集群的最佳方式是什么？
浏览 1提问于2021-03-01得票数 6
我有一个AWS Kinesis Firehose Stream设置为将数据馈送到AWS ElasticSearch集群，我可以通过将文档发送到Firehose Stream来成功插入文档，Firehose Stream将它们加载到ElasticSearch中。
但我希望能够在将文档发送到Firehose Stream时手动指定/设置文档的id值。我成功地使用了AWS PHP SDK将数据发送到Firehose，但我不知道是否有办法手动设置文档的id。
$firehoseParams = [
'DeliveryStreamName' => 'myStream
浏览 0提问于2016-05-11得票数 17
这个想法是使用tweepy来串流tweet。我的代码托管在一个EC2实例上，它设法发送tweet，但在Kinesis上什么也没有显示(我认为上面的错误是罪魁祸首)。 我已经向我的EC2实例授予了IAM权限(AmazonKinesisFullAccess)，所以我认为这应该不是问题。我已经确保在任何地方都使用正确的钥匙。 任何帮助都将不胜感激。
浏览 34提问于2021-05-09得票数 0
我正在尝试流的AWS云监视日志到ES通过Kinesis。下面的地形代码给出了一个错误。任何建议..。错误是：
发生了aws_cloudwatch_log_subscription_filter.test_kinesis_logfilter: 1错误：
aws_cloudwatch_log_subscription_filter.test_kinesis_logfilter: InvalidParameterException:无法向指定的消防软管流传递测试消息。检查给定的火管流是否处于活动状态。
resource "aws_s3_bucket" "b
浏览 5提问于2017-05-12得票数 13
当我尝试在Terraform中创建Kinesis Firehose传送时，我一直收到此错误： Error: error creating Kinesis Firehose Delivery Stream: InvalidArgumentException: Firehose is unable to assume role arn:aws:iam::173115710334:role/XXX_kinesis_role. Please check the role provided. 相关的Terraform代码如下所示： resource "aws_iam_role"
浏览 26提问于2020-04-01得票数 0
我将JSON数据流式传输到Kinesis Firehose中，并将它们放入带有自定义前缀short_date=!{timestamp:yyyy-MM-dd}/的S3中。我知道Firehose本身不会将其识别为JSON数据，我也不知道如何为S3文件对象添加扩展名。Firehose将数据作为纯文本文件(不带任何扩展名)丢弃。如何将.json扩展添加到我的数据？
浏览 26提问于2019-09-16得票数 0
我正在尝试使用kinesis_firehose_delivery_stream资源来创建一个带有Direct PUT源、没有数据转换和extended_s3目的地的Kinesis。
我已经修改了中的代码(以删除lambda函数)，现在看起来如下所示：
terraform {
required_providers {
aws = {
source = "hashicorp/aws"
version = "~> 3.0"
}
}
}
provider "aws" {
region = &#
浏览 4提问于2021-05-17得票数 1
回答已采纳
我已经安装了一个Amazon，其中安装了Kinesis，并将其配置为将日志发送到Firehose。EC2实例被附加了一个带有KinesisFirehoseFullAccess权限的IAM角色。但是，在发送数据时，我正在接收权限不足的错误。
我知道我已经提供了最高水平的IAM动态许可，但我现在面对的是一堵空白的墙。当然，我稍后会减少权限，但是我首先需要得到这个概念工作的证明。
从AWS消防软管，做了一个测试发送到S3桶。这件事没问题。通过假日志生成器创建日志。然后我负责服务。服务正在启动和运行。
用户: arn:aws:sts::1245678012:assumed-role/FirstTec
浏览 5提问于2020-03-31得票数 1
我能够通过控制台创建CloudFront实时日志，现在我想通过Terraform进行设置。
我现在有一个CloudFront发行版，它指向一个S3桶。
resource "aws_cloudfront_distribution" "www_distribution" {
default_cache_behavior {
realtime_log_config_arn = aws_cloudfront_realtime_log_config.analytics.arn
...
}
...
}
我创建了实时日志配置。
resource &
浏览 4提问于2021-03-07得票数 1
这个问题类似于和，但不能通过他们的答案来解决。
我正在尝试使用kinesis firehose在亚马逊网络服务中创建一个简单的流，以将数据流式传输到s3存储桶。流和存储桶都位于中指定的us-east-1。
然后，我创建了一个用户，其中包含kinesis可用的所有可能的内联策略(特别是PutRecord)。我仔细检查了存储桶和流的地域是否相同，并仔细检查了流的名称。
在我的计算机上运行aws configure之后，我尝试运行：
aws kinesis put-record --stream-name my-stream-name --data file://payload.json --par
浏览 28提问于2021-05-27得票数 0
回答已采纳
我想保护从AWS Firehose传输到S3的数据。我可以对S3中的静态数据启用加密，但如何确保在将数据从Firehose传输到S3时对其进行加密？此外，我使用Kinesis代理将web服务器中的数据放入Kinesis Firehose。有没有办法在从web服务器传输到Firehose的过程中对数据进行加密？
浏览 31提问于2020-07-19得票数 1
回答已采纳
资源代码：
resource "aws_kinesis_firehose_delivery_stream" "kinesis_firehose_to_s3" {
count = "${var.fh_destination == s3 ? 1 : 0}"
for_each = {for entity in var.entities : entity.name => entity}
name = test_firehose
}
问题:在创建terraform资源时，我无法使用以下两种语法的组合。但是分开工作。
co
浏览 0提问于2020-07-15得票数 2
我正在尝试学习terraform，但我在创建AWS资源时遇到了一些问题。 我正在尝试创建AWS firehose delivery流，但在尝试生成计划时遇到错误。 我试图将我创建的角色和s3 buck传递给firehose资源，但得到了错误。 提前谢谢。 terraform {
required_version = ">=0.12.0"
}
provider "aws" {
version = "~> 2.0"
region = "ap-south-1"
}
data "aws_
浏览 32提问于2020-04-10得票数 0
我正在通过cloudformation模板创建Kinesis firehose。需要给它添加标签。如何通过cloudformation模板向Kinesis Firehose交付流添加标签？
浏览 0提问于2019-03-18得票数 4
我试图发送相同的日志到多个AWS帐户上的多个通过Fluent位v1.8.12。如何正确使用role_arn中的属性？我能够发送到消防水管A，但没有消防水管B。而且，AWS A上的角色A可以在AWS帐户B上承担角色B。这就是我想要做的。
这是流畅的位输出conf。
[OUTPUT]
Name kinesis_firehose
Match aaa
region eu-west-1
delivery_stream a
time_key time
浏览 11提问于2022-06-21得票数 0
回答已采纳
我有一个用例，在这个用例中，我需要对发送到我的Kinesis Firehose流的有效负载进行API调用，然后将其存储到S3中。 流程如下: Kinesis数据流-> Kinesis Firehose ->转换Lambda ->调用以获取与当前记录相关的附加数据-> Kinesis Firehose -> S3。 基本上，对于由我的Kinesis Firehose流使用的记录，我需要调用另一个后端服务来获取与该记录相关的附加数据，然后再将其存储到S3中，以便我们的电子病历作业使用和写入查询。 我的问题是，是否可以从Kinesis Firehose转换Lambda
浏览 15提问于2021-04-13得票数 0
回答已采纳
我有一个用例，我希望根据特定的键聚合数据，以便在特定的时间段后对其进行批处理。
键值事先是未知的，但我希望所有带有键A的记录一起从流中返回，所有带有键B的记录一起从流中返回，依此类推。
是否可以使用AWS Kinesis firehose自定义分区执行此操作？
浏览 0提问于2021-01-20得票数 0
对于我的应用程序日志记录，我计划将日志从我的本地服务器转发到AWS Kinesis firehose。我正在尝试使用Logstash和log-stash-output-plugin https://github.com/samcday/logstash-output-kinesis 但我认为这个插件需要将日志数据转发到Kinesis数据流，然后我们可以创建到Kinesis Firehose的管道。如果我们指向Kinesis Firehose传递流，则会收到错误- ResourceNotFoundException消息:帐户XXXX下的流测试未找到 但是，如果我们将log-stash指向Kin
浏览 14提问于2019-03-25得票数 0
所以，除了最后一步，我已经做好了一切准备和工作，最后一步是将数据从Firehose发送到Elasticsearch。
这是我在服务日志中遇到的错误：
Error received from Elasticsearch cluster. {"error":{"root_cause":[{"type":"security_exception","reason":"no permissions for [indices:data/write/bulk] and User [name=arn:aws:iam::91
浏览 4提问于2020-06-12得票数 3
回答已采纳
我们有一个团队在他们的账户(Acc A)上将数据写入到Kinesis Stream。我想在我的账户(Acc )中使用这些数据，最好使用Kinesis Firehose，然后将这些数据移动到S3中。 我翻阅了一页又一页的AWS文档，但我没有找到答案。是否可以使用其他AWS帐户中的Firehose使用Kinesis Stream中的数据。如果是，那么如何以及如果不是，获取这些数据并将其移动到S3的最直接的解决方案是什么？ 请记住，Stream的所有者拒绝对其架构进行任何更改。 谢谢你的帮助。
浏览 21提问于2020-11-03得票数 0
回答已采纳
我想要创建使用terraform，和数据消防软管，并连接它们(作为管道)。当我使用UI时，当我使用消防软管时，我可以转到source->Kinesis流，并选择我创建的动态流。但我想用地形来做。
这是创建动态流的代码(我从正式的kinesis获取)：
resource "aws_kinesis_stream" "test_stream" {
name = "terraform-kinesis-test"
shard_count = 1
retention_period = 30
shard
浏览 0提问于2019-03-29得票数 3
回答已采纳
1回答
在Symfony 4.3中使用Monolog，我创建了一个自定义处理程序来将日志推送到AWS Firehose。下面是构造函数： class FirehoseLogHandler extends AbstractProcessingHandler {
public function __construct(
FirehoseClient $firehoseClient,
FormatterInterface $formatter,
$streamName,
$level = Logger::INFO,
$bub
浏览 15提问于2019-09-13得票数 0
回答已采纳
这个问题已经被困了一个星期了。老实说，我认为这是一个错误，在我们的东-1与移动消防软管在目前。
至少他们会自动创建错误的信任关系的角色。以下是默认创建的内容：(我将userID更改为123456处处)
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "",
"Effect": "Allow",
"Principal": {
"Service": "firehose.amazonaws.com
浏览 0提问于2018-03-02得票数 2
我想将IoT事件数据存储在Google Cloud Storage中，它将用作我的数据湖。但是为每个事件执行一次PUT调用的开销太大了，因此我想附加到一个文件中，然后每小时执行一次PUT调用。在我的消息处理服务中的一个节点宕机的情况下，有什么方法可以在不丢失数据的情况下执行此操作？
因为如果我的处理服务确认了消息，消息将不再在Google Pub/Sub中，但也不会在Google Cloud Storage中，而且在那个时刻，如果处理节点宕机，我将丢失数据。
我的期望用法类似于这篇文章，这篇文章讨论了在PUTing进入S3之前使用AWS Kinesis Firehose来批处理消息，但即使是K
浏览 0提问于2017-06-07得票数 2
例如:如果我在数据流中有1000条记录，我想把它同时发送到Kinesis和Kinesis，也就是说，Kinesis和Firehose都应该分别获得1000条记录。有可能吗？
浏览 3提问于2022-04-26得票数 0
我有一个使用flask构建的应用程序接口，它使用kinesis firehose将数据转储到s3。目前只在一个地域，有多个实例的负载均衡和弹性伸缩组。现在我想让flask应用程序在多个区域运行，以减少延迟。但是，我可以找到一种方法来为不同地区配置Kinesis Firehose流。这意味着，即使我将我的应用程序放在不同的地区，Kinesis Firehose也会成为瓶颈。
是否可以支持多个区域用于运动消防软管，并根据最近的区域对数据进行通道？
浏览 13提问于2020-02-06得票数 0
回答已采纳
当我试图在我的项目中运行terraform apply时，它会引发以下错误：
Error: Error Updating Kinesis Firehose Delivery Stream: "delivery"
│ InvalidArgumentException: Enabling or disabling Dynamic Partitioning is not supported at the moment
│
│ with module.shippeo-api.module.v1.aws_kinesis_firehose_delivery_stream.event
浏览 15提问于2022-01-24得票数 1
回答已采纳
我们使用Kinesis Data Firehose将RDS CDC数据作为原始json文件写入S3存储桶。我们的Kinesis Firehose配置为128 MB，需要60秒来创建S3文件。我们有一个胶水作业，它监视s3存储桶并拾取这些json文件。我们有一个问题，即我们是否会在当前由Kinesis Firehose和Glue编写的json文件之间遇到竞争条件。我看了FAQ，但我没有得到任何指示。请让我知道竞争条件是否可能，以及任何可以缓解这种情况的策略
浏览 0提问于2020-05-27得票数 0
我有来自不同生产者的数据进入Kinesis streams。根据数据的类型，需要将数据转换为几个不同的表。我正在尝试从Kinesis Streams中读取Lambda，将数据转换到不同的表中，然后使用Kinesis Firehose批量和复制到Redshift中。
但是，由于Firehose一次只能发送到一个Redhsift表，因此我需要运行多个Firehose实例，使其与我的Redshift方案中的表数相等。我看到每个区域有20个Firehose实例的默认上限，我想知道对于我试图实现的目标来说，这是否是一个理想的数据管道。
浏览 3提问于2017-09-15得票数 2
1回答
用于分布式印象数据收集的架构
、、、、
我有一个用node.js编写的web应用程序，分布在几个负载平衡的web服务器上，用于我正在从事的一个广告技术项目。我正在试图弄清楚如何最好地收集和分发广告印象的日志数据，以便我以后可以分析这些数据。
我们决定以Apache Avro格式存储数据，我们将使用Apache Spark来处理数据。我们选择Avro是因为我们将要访问数据的方式，而它似乎是最合适的。
目前我有一个Kinesis Firehose流设置，我使用AWS-SDK for Node.js发送每个印象的Avro数据，然后最终存储在S3中。这个问题Kinesis会将我发送给它的每个批处理的所有文件连接起来--因此，如果我将它配置为
浏览 0提问于2015-11-27得票数 1
我正在尝试将我的发电机数据库流数据读取到S3中。以下是流程： DynamoDb -> DynamoDb Streams -> Kinesis Streams -> Kinesis Firehose -> S3 -> Glue Crawler -> Athena 这工作得很好，但问题是Kinesis firehose每小时都会创建一个新文件夹，这意味着我必须等到下一次运行爬虫。如何在雅典娜中实时获取数据？ 谢谢
浏览 32提问于2021-09-21得票数 0
我设置了一个新的Kinesis数据流，并向其中写入了一些数据。然后我意识到我还没有设置Kinesis Firehose，所以我也设置了它。我希望Firehose收集之前已写入流的数据并将其转储到S3，但我发现Firehose仅在附加后才转储写入流的数据。 当没有附加使用者时，写入Kinesis数据流的数据会发生什么情况？流配置了24小时的保留期，所以我假设数据仍然在某个地方(至少现在是这样)。它还在那里吗，有什么方法可以让我找到它吗？
浏览 18提问于2020-04-07得票数 0
我当前使用以下映射模板将发送到AWS API网关终结点的数据传递到AWS Kinesis Firehose流：
{
"DeliveryStreamName": "[STREAMNAME]",
"Record": {
"Data": "$util.base64Encode($input.body)"
}
}
我想做的是:向正在编码的$input.body添加信息，就像发出请求的客户端的$context.identity.sourceIp一样。
当传递到Kinesis Fireh
浏览 2提问于2016-10-29得票数 2
我想要将数据从kinesis firehose格式化为镶木地板注入到s3中。到目前为止，我只是找到了一个意味着创建EMR的解决方案，但我正在寻找更便宜、更快的东西，比如直接从firehose将收到的json存储为拼图，或者使用Lambda函数。
非常感谢，哈维。
浏览 0提问于2017-08-01得票数 27
回答已采纳
1回答
在创建新的AWS Lambda函数时，建议了几个蓝图，例如，空白函数、kinesis-firehose-syslog- to -json等。我有一个现有的函数，我希望它成为蓝图之一，这样我就可以很容易地克隆它。请随时建议使用AWS CLI添加蓝图或克隆功能的解决方案。
浏览 0提问于2017-02-15得票数 1
我使用Kinesis代理(使用Docker镜像)将JSON文件发送到Kinesis数据流，然后作为Kinesis Firehose交付流的源，然后Kinesis Firehose交付流应该将文件写入S3，但S3中没有任何内容。 JSON数据流入数据流，并在监控和代理日志中可见： 2019-04-16 19:00:14.036+0000 6ae9843658b1 (Agent.MetricsEmitter RUNNING) com.amazon.kinesis.streaming.agent.Agent [INFO] Agent: Progress: 18947 records parsed
浏览 30提问于2019-04-17得票数 1
回答已采纳
谁有Python CDK代码在WAF中启用Amazon Kinesis Data Firehose delivery stream Logging？任何语言的CDK代码都可以供我参考，因为我在官方的python CDK/api文档和任何博客中都没有找到任何合适的语法或示例。
浏览 6提问于2021-05-04得票数 0
我已经设置了一条Kinesis消防软管，并按照AWS docs中的说明安装了Kinesis代理。我可以将测试数据发送到S3存储桶，但Kinesis代理不会发送任何.log文件。我怀疑特工和消防水龙带的连接有问题。 下面是我的/etc/aws-kinesis/agent.json文件。我也试过在没有https://的情况下使用"firehose.endpoint"，但我仍然无法通过任何数据。 我已经验证了aws-kinesis-agent服务正在运行。 我没有使用kinesis.end/kinesisStream，但我将流留在了agent.json文件中。这会是一个问题吗？ 我
浏览 11提问于2019-06-26得票数 1
1回答
我已经设置了一个带有Firehose的Kinesis流，该流应该获取放入流中的数据，并将其存储在S3存储桶中。
目前，我可以看到我的数据流正在获取数据，我的消防管正在读取它，但随后没有向S3发送任何内容。
Kinesis firehose读取数据：
然后我可以在这里看到它没有将其传递给S3：
消防站的IAM角色有权从Kinesis读取和对S3进行读/写。
我设置了日志，但似乎没有从软管收到任何错误。
下面是我用来部署所有东西的无服务器文件。
以下是指向firehose的无服务器文件的链接：
以下是该角色的其他资源+策略的链接：
浏览 2提问于2020-04-02得票数 1
我正在尝试通过动态传递流向多个S3桶来流Punchweb钩子JSON数据，但是它给了我这个错误。但是，当我流入Iterable数据时，Iterable S3桶成功地填充了从Iterable发送的可交付流中的数据。
下面是错误:调用'data/landing/vendor/punchh/punchh_to_dd/ex_points_reminder‘操作时发生的错误:1检测到的验证错误：“deliveryStreamName”处的值PutRecord未能满足约束:成员必须满足正则表达式模式:a-Za-Z0-9_-+
备注：S3前缀值-in粗体--上面提到的错误类似于我成功测试过的Ite
浏览 4提问于2022-02-19得票数 0
回答已采纳
我目前正在向aws kinesis stream发送一系列xml消息，我已经在不同的项目中使用过这个消息，所以我非常有信心这个部分可以工作。然后我写了一个lambda来处理从kinesis stream到kinesis firehose的事件：
import os
import boto3
import base64
firehose = boto3.client('firehose')
def lambda_handler(event, context):
deliveryStreamName = os.environ['FIREHOSE_STREAM_
浏览 0提问于2017-07-04得票数 8
我有一个AWS Lambda函数，应该写到消防软管。但是，当我制作一个PutRecordBatchRequest时，它会超时，并且无法写入消防软管.
该函数在VPC中。我已将一项政策附在兰博达的角色上，以便允许进入：
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"firehose:*"
],
"
浏览 0提问于2020-09-16得票数 0
1回答
亚马逊移动消防软管到S3
、、、、
我被要求编写一个代码来使用将一个.csv文件发送到S3。但作为一个从未使用过Kinesis的人，我不知道该怎么做。您能在这方面提供帮助吗?或者，如果您有一段代码来完成这项工作，它也可以帮助您(Java或Scala)。
csv数据应该被发送到Kinesis，并使用Firehose应用程序以gzip格式写入到S3桶中。
提前谢谢。
浏览 1提问于2020-03-19得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
