我有一个CsvTableSource来读取CSV文件并将数据写入S3，然后我想将文件从S3加载到JDBC接收器。如何使JDBC接收器仅在S3接收器成功完成后执行。
浏览 10提问于2019-09-28得票数 0
是否可以使用Apache Flink接收器将协议缓冲区数据序列化到Avro并写入文件？
浏览 16提问于2020-05-02得票数 1
我已经实现了一个Flink处理器，它将事件聚合到会话中，然后将它们写入接收器。现在我想扩展它，这样我就可以获得每五分钟并发会话的数量。SessionId": "UniqueUUID", "EventType": "EventTypeA",} 并且单个会话通常包含多个不同然后，我在Flink中执行以下操作，将事件聚合到会
浏览 12提问于2020-11-06得票数 0
回答已采纳
我想在hbase接收器表中写入数据，我有兼容flink版本1.14.4的Hbase版本2.2.0，我将接收器hbase表定义如下： CREATE TABLEtable_api_table但我错了: org.apache.flink
浏览 24提问于2022-10-24得票数 -1
回答已采纳
我的有状态函数是将数据写入数据库，但它是不确定的，因此从检查点恢复可能会导致数据库包含不一致的数据。我的想法是在Flink的持久化状态下“缓冲”数据，只有在检查点完成后才将数据写入数据库。
浏览 61提问于2020-08-24得票数 0
回答已采纳
我知道每次都会消耗一批数据来减少网络调用，但是消耗的速度只取决于源运营商还是Sink的确认也很重要？在这种情况下如何处理突发？
浏览 13提问于2019-09-06得票数 0
1回答
我目前正在规划一个应用程序的架构，该应用程序从Kafka主题读取数据，并在经过一些转换后将数据转换为RabbitMq。我是Kafka Streams的新手，它们看起来很适合我的任务。但问题是，Kafka服务器托管在另一个供应商的地方，所以我甚至不能安装Cafka Connector to RabbitMq Sink插件。
浏览 0提问于2021-06-18得票数 0
我对Flink相当陌生，在技术用例方面需要一些帮助。我有一个在GKE上运行的flink应用程序，并使用自定义接收器将记录(从Kafka源)写入BigQuery。我可以将记录写入BigQuery，而不会出现任何问题。目前，记录被一个接一个地写入接收器中，因此每个kafka消息都会得到自己对BigQuery的插入api调用，这并不理想，因为我们需要执行批量插入，并且单独插入每个记录将非常昂贵。新要求：
在将记录写入BigQuery之前，理想情
浏览 5提问于2022-10-18得票数 2
回答已采纳
我的目标是从Flink获得一个流，并将其插入到ElasticSearch中，感谢您的帮助。
浏览 0提问于2020-02-05得票数 0
我正在尝试处理日志文件，并将几乎相似的结果保存到两个不同的位置，而不需要重新处理整个日志文件。 ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
System.out.println(
浏览 5提问于2016-09-29得票数 1
我集成了两个工具Apache NiFi和Apache Flink。NiFi获取事件并将它们发送到Flink，之后Flink将这些事件经过一些处理返回给相同的NiFi。我在Flink中构建了Nifi的源代码和接收器。整个过程可以工作，但是接收器的性能非常差(大约每秒10个事件)。
如果我移除接收器(仅打印输出)，处理速度会快得多。在每个事件接收器之后，等待关闭事务，但我不确定，也不知道如何更改它，例如在一个事务中发送数
浏览 3提问于2018-07-24得票数 1
1回答
以下是我的假设：
Flink从kafka消耗一些固定数量的事件(一次从多个分区获得多个偏移量)，并等待，直到它到达接收器，然后是检查点。在成功的情况下，它提交kafka分区，偏移它读取，并维护一些与它正在写入的hdfs文件相关的状态。在kafka将事件交给其他运营商之后，进行了多个转换，而kafka消费者则处于闲置状态，直到它得到它发送的事件的成功确认。因此，我们可以说，当接收器将数据写入hdfs时，所有之前的操作符都处于空闲状态。在失败的情况下，<e
浏览 0提问于2020-03-12得票数 0
老实说，我在一个非常主要的水平使用Apache Flink，我正在寻找Apache Flink接收器连接器，它将发送我的消息到Kafka主题。
期待您的快速帮助。
浏览 0提问于2017-06-12得票数 0
我想让flink使用者流中的每条消息产生多条消息，每条消息通过一个单独的线程生成到kafka中的某些主题，使用flink kafka producer.Im用Scala编写程序，但是使用Java的答案就可以了new Thread { flink_producer(str)
} }
val stream
浏览 0提问于2018-01-30得票数 0
回答已采纳
我有一个Flink作业，它的接收器是将数据写入MongoDB。接收器是RichSinkFunction的实现。
接收器在什么时候确认检查点屏障，在调用函数开始时还是在调用完成时？意味着它在确认障碍之前等待持久化(保存在MongoDB中)响应？如果提交
浏览 3提问于2018-05-31得票数 1
作为我的flink应用程序的运行时，我通过AWS ()使用托管flink "com.esotericsoftware.kryo.KryoException: Error constructing instance of class: org.apache.avro.Schema$LockableArrayList",
浏览 2提问于2020-06-03得票数 1
回答已采纳
我试图使用flink 1.15.1编写一个简单的表API S3流接收器(csv格式)，并面临以下例外：at org.apache.flink.fs.s3-fs-hadoop-1.15.1.jar:1.15.
浏览 20提问于2022-07-11得票数 0
回答已采纳
在Apache中，我有一个元组流。让我们假设一个非常简单的Tuple1<String>。我希望根据元组内部的值将该元组写入特定的输出位置。我希望有以下文件结构：
在文档中，我只找到了向我事先知道的位置(例如stream.writeCsv("/output/somewhere"))写入的可能性这能用Flink API来完成吗?如果是的话，怎么做？如果没有，是否有第三方库可以这
浏览 0提问于2015-10-29得票数 19
回答已采纳
2回答
我正在编写一个flink代码，在该代码中，我从本地系统读取一个文件并使用"writeUsingOutputFormat“将其写入数据库。你能帮我一下吗?
浏览 1提问于2019-01-07得票数 1
回答已采纳
因此，该类的定义如下：现在，我想要写入ArangoDB的Flink程序是用Scala编写的。ArangoOutputFormat[(Long, Long)]()但是，在编译时，我会得到以下错误：
错误：(47，11)类型参数(长、长)不符合类ArangoOutputFormat的类型参数界限<：org.apache.flink</e
浏览 3提问于2016-09-09得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
