场景: Apache Flink、Kafka、Protocol buffers data consumer。数据来源为协议缓冲区格式的Kafka主题(多个主题: topic#1、topic#3、topic#3)。使用者是Apache Flink使用者。每个主题都有一个独特的协议定义。中开发一个通用的数据摄取作业，将Kafka中的数据摄取到数据库中。如何为Apache Flink实现一个通用的prot
浏览 13提问于2021-04-03得票数 0
1回答
我有一个Flink应用程序，它使用Kafka集群中的数据并运行SQL数据转换。我在电子病历上运行这个应用程序，当我使用Java -jar选项运行时，应用程序可以正常运行。at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:146)
at org.apache.flink.client.program.rest.RestClusterClient.submitJoborg.apache
浏览 1提问于2019-11-27得票数 0
flink流具有多个数据流，然后使用org.apache.flink.streaming.api.datastream.DataStream#union方法对这些数据流进行合并。然后，我得到了问题，数据流是混乱的，我不能设置窗口来对数据流中的数据进行排序。Sorting union of streams to identify user sessions in Apache Flink 我得到了答案，但com.lia
浏览 30提问于2019-01-12得票数 2
我正在使用Postgres作为源的Flink应用程序来读取某些配置数据，将其转换为数据流，然后将其与传入的实时数据流连接起来。我尝试过使用，并且能够读取单个表并将其反序列化为POJO并进一步使用它。
但是，我的要求是使用CDC源本身中的联接条件从多个表中读取数据，然后将其转换为数据流。我们可以在源中编写自定义查询吗？我还没有找到这种可能性，我能想到的唯一解决方案就
浏览 1提问于2022-04-07得票数 0
1回答
我正在尝试根据数据库中的某些规则从一个原始数据流中创建新的数据流。启动Flink作业后，如果我需要根据数据库中更新的条目创建新的数据流，我如何才能做到这一点。因此，这里我不想重新启动Flink作业，而是在运行时动态创建新的数据流，并将其添加到执行DAG中。
浏览 4提问于2016-06-27得票数 2
我正在研究如何构建一个没有数据接收器的flink管道。也就是说，我的管道在成功调用数据存储的api时结束。
在这种情况下，如果我们不使用接收器操作符，检查点如何工作？因为检查点是基于检查点前时期(持久存在于状态中或发出到接收器中的所有事件)和检查点后时期的概念。flink管道是否需要接收器？
浏览 2提问于2021-06-09得票数 2
我已经编写了flink作业来使用数据集和数据流api。我已经从相同的main()方法启动了这两个程序，但现在当我将作业提交到flink Dashboard时。只有dataset api程序正在运行，仪表板显示作业已完成，流未被触发，flink仪表板也未显示有关数据流执行的任何内容。但是，当我从eclipse运行时，数据集和数据流api程序都在运行。是否有其他方法可以将作业提交给flink作业管理器以同时完成这两项工作？
浏览 16提问于2017-07-12得票数 1
我有一个flink数据流，我正在使用KeyedProcessFunction对其进行一些处理，然后我需要在处理后将数据保存在MongoDB中，但我无法这样做。谁能给我一些关于如何将数据从flink数据流保存到Mongo的输入？
浏览 19提问于2020-12-09得票数 0
回答已采纳
我正在为流分析方案评估Flink，并且还没有找到关于如何实现我们今天在遗留系统中所做的一种ETL设置的足够信息。一个非常常见的场景是，我们使用了关键的、慢吞吐量的元数据流，我们希望使用这些数据流在高吞吐量数据流上进行丰富，如下所示：这就引出了两个关于Flink的问题:如何通过缓慢更新时间窗口重叠但不相等的流来丰富快速移动的流如何有效地将多个(最多10个
浏览 3提问于2017-11-21得票数 1
回答已采纳
我想知道，无论如何，Flink的数据流API是否可以用来从传入的记录中删除重复项(可能是在特定的时间窗口内)，就像Dataset API一样，它提供了一个称为"Distinct“的转换。或者，如果数据集被转换为数据流以便在Flink中进行内部处理，则无论如何都可以将该数据集转换为数据流。
在这方面请帮帮我。提前感谢！干杯!
浏览 1提问于2020-03-05得票数 0
我在Flink中有如下数据流：那和没有水槽的有什么区别吗？源->算子->
从我的测试中，它似乎运行相同，虽然在第一种情况下，我看到操作符和接收器是链接的，没有从接收器发送记录。在第二种情况下，我可以看到记录被转发了，但它们无处可去。据我所知，操作员将用记录填充它的传出网络缓冲区，我预计在某个时候会看到反压力，但这种情况不会发生，那么我在这里应该期望的语义是什么呢？
浏览 1提问于2021-11-30得票数 0
在处理每个数据流的多个数据流和多个操作符时，我试图理解Flink的运行时方面。用例:单个flink作业中的n个数据流(每个数据流代表一个设备--具有不同的时间延迟)，每个数据流被分成两个流，其中一个流被分成几个CEP操作符，另一个流为一个进程函数。问题：
在作业开始时
浏览 2提问于2017-11-09得票数 1
我正在尝试将基于Flink 0.10.1的示例迁移到Flink 1.1.1。示例中使用的TaxiRideSource数据流源实现了Flink 1.x不再提供的org.apache.flink.streaming.api.functions.source.EventTimeSourceFunction如何将TaxiRideSource移植到Flink 1.x？
浏览 2提问于2016-09-07得票数 1
回答已采纳
我们使用Flink Table API在Flink应用程序中使用Kafka主题。
当我们第一次提交应用程序时，我们首先从自定义注册表中读取最新的模式。然后使用Avro模式创建Kafka数据流和表。我的数据序列化程序的实现的工作方式类似于Confluent模式注册表，它先检查模式ID，然后使用注册表。因此，我们可以在运行时应用正确的模式。但是，我不知道如何在不重新部署作业的情况下更新表模式和重新执行S
浏览 2提问于2020-11-14得票数 0
首先，我在Kafka topic中加载了一个CSV文件，我可以通过中的Flink程序打印该主题。(); stream.print();
env.execute("FlinkStreaming Java API Skeleton"); 我的问题是，我想逐行阅读主题，并分别处理每一行，您能指导我如何逐行阅读卡夫卡主题吗？
浏览 16提问于2019-06-24得票数 0
回答已采纳
目前，我正在为Flink引擎实现我的第一份工作，事情是这样的:在坚果壳中，任务非常简单--我有两个数据流(两个数据流都是无界的)，我需要通过一个参数列表来加入它们。这里的问题-我可以使用Lucene(纯内存结构，没有持久性)来匹配记录，是否可以拥有这样的状态？(我不想为Lucene编写自定义序列化程序，并在作业开始时重新创建它)。
浏览 3提问于2022-08-05得票数 0
回答已采纳
Spark streaming提供了销毁awaitTermination()的接口。有没有类似的API可以在t秒后优雅地关闭flink流？
浏览 4提问于2017-07-26得票数 0
1回答
我想用ALS算法在Apache Flink上实现一个实时推荐。为此，我需要一个起点，帮助我实现这个项目。
浏览 37提问于2021-02-20得票数 0
回答已采纳
1回答
我正在尝试用Python中的Flink 1.13版本使用构建一个流应用程序。使用使用Flink 1.13版本的连接有没有其他方法？
浏览 14提问于2022-09-27得票数 0
云服务器
ICP备案
对象存储
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号