1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。以下是我的代码09:15:56,406 INFO org.apache.flink.runtime.cli
浏览 72提问于2017-02-22得票数 2
到目前为止，我在网上找不到我的问题的任何答案，所以我想在这里提问是很好的。我知道Apache Flink在设计上是异步的，但我想知道是否有任何项目或设计旨在使用Flink构建同步管道。对于同步响应，我的意思是，例如，具有API端点，我将数据发送到该端点，处理由Flink完成，并且处理的结果在API调用的应答主体中返回(以任何形式)，例如200 我已经研究了Rabb
浏览 18提问于2020-07-13得票数 0
回答已采纳
我正在设计一个基于Kafka的基于事件源的架构，并使用Flink进行流处理。
一个用例将是查询(过滤和排序结果)历史交易数据，这些数据随着时间的推移通过Kafka主题。例如：“给我在过去5年的所有交易与这些属性，按xx排序”。总贸易历史将在1000万左右，以每年100万的速度增长。对于这样的历史查询，Flink本身是否是正确的工具，并且能够以合理的</em
浏览 0提问于2018-05-22得票数 0
我正在尝试将基于Flink 0.10.1的示例迁移到Flink 1.1.1。示例中使用的TaxiRideSource数据流源实现了Flink 1.x不再提供的org.apache.flink.streaming.api.functions.source.EventTimeSourceFunction如何将TaxiRideSource移植到Flink 1.x？
浏览 2提问于2016-09-07得票数 1
回答已采纳
给定来自Kafka的数据流，是否有内置的方法，或者执行SQL查找的最有效方法是什么。 例如，将流对象连接到sql表，并将其与Kafka数据流连接。给定可以在自组织基础上更新的sql表，
浏览 16提问于2020-04-15得票数 0
回答已采纳
据我所知，如果内存压力发生，RocksDBStateBackend会将数据泄漏到磁盘，但我找不到溢出op发生的地方，有人能帮我找到这段源代码吗？
浏览 1提问于2018-06-10得票数 0
回答已采纳
3回答
我们使用apache flink进行流处理。文档说，flink基于定义的操作(对流数据的转换链)生成执行图/DAG。我还可以在UI门户上看到DAG表示。
我有点好奇如何在幕后做到这一点。有没有为flink做这件事或者由Flink自己实现的可用的库？
浏览 33提问于2020-02-10得票数 0
当我们试图构建自己的时态数据库系统时，我的团队遇到了一些问题。在每一开始，我们都试图了解流入DB和Flink之间的数据传输过程。我们的基本思想是: Flink读取来自influxDB的数据，Flink利用这些数据进行一些基于Flink的ML库的建模。(如图中的红圈)。但是，我们只找到一些开源存
浏览 0提问于2019-12-12得票数 1
回答已采纳
在Fink源码中，有flink-stream-java和flink-stream-scala模块。为什么我们需要两个模块来实现flink流？
浏览 0提问于2019-02-25得票数 3
2回答
我目前正在使用Apache并在其中使用RxJava，我的问题是:使用这两种方法都是合适的吗？因为我的flink操作总是映射函数，并且在其中我更多地使用Rx，比如从flink获取元组并对它们进行异步操作(转到DB、写入队列等等)，但是我最终没有使用flink向我公开的大多数方法，当Rxjava随着处理结束时，我的程序步骤返回json。你能告诉我，这是一个正确的使用flink，或如果有aa更好的方式做我
浏览 4提问于2016-06-10得票数 1
回答已采纳
作为一个玩具示例，假设我希望构建一个web应用程序，该应用程序接收带有ID和$ payed的HTTP请求，并以ID在24小时窗口中支付的总额返回响应。，但是否支持/可能创建一个Flink应用程序，其中输入是HTTP请求，输出是对HTTP请求的响应？
如果Flink不支持这一点，是否还会有另一个数据流框架支持这一点？(对于上面的玩具示例，我想有比使用Flink更简单的解决方案，但我的实际使用是通过HTTP“流”请求的<
浏览 4提问于2020-06-16得票数 0
回答已采纳
我正在尝试编写一个流作业，它将数据流沉入postgres表中。为了提供完整的信息，我的工作基于以下文章:建议使用JDBCOutputFormat的。我的代码如下所示：99 String strQuery = "INSERT INTO public.alarm (entity, duration, first, type117 rows.writeUsingOutputFormat(jdbcOutput);119 env
浏览 52提问于2017-07-19得票数 2
回答已采纳
我正在尝试写案例类序列化到AVRO到HDFS使用RollingSink在Flink。为了让avro文件可以被HDFS反序列化，我使用了包装FSDataOutputStream的DataFileWriter。当我试图在DataFileWriter和FSDataOutputStream之间同步以便关闭HDFS上的数据文件时，抛出异常，实际上我每隔一个文件就会得到数据。有没有办法在Flink writer实现中同步fs流和Avro编写器？
我尝试过使用Dat
浏览 1提问于2016-03-24得票数 0
在我看来，Processing Time Temporal Join用于流和外部数据库，并且总是基于联接条件在外部数据库中的最新值join。Temporal Join时使用the external table is not feasible to materialize the table as a dynamic table within Flink类似地，Lookup Join用于流和外部数据库，并且始终基于联接条件在外部数据库中look up值。
浏览 2提问于2022-02-21得票数 3
回答已采纳
将flink嵌入到其他程序中意味着什么？我想知道更多这方面的情况。比如如何实现这一目标。一个示例程序将非常有用。我们能以个体演员的身份运行flink程序吗？
我有一些基于配置文件的Flink作业/程序，我只想要某些Flink</
浏览 4提问于2020-03-20得票数 0
2回答
我还没能在网上找到很多关于这个的信息。我想知道是否有可能构建一个Flink应用程序，它可以动态地消耗所有匹配regex模式的主题，并将这些主题同步到s3。另外，每个被动态同步的主题都会有Avro消息，Flink应用程序将使用。
浏览 4提问于2017-12-21得票数 0
回答已采纳
我有一个flink应用程序，它每30分钟查询一次数据库，进行一些转换并持久化到数据库中。我试图处理100 k记录，因为来自jdbc写任务、数据库查询任务和转换任务之一的背压没有得到检查点和超时。启用未对齐的检查点也不起作用。使用flink版本1.14.5，并行性15。另一个flink应用程序具有作为输入源的慰藉和相同的jdbc写任务。即使禁用了未对齐的检查点和相同的flin
浏览 6提问于2022-11-03得票数 0
我正在使用flink程序将我从kafka获得的流数据写入Azure data Lake。当我使用同步来获取ADLOutputStream、写入和关闭时，它工作得很好，但是性能非常差，因为只有一个线程在写数据lake.When我使用多个线程而没有同步它抛出了http 400非法参数异常。有没有办法让多个线程在Azure数据湖中写入一个文件？
浏览 3提问于2017-05-09得票数 1
1回答
Flink比预期消耗更多的内存
、、、、
我使用Flink 1.4.1处理事务性事件，使用HDFS存储检查点信息以实现容错。运行一段时间后，作业使用的总RAM稳定在36 GB，但是HDFS中存储的检查点只使用3 GB。是否有一种方法可以减少作业的内存使用，可能是通过配置Flink</e
浏览 0提问于2018-05-03得票数 2
有一个名为flink-jdbc的模块，它只支持基于非并行元组类型的JDBC InputFormat。为了将并行InputFormat用于JDBC，似乎需要通过实现接口org.apache.flink.core.io.InputSplit进行自定义。因此，在我的例子中，如何自定义实现JdbcInputSplit以从数据库并行查询数据？
浏览 0提问于2016-01-23得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
