腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(944)
视频
沙龙
1
回答
PyFlink性能与Scala的比较
pyspark
、
apache-flink
、
spark-streaming
、
pyflink
如何将PyFlink性能与
Flink
+ Scala进行比较?因此,Apache是纯
流
的,而不是Spark的微
批
,我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpark
流
的延迟会更少吗?它比Scala编写的
Flink
代码慢吗?在什么情况
浏览 3
提问于2021-11-05
得票数 1
回答已采纳
1
回答
Flink
卡夫卡
流
相对于星火卡夫卡
流
的好处?卡夫卡流过弗林克?
apache-kafka
、
spark-streaming
、
apache-storm
、
apache-flink
、
apache-kafka-streams
在火花
流
中,我们设置了几乎实时的微批处理的批处理间隔。在
Flink
(DataStream)或Storm中,
流
是实时的,所以我想没有这样的批处理间隔的概念。在卡夫卡,消费者在拉,我想象星火使用
批
参数从卡夫卡经纪人提取消息,那么
Flink
和Storm是如何做到的呢?我设想
Flink
和Storm在一个快速循环中拉出Kafka消息形成实时
流
源,如果是这样的话,如果我将火花批处理间隔设置为100 as、50 as甚至更小,那么我们是否与
Flink
或Storm之
浏览 5
提问于2016-10-24
得票数 7
回答已采纳
1
回答
Apache
Flink
存储
apache-flink
在处理了这数百万的事件/数据之后,哪里是保存信息的最佳地方?我看到一个关闭的提到了Parquet格式,但是,默认的是HDFS吗?我关心的是储蓄后(哪里?)如果它是容易的(快!)才能检索到数据?
浏览 3
提问于2015-08-11
得票数 5
1
回答
当
流
不重要时
apache-spark
、
apache-flink
最近,我一直在比较火花和
Flink
的一个全新的项目。在这个项目中,
流
功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后,我将在数据分析中应用ML和数据挖掘。在搜索时,我发现很多文章,演示和视频声称
Flink
是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面,星火是(或曾经?)非常流行,并广泛部署在非常大的生产系统。我的问题是:对于我的用例来说,
流
并不重要,我是拥抱
Flink
还是从Spark2开始?更新,2018年4月,:我们最终选择
浏览 5
提问于2017-05-19
得票数 3
回答已采纳
1
回答
风暴式间歇加工
apache-kafka
、
apache-storm
、
trident
我对风暴的用例是
流
处理和批处理。用例2:风暴拓扑应该将元组作为一
批
元组进行处理。 我使用Kafka作为队列机制来提供Storm拓扑。是否Storm不是这样做的正确框架,因为它是用于
流
处理的(用例1)。风暴三叉戟对用例#2有帮助吗?
浏览 3
提问于2015-09-22
得票数 0
1
回答
如何保留apache
flink
任务并在重启jobmanager时提交记录
apache-flink
我正在使用apache
flink
1.10
批
量计算我的
流
数据,今天我将我的apache
flink
kubernetes(v1.15.2) pod从机器1移动到机器2,发现所有提交任务记录和任务列表都消失了重启apache
flink
的kubernetes pod时,如何保存提交记录和任务列表?我只发现checkpoint persistant,但没有关于任务的。
浏览 4
提问于2020-04-30
得票数 0
1
回答
流
处理和批处理
apache-spark
、
stream
、
apache-flink
、
processing
、
pipeline
由于批处理的延迟是在累积特定数目的数据时产生的,我是否可以将“一的大小”的批处理视为
流
处理?或者当运算符进行计算时还有其他的区别吗?例如,如果我将基于火花的程序的批处理大小设置为1,是否可以使其延迟降低到
flink
?我的一种想法是:对于
流
处理,如果处理了前一个操作符,一个数据
流
就会从前一个操作符流到后一个操作符,但是对于批处理过程,只有在操作符处理完一个数据之后,它才能接受另一个数据。
流
处理中的流水线似乎是加速的关键。 我的解释正确吗?如果错了,对我的问题有什么适当的解释。
浏览 9
提问于2022-11-14
得票数 0
3
回答
为什么我们在
flink
源代码中有
flink
-streaming-java和
flink
-streaming-scala模块
apache-flink
、
flink-streaming
、
flink-sql
在Fink源码中,有
flink
-stream-java和
flink
-stream-scala模块。为什么我们需要两个模块来
实现
flink
流
?
浏览 0
提问于2019-02-25
得票数 3
1
回答
在
Flink
1.x中EventTimeSourceFunction (
Flink
0.10.x)的替代是什么?
apache-flink
、
flink-streaming
我正在尝试将基于
Flink
0.10.1的示例迁移到
Flink
1.1.1。示例中使用的TaxiRideSource数据
流
源
实现
了
Flink
1.x不再提供的org.apache.
flink
.streaming.api.functions.source.EventTimeSourceFunction如何将TaxiRideSource移植到
Flink
1.x?
浏览 2
提问于2016-09-07
得票数 1
回答已采纳
1
回答
为什么
Flink
流
不支持左联接表达式?
flink-streaming
Flink
流
支持内部连接表达式,如window- join,interval-join.但不支持左联接/完全联接表达式。当然,窗口-cogroup表达式可以
实现
相同的语义,即使事件立即加入,也必须等待完全窗口大小的时间。我的问题是: 如何从设计角度解释
Flink
流
不支持左连接/完全连接表示?如何通过
Flink
DataStream API (如果能够立即转发连接事件)来
实现
它?是否有一种方法可以扩展
Flink
DataStream
浏览 3
提问于2021-08-15
得票数 0
回答已采纳
2
回答
我怎么知道我已经吃掉了所有的卡夫卡话题?
apache-kafka
、
apache-flink
我使用的是
Flink
v1.4.0。我使用如下代码所示的Kafka
FLink
Consumer来使用Kafka主题中的数据:properties.setProperty
浏览 6
提问于2018-01-25
得票数 3
回答已采纳
1
回答
ALS实时推荐Apache
Flink
apache-flink
、
flinkml
、
als
我想用ALS算法在Apache
Flink
上
实现
一个实时推荐。为此,我需要一个起点,帮助我
实现
这个项目。
浏览 37
提问于2021-02-20
得票数 0
回答已采纳
1
回答
流在Hadoop中的应用
hadoop
、
spark-streaming
、
apache-flink
、
flink-streaming
、
flink-cep
在这个例子中,我确实看到他们创建了一个单独的应用程序(类似于
流
应用程序),该应用程序生成和消费数据,并在数据上应用模式匹配。他们现在还没有在.Till(如卡夫卡)之间放置一个
流
层,单应用程序就足以满足这一目的,这使得它非常优化。我有几个问题我没有得到回答: 如果像卡夫卡/动态
浏览 2
提问于2016-06-13
得票数 0
1
回答
Flink
中的低延迟
流
与多个元数据
流
的结合(丰富)
apache-flink
、
flink-streaming
我正在为
流
分析方案评估
Flink
,并且还没有找到关于如何
实现
我们今天在遗留系统中所做的一种ETL设置的足够信息。一个非常常见的场景是,我们使用了关键的、慢吞吐量的元数据
流
,我们希望使用这些数据流在高吞吐量数据流上进行丰富,如下所示:这就引出了两个关于
Flink
的问题:如何通过缓慢更新时间窗口重叠但不相等的流来丰富快速移动的
流
如何有效地将多个(最多10个)数据
流
与
Flink
连接起来,比如一个数据
流
和9个不同的富集流?我知道我
浏览 3
提问于2017-11-21
得票数 1
回答已采纳
2
回答
卡夫卡-> DataStream -> MongoDB
mongodb
、
hadoop
、
apache-kafka
、
apache-flink
我想设置
Flink
,这样它就可以将数据
流
从Apache转换并重定向到MongoDB。出于测试目的,我构建在
flink
流
-Connectors.kafka示例()之上。卡夫卡
流
是正确红色的链接,我可以映射他们等,但问题发生时,我想保存每一个接收和转换的信息到MongoDB。我发现的关于MongoDB集成的唯一例子是来自github的
flink
-mongodb测试。不幸的是,它使用的是静态数据源(数据库),而不是数据
流
。 我认为应该有一些DataStream.addSink
浏览 3
提问于2016-02-02
得票数 11
回答已采纳
3
回答
如何为一组操作/工作
流
创建DAG表示?
workflow
、
apache-flink
、
directed-acyclic-graphs
、
stream-processing
我们使用apache
flink
进行
流
处理。文档说,
flink
基于定义的操作(对流数据的转换链)生成执行图/DAG。我还可以在UI门户上看到DAG表示。 我有点好奇如何在幕后做到这一点。有没有为
flink
做这件事或者由
Flink
自己
实现
的可用的库?
浏览 33
提问于2020-02-10
得票数 0
1
回答
流媒体连接在
Flink
中的
实现
inner-join
、
apache-flink
、
flink-streaming
我正在研究
Flink
中join的各种
实现
。在批处理模式下,我遇到了hybrid-hash join和sort-merge join。在这两种情况下,都有一个阻塞洗牌,它是在连接之前完成的,因此连接之前的操作符的输出被
实现
到一些非临时存储中,如所说的。 customers表首先
浏览 1
提问于2021-05-14
得票数 0
回答已采纳
1
回答
使用onTimer和processElement的Apache
Flink
超时
apache-flink
、
actor
、
flink-streaming
我使用Apache
Flink
processElement1、processElement2和onTimer
流
设计模式来
实现
超时用例。我观察到,当我包含超时功能时,系统的吞吐量下降了几个数量级。关于
Flink
中onTimer的内部
实现
的任何提示:它是每个键
流
一个线程(不太可能),还是一个池/单个执行线程,不断轮询缓冲的回调并挑选超时回调以供执行。据我所知,
Flink
基于角色模型和反应模式( actor model and reactive pattern,A
浏览 31
提问于2020-08-26
得票数 0
回答已采纳
0
回答
flink
为什么可以
实现
高吞吐?
大数据
、
windows
1、
flink
是同时
实现
低延迟和高吞吐?还是在
流
处理的时候是低延迟低吞吐;在批处理的时候是高延迟高吞吐? 2、我认为
flink
没有办法同时
实现
这两个特性?
浏览 78
提问于2021-12-24
1
回答
Flink
流
,“sum”到底是做什么的?
java
、
apache-flink
、
flink-streaming
我很难理解
流
,以工作计数为例,对于卡夫卡这样的无限源,“和”到底是做什么的?Types.LONG)) .sum(1); 我的意思是,用keyBy(0).
浏览 1
提问于2019-03-06
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Flink on Hive构建流批一体数仓
Flink1.11+Hive批流一体数仓
基于Flink+Hive构建流批一体准实时数仓
深度解读:Flink 1.11 SQL流批一体的增强与完善
Apache Flink的下一步:不止于流处理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券