首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
首页标签实时计算

#实时计算

省级政务行业IT部门实时计算共享Flink集群JobManager内存故障排查实践总结

用户9421738

省级政务中心IT统计管理实时计算资源,以共享Flink集群的方式提供给分管的下属地市。上线接近一年之久,客户反馈通过yarn-session模式启动的Flink...

1700

关于分布式计算框架连接kafka不满足同一消费者组不满足只有一个消费者的情况

shengjk1

之前在做spark实时计算的时候,无意间启动了两个spark Application,导致了最终的结果成倍的增加,经过排查之后,确实是因为启动了两个相同的 sp...

4500

杂谈 | 从爆火的黑猴子到SteamCharts背后的统计计算

做数据的二号姬

在大数据技术的早期阶段,Hadoop并没有提供实时计算解决方案。随后,为了满足实时数据处理的需求,出现了多个实时计算框架,如Storm、Spark Stream...

12410

行业客户现场SparkStreaming实时计算使用案例问题总结

用户9421738

虽然当前实时计算领域所有厂商都推荐Flink框架,但是某些传统行业客户因为多年固化的业务场景仍然坚持使用SparkStreaming框架。本文主要记录Spark...

22210

谈谈我对实时计算的理解

阿超

在这个数据驱动的时代,实时计算和大数据处理成为了许多企业和开发者关注的焦点。这里就来简单介绍一下实时计算和Flink的相关概念,希望能帮助大家快速入门。

20410

2024年大数据方向的发展趋势

王知无-import_bigdata

最近事情较多,因为临近年底,在做总结和后续规划,在这一年中,数据开发方向仍然在快速发展,新概念和新技术层出不穷。

1.5K10

作业帮实时计算平台高可用实践

深度学习与Python

随着业务的高速发展和实时计算的迭代,业务对实时计算的需求越来越多,对实时任务的稳定性要求也越来越高。对实时计算平台而言,底层调度系统及计算引擎的稳定性、高可用性...

24810

大数据初识------Flink如何实现Exactly once计算不重不丢

小时的棒棒糖

Flink是使用Kafka链接计算任务,利用kafka的exactly once实现流计算的不重不丢,而Kafka 的 Exactly Once 语义是通过它的...

58300

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案

Maynor

逆地理编码:https://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding...

53510

大数据架构设计(四十五)

keying

Lambda架构设计目的在于提供一个满足大数据系统关键特性的架构。整合离线计算和实时计算,融合不可变性、读写分离和复杂性隔离等原则。

41320

Tugraph Analytics图计算快速上手之紧密中心度算法

GeaFlow

紧密中心度(Closeness Centrality)计量了一个节点到其他所有节点的紧密性,即该节点到其他节点的距离的倒数;节点对应的值越高表示紧密性越好,能够...

49620

TuGraph Analytics 流图计算之行为路径归因

GeaFlow

TuGraph Analytics(内部项目名 GeaFlow)是蚂蚁集团开源的分布式实时图计算引擎,即流式图计算。通过 SQL + GQL 融合分析语言对表模...

46020

进击大数据系列(九)Hadoop 实时计算流计算引擎 Flink

民工哥

Apache Flink 是一个框架和分布式处理引擎,用于对无边界和有边界的数据流进行有状态的计算。Flink被设计为可以在所有常见集群环境中运行,并能以内存速...

1.9K20

开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势

用户2468294

Flink是一款非常优秀的流式计算框架,而ClickHouse是一款非常优秀的OLAP类引擎,它们是各自所处领域的佼佼者,这一点是毋庸置疑的。Flink除了各种...

45330

Flink SQL UDF重复调用问题解决方案

皮皮熊

UDF重复调用的问题在某些情况下可能会对Flink SQL用户造成困扰,例如下面的SQL语句:

1.7K01

数据中心互联光网络之数据实时计算

MOSS-DZ

本⽂主要针对波分运营管理系统展开介绍,即波分事件中⼼主要⽬的与技术⼿段浅谈。⽽开放光系统运营关键核⼼就是事件(event),运营事件的⽬标是⼀个事件解决⽹络的⼀...

37420

数据中心互联光网络之数据实时计算

MOSS-DZ

本⽂主要针对波分运营管理系统展开介绍,即波分事件中⼼主要⽬的与技术⼿段浅谈。⽽开放光系统运营关键核⼼就是事件(event),运营事件的⽬标是⼀个事件解决⽹络的⼀...

45330

伴鱼实时计算平台 Palink 的设计与实现

深度学习与Python

在伴鱼发展早期,出现了一系列实时性相关的需求,比如算法工程师期望可以拿到用户的实时特征数据做实时推荐,产品经理希望数据方可以提供实时指标看板做实时运营分析。这个...

64810
领券