摘要:前面讲接收数据时提过,Receiver 模式是 Spark Streaming 早期的 Kafka 集成方式,Direct 模式是它的替代者。这篇把 Di...
摘要:普通 Spark 作业 Driver 挂了,重跑就行;但 Spark Streaming 的 Driver 挂着的是"流处理的进度"——挂了不自动恢复,整...
摘要:reduceByKey 统计的是"当前这个 batch",但"最近 10 分钟的热门词""最近 1 小时的 PV"这类需求要看一个滚动的时间窗口。redu...
摘要:前面的算子都是无状态的——每个 batch 算完就丢。但"累计词频""累计销售额""维护会话状态"这类需求,必须跨 batch 记住之前的结果,这就是 u...
摘要:容错是流处理系统的底线——挂了能不能恢复、恢复后会不会丢数据或重复数据。这篇把 Spark Streaming 的容错拆成三个层面讲:数据容错(WAL 和...
摘要:foreachRDD 是 Spark Streaming 里最常用、也最容易写挂的输出算子。这篇讲清它和 transform 的区别——foreachRD...
摘要:Spark Streaming 的配置参数几十个,但真正需要你动手调的就那么几个,剩下的调错了反而添乱。这篇把参数按功能分六类,重点讲五个高频参数(blo...
摘要:DStream 是 Spark Streaming 的核心抽象,但很多人用了很久也没搞清楚它到底是什么。这篇把 DStream 拆开——它本质是"RDD ...
摘要:做实时计算,最先要搞明白的是数据怎么进来的。这篇讲清 Spark Streaming 的 Receiver 接收链路——数据从 Kafka/Socket ...
摘要:上一篇讲了 foreachRDD 是"输出操作",这篇讲它的姊妹算子 transform——一个"转换操作",拿到 RDD 处理后返回新 RDD,让流继续...
摘要:任何新技术的诞生,都是旧方案疼到一定程度的产物。Structured Streaming 的出现,背后是 Lambda 架构双链路之痛、DStream A...
腾讯云TDP | 产品KOL (已认证)
最近在使用 Spark Streaming 进行实时数据处理时,遇到了一个因状态转换不当引发的空指针异常(NullPointerException)。这个问题虽...
在最早接触大数据开发的实时流处理开发的时候,是使用的 SparkStreaming,那时候还不知道有flink,所以 SparkStreaming 就是碾压 S...
要开发Spark Streaming应用程序,核心是通过StreamingContext创建DStream。因此DStream对象就是Spark Streami...
说起Spark,大家就会自然而然地想到Flink,而且会不自觉地将这两种主流的大数据实时处理技术进行比较。然后最终得出结论:Flink实时性大于Spark。
在大数据流数据实时开发中,常用的技术就是SparkStreaming和Flink。在初学实时处理技术时,总是围绕着处理数据的实时性,来对不同技术做一个比较。