开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

使用Spark structured streaming仅保留最新数据

Spark structured streaming是一种基于Spark的流式处理框架，它可以实时处理和分析数据流。使用Spark structured streaming可以实现对数据流的实时处理和转换，同时保留最新的数据。

在使用Spark structured streaming时，可以通过以下步骤来仅保留最新数据：

创建一个SparkSession对象，并设置相关的配置参数。

import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder
  .appName("StructuredStreamingExample")
  .master("local[*]")
  .getOrCreate()

读取数据流，可以从各种数据源读取数据，如Kafka、文件系统等。

val inputData = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "localhost:9092")
  .option("subscribe", "topic_name")
  .load()

对数据流进行处理和转换，可以使用Spark SQL的API进行数据处理。

import org.apache.spark.sql.functions._

val processedData = inputData
  .selectExpr("CAST(key AS STRING)", "CAST(value AS STRING)")
  .groupBy("key")
  .agg(max("value") as "latest_value")

将处理后的数据流写入目标位置，可以是文件系统、数据库等。

val query = processedData
  .writeStream
  .outputMode("update")
  .format("console")
  .start()

query.awaitTermination()

在上述代码中，我们使用Spark structured streaming从Kafka读取数据流，并对数据流进行处理，通过groupBy和agg操作保留每个key对应的最新数据。最后，将处理后的数据流输出到控制台。

推荐的腾讯云相关产品：腾讯云数据流计算TDSQL、腾讯云消息队列CMQ、腾讯云流计算Oceanus等。

腾讯云数据流计算TDSQL：https://cloud.tencent.com/product/tdsql

腾讯云消息队列CMQ：https://cloud.tencent.com/product/cmq

腾讯云流计算Oceanus：https://cloud.tencent.com/product/oceanus

相关搜索:Spark Structured Streaming Kinesis数据源 Spark structured streaming:如何合并新数据和结果 Spark Structured Streaming -无需重新读取数据的多个聚合 spark structured streaming批量数据刷新问题(partition by子句)Spark Structured streaming -使用模式从文件读取时间戳如何在spark structured streaming中使用foreach方法向HIVE插入数据无法使用Spark Structured Streaming覆盖默认值"spark.sql.shuffle.partitions“在Spark structured streaming中使用来自Kafka的Avro事件删除spark-structured-streaming写入的损坏拼接文件时会丢失数据吗？Spark Structured Streaming JAVA中两个不同列数据集的合并如何使用Trigger.Once()计算策略在Spark Structured Streaming中运行多数据流查询？使用Python Spark streaming从http下载数据在Spark Structured Streaming中应用消息级别的模式而不是数据帧级别的模式如何将from_json与Kafka connect 0.10和Spark Structured Streaming一起使用？如何使用Spark streaming将数据从Kafka插入到Kudu Spark Streaming:在流转换期间使用外部数据如何通过指定的模式使用spark streaming读取数据帧使用spark-streaming将数据发布到kafka topic时复制使用Kafka-Spark Streaming API处理流数据时出现重复如何在spark streaming测试中使用spark cassandra连接器模拟cassandra的数据？

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

看了这篇博客，你还敢说不会Structured Streaming？

本篇博客，博主为大家带来的是关于Structured Streaming从入门到实战的一个攻略，希望感兴趣的朋友多多点赞支持!!

04

Structured Streaming 实现思路与实现概述

二、从 Structured Data 到 Structured Streaming

05

Structured Streaming快速入门详解（8）

接着上一篇《Spark Streaming快速入门系列（7）》，这算是Spark的终结篇了，从Spark的入门到现在的Structured Streaming，相信很多人学完之后，应该对Spark摸索的差不多了，Spark是一个很重要的技术点，希望我的文章能给大家带来帮助。

03

Spark SQL的几个里程碑！

官方版本是spark 1.0.0引入的Spark SQL模块。当时这个模块的核心实际上就是一种新类型的RDD，叫做SchemaRDD。SchemaRDD就是类型为ROW的RDD，但同时又包含了一个描述每一列数据类型的schema信息。SchemRDD也可类似于传统数据库的一张表。SchemaRDD可以从已有的RDD创建，可以是Parquet文件，json数据集或则HiveQL生成。该版本引入是在2014年五月30日。

03

Spark Structured Streaming的高效处理-RunOnceTrigger

传统意义上，当人们想到流处理时，诸如”实时”，”24*7”或者”always on”之类的词语就会浮现在脑海中。生产中可能会遇到这种情况，数据仅仅会在固定间隔到达，比如每小时，或者每天。对于这些情况，对这些数据进行增量处理仍然是有益的。但是在集群中运行一个24*7的Streaming job就显得有些浪费了，这时候仅仅需要每天进行少量的处理即可受益。幸运的是，在spark 2.2版本中通过使用 Structured Streaming的Run Once trigger特性，可获得Catalyst Opti

08

Spark Streaming | Spark，从入门到精通

欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：）

03

Spark Streaming | Spark，从入门到精通

欢迎阅读美图数据技术团队的「Spark，从入门到精通」系列文章，本系列文章将由浅入深为大家介绍 Spark，从框架入门到底层架构的实现，相信总有一种姿势适合你，欢迎大家持续关注：）

02

Spark 2.0技术预览：更容易、更快速、更智能

在过去的几个月时间里，我们一直忙于我们所爱的大数据开源软件的下一个主要版本开发工作：Apache Spark2.0。Spark 1.0已经出现了2年时间，在此期间，我们听到了赞美以及投诉。Spark 2.0的开发基于我们过去两年学到的：用户所喜爱的我们加倍投入；用户抱怨的我们努力提高。本文将总结Spark 2.0的三大主题：更容易、更快速、更智能。更深入的介绍将会在后面博客进行介绍。

03

Structured Streaming | Apache Spark中处理实时数据的声明式API

随着实时数据的日渐普及，企业需要流式计算系统满足可扩展、易用以及易整合进业务系统。Structured Streaming是一个高度抽象的API基于Spark Streaming的经验。Structured Streaming在两点上不同于其他的Streaming API比如Google DataFlow。第一，不同于要求用户构造物理执行计划的API，Structured Streaming是一个基于静态关系查询（使用SQL或DataFrames表示）的完全自动递增的声明性API。第二，Structured Streaming旨在支持端到端实时的应用，将流处理与批处理以及交互式分析结合起来。我们发现，在实践中这种结合通常是关键的挑战。Structured Streaming的性能是Apache Flink的2倍，是Apacha Kafka 的90倍，这源于它使用的是Spark SQL的代码生成引擎。它也提供了丰富的操作特性，如回滚、代码更新、混合流\批处理执行。我们通过实际数据库上百个生产部署的案例来描述系统的设计和使用，其中最大的每个月处理超过1PB的数据。

02

面试注意点 | Spark&Flink的区别拾遗

场景描述：Flink是标准的实时处理引擎，而且Spark的两个模块Spark Streaming和Structured Streaming都是基于微批处理的，不过现在Spark Streaming已经非常稳定基本都没有更新了，然后重点移到spark sql和structured Streaming了。

09

是时候放弃 Spark Streaming, 转向 Structured Streaming 了

正如在之前的那篇文章中 Spark Streaming 设计原理中说到 Spark 团队之后对 Spark Streaming 的维护可能越来越少，Spark 2.4 版本的 [Release Note](http://spark.apache.org/releases/spark-release-2-4-0.html) 里面果然一个 Spark Streaming 相关的 ticket 都没有。相比之下，Structured Streaming 有将近十个 ticket 说明。所以各位同学，是时候舍弃 Spark Streaming 转向 Structured Streaming 了，当然理由并不止于此。我们这篇文章就来分析一下 Spark Streaming 的不足，以及Structured Streaming 的设计初衷和思想是怎么样的。文章主要参考今年（2018 年）sigmod 上面的这篇论文：Structured Streaming: A Declarative API for Real-Time

02

Structured Streaming教程(3) —— 与Kafka的集成

读取的时候，可以读取某个topic，也可以读取多个topic，还可以指定topic的通配符形式：

00

Spark3.0分布，Structured Streaming UI登场

近日，在Spark开源十周年之际，Spark3.0发布了，这个版本大家也是期盼已久。登录Spark官网，最新的版本已经是3.0。而且不出意外，对于Structured Streaming进行了再一次的加强，这样Spark和Flink在实时计算领域的竞争，恐怕会愈演愈烈。

01

1，StructuredStreaming简介

一，概述 Structured Streaming是一个可扩展和容错的流处理引擎，并且是构建于sparksql引擎之上。你可以用处理静态数据的方式去处理你的流计算。随着流数据的不断流入，Sparksql引擎会增量的连续不断的处理并且更新结果。可以使用DataSet/DataFrame的API进行 streaming aggregations, event-time windows, stream-to-batch joins等等。计算的执行也是基于优化后的sparksql引擎。通过checkpointing

09

了解Structured Streaming

在2.0之前，Spark Streaming作为核心API的扩展，针对实时数据流，提供了一套可扩展、高吞吐、可容错的流式计算模型。 Spark Streaming会接收实时数据源的数据，并切分成很多小的batches，然后被Spark Engine执行，产出同样由很多小的batchs组成的结果流。

02

Flink及Storm、Spark主流流框架比较，到底谁会更胜一筹？

那么有spark和storm这样成熟的计算框架存在，为什么flink还能占有一席之地呢?今天我们就从流处理的角度将flink和这两个框架进行一些分析和比较。随着大数据时代的来临，大数据产品层出不穷。

02

spark面试该准备点啥

最近很多球友都说在准备面试，不知道准备点啥，尤其是spark，实际上星球里浪尖分享的内容真的都掌握了，应对一般面试绝对没问题，但是遗憾的事情是很多人都是处于不会主动搜集资料，主动梳理知识，主动记忆整理知识，而是伸手要粮的境地。浪尖觉得这个是阻止你成长的罪魁祸手。前天跟朋友聚餐就说道这种情况，不努力，不加班给自己喂粮的，没有足够量和时间积累的人很难在一个领域里有所建树。

05

Apache Spark 2.2.0 中文文档 - Structured Streaming 编程指南 | ApacheCN

本文介绍了 Structured Streaming 是如何逐步从 Apache Spark 生态系统中发展起来的，以及其设计理念和实现方式。本文还介绍了 Structured Streaming 在实际应用中的优势，包括与批处理计算的关系、与 Apache Kafka 的集成、以及在高吞吐和低延迟场景下的性能表现。此外，本文还提供了若干实例，以展示 Structured Streaming 在各种应用场景中的实际效果。

06

Spark 2.0 Structured Streaming 分析

Spark 2.0 将流式计算也统一到DataFrame里去了，提出了Structured Streaming的概念，将数据源映射为一张无线长度的表，同时将流式计算的结果映射为另外一张表，完全以结构化的方式去操作流式数据，复用了其对象的Catalyst引擎。

03

Structured Streaming教程(2) —— 常用输入与输出

Structured Streaming 提供了几种数据源的类型，可以方便的构造Steaming的DataFrame。默认提供下面几种类型：

00

spark君第一篇图文讲解Delta源码和实践的文章

Delta 原本是在 Databricks Runtime 里面的一个增值功能，在 spark + AI Summit 2019 大会上，官方以 Apache License 2.0 协议开源。

01

Spark Structured Streaming 使用总结

在大数据时代中我们迫切需要实时应用解决源源不断涌入的数据，然而建立这么一个应用需要解决多个问题：

06

大数据开发：Spark Structured Streaming特性

在Spark框架当中，早期的设计由Spark Streaming来负责实现流计算，但是随着现实需求的发展变化，Spark streaming的局限也显露了出来，于是Spark团队又设计了Spark Structured Streaming。今天的大数据开发学习分享，我们就主要来讲讲，Spark Structured Streaming特性。

01

Spark Streaming(DStreaming) VS Spark Structured Streaming 区别比较优劣势

## Spark Streaming(DStreaming) VS Spark Structured Streaming 区别比较优劣势

03

用Spark进行实时流计算

Spark Streaming是Spark最初的流处理框架，使用了微批的形式来进行流处理。

02

Spark Structured Streaming + Kafka使用笔记

这篇博客将会记录Structured Streaming + Kafka的一些基本使用(Java 版)

02

Spark基础全解析

第一，MapReduce模型的抽象层次低，大量的底层逻辑都需要开发者手工完成。第二，只提供Map和Reduce两个操作。举个例子，两个数据集的Join是很基本而且常用的功能，但是在MapReduce的世界中，需要对这两个数据集做一次Map和Reduce才能得到结果。第三，在Hadoop中，每一个Job的计算结果都会存储在HDFS文件存储系统中，所以每一步计算都要进行硬盘的读取和写入，大大增加了系统的延迟。第四，只支持批数据处理，欠缺对流数据处理的支持。

02

Structured Streaming 编程指南

Structured Streaming 是一个基于 Spark SQL 引擎的、可扩展的且支持容错的流处理引擎。你可以像表达静态数据上的批处理计算一样表达流计算。Spark SQL 引擎将随着流式数据的持续到达而持续运行，并不断更新结果。你可以在Scala，Java，Python或R中使用 Dataset/DataFrame API 来表示流聚合，事件时间窗口（event-time windows），流到批处理连接（stream-to-batch joins）等。计算在相同的优化的 Spark SQL 引擎上执行。最后，通过 checkpoint 和 WAL，系统确保端到端的 exactly-once。简而言之，Structured Streaming 提供了快速、可扩展的、容错的、端到端 exactly-once 的流处理。

02

2021年大数据Spark（四十四）：Structured Streaming概述

Apache Spark在2016年的时候启动了Structured Streaming项目，一个基于Spark SQL的全新流计算引擎Structured Streaming，让用户像编写批处理程序一样简单地编写高性能的流处理程序。

03

大数据框架：Spark 生态实时流计算

在Spark框架当中，提起流计算，那么主要就是Spark Streaming组件来负责。在大数据的发展历程当中，流计算正在成为越来越受到重视的趋势，而Spark Streaming流计算也在基于实际需求不断调整。今天的大数据学习分享，我们就主要来讲讲Spark 实时流计算。

05

是时候丢掉Spark Streaming 升级到Structured Streaming了

又是一个超长的标题（摊手┓( ´∀` )┏）。Spark Streaming 历史比较悠久，也确实非常好用，更重要的是，大家已经用熟了，有的还做了不少工具了，所以觉得这东西特别好了，不会像一开始各种吐槽了。反倒是Structured Streaming，吐槽点比较多，但是到目前，我们经过一番实践，觉得是时候丢掉Spark Streaming 升级到Structured Streaming了。

01

Spark Structured Streaming + Kafka使用笔记

这篇博客将会记录Structured Streaming + Kafka的一些基本使用(Java 版)

03

2021年大数据Spark（四十八）：Structured Streaming 输出终端/位置

Structured Streaming 非常显式地提出了输入(Source)、执行(StreamExecution)、输出(Sink)的3个组件，并且在每个组件显式地做到fault-tolerant（容错），由此得到整个streaming程序的 end-to-end exactly-once guarantees。

04

2021年大数据Spark（四十七）：Structured Streaming Sink 输出

在StructuredStreaming中定义好Result DataFrame/Dataset后，调用writeStream()返回DataStreamWriter对象，设置查询Query输出相关属性，启动流式应用运行，相关属性如下：

03

Structured Streaming实现超低延迟

浪院长，最近忙死了，写文章的时间都没了。但是，都说时间就像海绵里的水，挤挤就有了。所以，今晚十点半开始整理这篇Structured streaming 相关的文章。

02

Note_Spark_Day13：Structured Streaming(内置数据源、自定义Sink（2种方式）和集成Kafka)

此检查点位置必须是HDFS兼容文件系统中的路径，两种方式设置Checkpoint Location位置：

01

2021年大数据Spark（三）：框架模块初步了解

整个Spark 框架模块包含：Spark Coke、 Spark SQL、 Spark Streaming、 Spark GraphX、 Spark MLlib，而后四项的能力都是建立在核心引擎之上。

02

Big Data | 流处理？Structured Streaming了解一下

上一篇文章里，总结了Spark 的两个常用的库（Spark SQL和Spark Streaming），可以点击这里进行回顾。其中，SparkSQL提供了两个API：DataFrame API和DataSet API，我们对比了它们和RDD：

01

实时应用程序中checkpoint语义以及获取最新offset

对于流式应用程序，保证应用7*24小时的稳定运行，是非常必要的。因此对于计算引擎，要求必须能够适应与应用程序逻辑本身无关的问题（比如driver应用失败重启、网络问题、服务器问题、JVM崩溃等），具有自动容错恢复的功能。

04

如何获取流式应用程序中checkpoint的最新offset

对于流式应用程序，保证应用7*24小时的稳定运行，是非常必要的。因此对于计算引擎，要求必须能够适应与应用程序逻辑本身无关的问题（比如driver应用失败重启、网络问题、服务器问题、JVM崩溃等），具有自动容错恢复的功能。

02

漫谈加持Blink的Flink和Spark

今天朋友圈有篇【阿里技术】发的文章，说Blink的性能如何强悍，功能现在也已经比较完善。譬如：

02

StreamingPro 支持Spark Structured Streaming

Structured Streaming 的文章参考这里： Spark 2.0 Structured Streaming 分析。2.0的时候只是把架子搭建起来了，当时也只支持FileSource(监控目录增量文件)，到2.0.2后支持Kafka了，也就进入实用阶段了，目前只支持0.10的Kafka。Structured Streaming 采用dataframe API,并且对流式计算重新进行了抽象，个人认为Spark streaming 更灵活，Structured Streaming 在某些场景则更方便，但是在StreamingPro中他们之间则没太大区别，唯一能够体现出来的是，Structured Streaming 使得checkpoint真的进入实用阶段。

03

Spark/Flink/CarbonData技术实践最佳案例解析

当前无论是传统企业还是互联网公司对大数据实时分析和处理的要求越来越高，数据越实时价值越大，面向毫秒~ 秒级的实时大数据计算场景，Spark 和 Flink 各有所长。CarbonData 是一种高性能大数据存储方案，已在 20+ 企业生产环境上部署应用，其中最大的单一集群数据规模达到几万亿。

02

Structured Streaming教程(1) —— 基本概念与使用

在有过1.6的streaming和2.x的streaming开发体验之后，再来使用Structured Streaming会有一种完全不同的体验，尤其是在代码设计上。

01

Caused by: com.fasterxml.jackson.databind.JsonMappingException

问题在于spark目前使用的Jackson是2.6+，而storm-kafka-client和kafka使用的是2.9+，两者之间gradle默认使用最新的依赖2.9+，所以spark structure Streaming程序运行时报错，不兼容jackson高版本。

04

Caused by: com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.6

问题在于spark目前使用的Jackson是2.6+，而storm-kafka-client和kafka使用的是2.9+，两者之间gradle默认使用最新的依赖2.9+，所以spark structure Streaming程序运行时报错，不兼容jackson高版本。

03

Hudi实践 | Apache Hudi在Hopsworks机器学习的应用

Hopsworks特征存储库统一了在线和批处理应用程序的特征访问而屏蔽了双数据库系统的复杂性。我们构建了一个可靠且高性能的服务，以将特征物化到在线特征存储库，不仅仅保证低延迟访问，而且还保证在服务时间可以访问最新鲜的特征值。

01

Spark 2.3.0 重要特性介绍

为了继续实现 Spark 更快，更轻松，更智能的目标，Spark 2.3 在许多模块都做了重要的更新，比如 Structured Streaming 引入了低延迟的持续处理；支持 stream-to-stream joins；通过改善 pandas UDFs 的性能来提升 PySpark；支持第四种调度引擎 Kubernetes clusters（其他三种分别是自带的独立模式Standalone，YARN、Mesos）。除了这些比较具有里程碑的重要功能外，Spark 2.3 还有以下几个重要的更新：

03

2021年大数据Spark（四十九）：Structured Streaming 整合 Kafka

http://spark.apache.org/docs/2.4.5/structured-streaming-kafka-integration.html

03

基于Hudi的流式CDC实践一：听说你准备了面试题？

写了快两个月Structured Streaming的代码，最近刚把数据迁移代码写完。

03

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭