
转载自 | 数仓生态圈

SeaTunnel可以从HTTP中获取数据，一般来说，HTTP会返回一个JSON格式的字符串，SeaTunnel解析JSON后分解出来数据类型，然后输出到目标系统中。

常规来说是没有问题，但是如果这个HTTP请求的数据量过大，对于服务端和客户端的压力就非常大，那么如何解决这个问题呢？那就需要使用流式处理方式JSONL，边生成数据边发送，这样就不需要一次性把数据都放入内存，减少内存的使用量。例如从数据库里面获取1个月的订单，如果总共100万条数据，那么我们可以一次只取5天的数，循环获取和输出，那么就不需要一次性的把100万条数据放入内存中。

## 一、JSON与JSONL的输出格式

1、JSON

通过HTTP返回JSON样式的数据如下

```
[  {    "id": 1,    "name": "a"  },  {    "id": 2,    "name": "b"  }]
```

返回的内容整体是一个JSON格式，数据处理会把返回的整个数据进行处理

2、JSONL

通过HTTP返回JSONL样式的数据如下```

```
{"id":1,"name":"a"}{"id":2,"name":"b"}
```

返回的内容整体不是一个JSON格式，而是每行一个JSON类型，并且通过换行来分割其他JSON。

## 二、区分返回格式的参数

![](https://developer.qcloudimg.com/http-save/yehe-11851421/d7cef01d0ed10d2545bd04f2fbc51c32.jpg)

## 三、举例

1、先做一个HTTP测试服务，返回上面2种格式

```
[root@localhost]# curl http://localhost:3000[  {    "id": 1,    "name": "aaa"  },  {    "id": 2,    "name": "bbb"  }][root@localhost]# curl http://localhost:3000/jsonl{"id":1,"name":"aaa"}{"id":2,"name":"bbb"}
```

2、JSON格式的配置

```
env {  parallelism = 1  job.mode = "BATCH"}source {  Http {    plugin_output = "http"    url = "http://localhost:3000"    method = "GET"    format = "json"    enable_multi_lines = false    schema = {      fields {        id = int        name = string      }    }  }}sink {  Console {    parallelism = 1  }}
```

输出结果

```
2026-07-04 18:13:09,073 INFO  [.a.s.c.s.c.s.ConsoleSinkWriter] [st-multi-table-sink-writer-1] - subtaskIndex=0  rowIndex=1:  SeaTunnelRow#tableId=Optional[http] SeaTunnelRow#kind=INSERT : 1, aaa2026-07-04 18:13:09,073 INFO  [.a.s.c.s.c.s.ConsoleSinkWriter] [st-multi-table-sink-writer-1] - subtaskIndex=0  rowIndex=2:  SeaTunnelRow#tableId=Optional[http] SeaTunnelRow#kind=INSERT : 2, bbb
```

3、JSONL格式的配置

```
source {  Http {    plugin_output = "http"    url = "http://localhost:3000/jsonl"    method = "GET"    format = "json"    enable_multi_lines = true    schema = {      fields {        id = int        name = string      }    }  }}
```

返回结果和上面相同，如果把`enable_multi_lines`改为`false`，那么结果只会有第一条数据，后面的数据没有获取到。

## 四、总结

如果是常规的HTTP服务返回1个JSON格式的字符串时，那么就不用管这个参数，它默认就是`false`。如果是流式的JSONL输出格式，那么一定要记住设置`enable_multi_lines`参数为`true`。



SeaTunnel可以从HTTP中获取数据，一般来说，HTTP会返回一个JSON格式的字符串，SeaTunnel解析JSON后分解出来数据类型，然后输出到目标系统中。

从 JSON 到 JSONL，Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题？

大数据

开发工具

后端

SeaTunnel支持通过HTTP获取JSON数据，但面对大数据量时推荐使用JSONL流式处理格式，逐行解析JSON数据以减少内存占用。关键参数enable_multi_lines需设为true才能完整读取多行JSONL数据，设为false则仅获取首条记录。通过循环分批获取数据，可有效降低服务端与客户端压力。

测试服务

数据处理

代码解释

数据库

JSON

2026上云采购 | AI焕新·智启新局

datainlong

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

从 JSON 到 JSONL，Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题？-腾讯云开发者社区-腾讯云

从 JSON 到 JSONL，Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题？

从 JSON 到 JSONL，Apache SeaTunnel 如何解决HTTP 大数据传输的内存难题？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐