什么是Streaming API

基础概念

Streaming API（流式API）是一种实时数据传输接口，采用流式处理模式，允许客户端与服务端建立长连接，持续接收动态更新的数据（如事件、日志、消息等），而非传统的请求-响应模式。其核心特点是低延迟、增量传输，数据以"流"的形式分块发送，无需等待完整结果。

主要类型

HTTP Streaming
- Server-Sent Events (SSE)：单向服务器推送，基于HTTP协议。
- 分块传输编码（Chunked Transfer Encoding）：动态生成内容时分块发送。

WebSocket 全双工通信协议，适用于双向实时交互（如在线游戏）。
gRPC Streaming 支持四种流模式（单向/双向），基于HTTP/2，高效传输结构化数据。
消息队列流 如Kafka、RabbitMQ，用于异步处理高吞吐量数据流。

应用场景

实时通知：股票价格、新闻推送（SSE）。
音视频流：直播、视频会议（WebRTC）。
IoT设备监控：传感器数据实时上报（MQTT）。
日志分析：ELK日志流处理。
AI推理：流式返回大模型生成结果（如ChatGPT）。

常见问题与解决

问题1：连接不稳定导致中断

原因：网络波动或服务端超时。解决：

客户端实现自动重连机制。
服务端设置合理的心跳间隔（如WebSocket的ping/pong）。

问题2：数据顺序错乱

原因：网络延迟或并行处理导致乱序。解决：

在协议层添加序列号（如gRPC的stream_id）。
客户端缓存并排序数据。

问题3：高并发性能瓶颈

原因：长连接占用服务器资源。解决：

使用连接池（如WebSocket的gorilla/websocket库）。
横向扩展服务节点，配合负载均衡。

示例代码（SSE服务端）

// Node.js Express 示例
const express = require('express');
const app = express();

app.get('/stream', (req, res) => {
  res.setHeader('Content-Type', 'text/event-stream');
  res.setHeader('Cache-Control', 'no-cache');
  res.setHeader('Connection', 'keep-alive');

  // 每2秒推送一次时间
  const timer = setInterval(() => {
    res.write(`data: ${new Date().toISOString()}\n\n`); // SSE格式要求
  }, 2000);

  req.on('close', () => clearInterval(timer));
});

app.listen(3000);

协议对比

| 类型 | 协议 | 方向 | 适用场景 | |------------|---------|----------|-----------------------| | SSE | HTTP | 单向推送 | 实时通知、日志流 | | WebSocket | WS | 双向 | 聊天室、协同编辑 | | gRPC | HTTP/2 | 双向 | 微服务间高效通信 | | MQTT | TCP | 发布订阅 | IoT设备低功耗通信 |

通过选择合适的技术栈，Streaming API可显著提升实时系统的效率和用户体验。