nginx加速缓存导致event-stream消息延迟问题

现象

在开发AI聊天助手功能模块，采用了跟chatGPT官网一样的stream流传输格式。

在建立起连接并且还未断的期间，后端服务器可以主动推送消息给前端。

在页面上能看到的效果就是AI回复的消息是一个字一个字打印出来的，而在浏览器的控制面板可以看到接口的response Content-Type是text/event-stream。

本地调试直接访问后端的地址没有问题,部署到线上,经过nginx后发现有问题.直接显示一段文字，然后卡顿两三秒，然后又是直接显示一段文字。整个过程看起来就很卡顿。

event-stream响应的数据几个chunk的发送时间一致,之前是每个chunk的发送时间都不一样.

排查

一开始还以为内外网的原因,因为一部署上去就走的外网,后来发现通过外网直接访问后台服务器地址也没有问题,才发现是nginx 缓存的事.

解决方案

@PostMapping(value = "/chatStream" , produces = MediaType.TEXT_EVENT_STREAM_VALUE )
public Flux<ChatResponse>  chatStream(@RequestBody AiPrompt aiPrompt, HttpServletResponse response) {
  //设置响应头
  response.setHeader("X-Accel-Buffering", "no");
}

设置response.setHeader("X-Accel-Buffering", "no");

用于控制 Nginx 的 X-Accel-Buffering 行为的 HTTP 响应头。它通常用于禁用 Nginx 的响应缓冲功能，以便在java 中实现实时输出（例如流式传输或长轮询）。

后面再发送消息就没问题

本文由 小马哥 创作，采用 知识共享署名4.0 国际许可协议进行许可 本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名 最后编辑时间为: 2025/02/27 03:07