Nginx反向代理大模型推理接口(SSE)

大风写全栈

发布于 2025-04-04 18:28:47

34300

代码可运行

文章被收录于专栏：锤子代码锤子代码

运行总次数：0

代码可运行

Nginx作用这么大？

在后台写了一个接口，用来调用第三方的AI接口，SSE方式返回。

用普通的Nginx代理配置接口返回特别慢。

找了下原因，发现是代理配置有问题。

Nginx反向代理配置

location /ai-interface {
    add_header X-XSS-Protection "1;mode=block";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $http_x_forwarded_for;
    proxy_set_header Host $host;
    proxy_set_header X-Scheme $scheme;
    proxy_set_header Accept-Encoding "";
    proxy_ssl_session_reuse on;
    proxy_redirect off;
    proxy_ignore_client_abort on;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_connect_timeout 86400s;
    # SSE 连接时的超时时间
    proxy_read_timeout 86400s;
    proxy_send_timeout 86400s;
    proxy_pass http://192.168.0.105:228866;
}

配置之后，重启一下Nginx。

接口总算丝滑了。