『学习笔记』使用 Nginx 反向代理实现 WebSocket 支持指南

🎈今日推荐——https://cloud.tencent.com/developer/article/2472576

手撸了一个文件传输工具——这篇文章介绍了作者如何从零开始开发一个基于TCP协议的文件传输工具。工具支持跨服务器文件共享、简单文件传输和文件列表管理。文章详细描述了技术点分析、服务端和客户端的代码实现，以及工具的使用效果。通过这个项目，作者加深了对TCP编程的理解，并展示了如何实现基本的文件传输功能。

WebSocket 是一种在客户端和服务器之间建立全双工通信通道的协议，被广泛用于实时应用程序如在线聊天、股票行情推送和多人游戏。在现代 Web 应用中，Nginx 不仅能作为静态资源服务器和负载均衡器，还能完美支持 WebSocket 的代理

WebSocket 是一种基于 TCP 的协议，允许双向数据通信，具有以下特点：

• 持久连接：连接建立后无需重复握手，数据以帧的形式传输。
• 低延迟：相比 HTTP 长轮询，WebSocket 减少了数据传输延迟。
• 高效性：传输数据量更小，适合高频实时通信。

为什么需要 Nginx 支持 WebSocket

• 负载均衡：Nginx 可以将 WebSocket 流量分发到不同的后端服务器。
• 安全增强：通过 HTTPS 实现加密通信。
• 静态资源整合：Nginx 可同时提供静态资源和代理动态 WebSocket 请求。

Nginx 与 WebSocket 的实现机制

Nginx 支持 WebSocket 的核心配置

为了支持 WebSocket，Nginx 必须满足以下条件：

1. HTTP 1.1 协议支持：WebSocket 使用 HTTP 1.1 协议进行初始握手。
2. 连接升级机制：通过 Upgrade 和 Connection 头部字段升级协议。
3. 长连接保持：代理需转发客户端和服务器间的持久连接。

相关指令与模块

Nginx 配置 WebSocket 反向代理

环境准备

• 服务器环境：CentOS 8，Nginx 1.18+
• 后端服务：基于 Node.js 的 WebSocket 服务器，运行在 127.0.0.1:3000。

核心配置示例

以下是实现 WebSocket 代理的 Nginx 配置示例：

http {
    upstream websocket_backend {
        server 127.0.0.1:3000;  # 后端 WebSocket 服务
    }

    server {
        listen 80;
        server_name example.com;

        location /ws/ {
            proxy_pass http://websocket_backend;             # 代理到后端服务
            proxy_http_version 1.1;                         # 确保使用 HTTP/1.1 协议
            proxy_set_header Upgrade $http_upgrade;         # 支持协议升级
            proxy_set_header Connection "Upgrade";          # 连接头设为 Upgrade
            proxy_set_header Host $host;                    # 转发主机头信息
            proxy_read_timeout 60s;                         # 超时设置
            proxy_set_header X-Real-IP $remote_addr;        # 转发客户端 IP
        }
    }
}

启用 HTTPS 反向代理

为了确保通信安全，建议通过 HTTPS 实现 WebSocket 代理。以下是 HTTPS 配置示例：

server {
    listen 443 ssl;
    server_name example.com;

    ssl_certificate /etc/nginx/ssl/example.com.crt;        # SSL 证书路径
    ssl_certificate_key /etc/nginx/ssl/example.com.key;    # SSL 私钥路径

    location /ws/ {
        proxy_pass http://websocket_backend;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "Upgrade";
        proxy_read_timeout 60s;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}

部署与验证

部署步骤

1 安装 Nginx：

sudo yum install nginx -y

2 配置 Nginx：

• 将上述配置添加到 /etc/nginx/nginx.conf 或单独的配置文件中。

3 测试配置：

sudo nginx -t

4 重启服务：

sudo systemctl restart nginx

验证过程

1. 启动 WebSocket 服务： 确保后端 WebSocket 服务运行在 127.0.0.1:3000。
2. 测试连接： 使用浏览器或 WebSocket 客户端工具连接 ws://example.com/ws/ 或 wss://example.com/ws/。

优化配置与问题排查

性能优化

http {
    proxy_buffer_size 8k;
    proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=cache_zone:10m inactive=60m;
    proxy_cache_key $host$request_uri$is_args$args;
}

常见问题与解决

案例分析与实践效果

案例背景

在这一案例中，我们考虑的是一个实时聊天平台，该平台在没有配置反向代理时，WebSocket 服务直接暴露在公网上。这样直接将 WebSocket 服务暴露给客户端，虽然简化了架构，但也带来了一些显著的问题，具体表现如下：

安全性低

由于 WebSocket 服务直接暴露在公网，所有的客户端都可以直接连接到服务器。这样一来，数据在客户端与服务器之间传输时如果没有加密，用户的聊天内容、个人信息甚至认证信息都可能被黑客窃听。没有 HTTPS 加密的 WebSocket 连接很容易受到中间人攻击（MITM），攻击者可以在数据传输过程中截取甚至篡改数据，导致严重的安全隐患。

性能瓶颈

没有配置反向代理的 WebSocket 服务通常只有一个后端服务器处理所有请求，而一个单一的 WebSocket 服务器很难处理大量并发连接。当平台的用户量上升时，服务器的性能和响应能力就会面临瓶颈，导致用户体验下降。例如，连接断开、延迟增加、消息丢失等问题变得频繁出现，这严重影响了平台的稳定性和用户满意度。

无负载均衡

由于 WebSocket 服务未通过负载均衡配置，所有请求都直接由同一个服务器处理，这会导致单个服务器的负载过高，从而增加了故障发生的风险。如果服务器崩溃或发生其他问题，整个服务会受到影响，导致用户无法连接。

通过 Nginx 实现反向代理后的改善

为了解决上述问题，团队决定引入 Nginx 作为反向代理，并进行一系列配置调整。通过配置 WebSocket 代理和负载均衡机制，Nginx 成为连接客户端和后端 WebSocket 服务器的中间层，带来了显著的效果改进。

安全性增强

• 启用 HTTPS 加密：在原有的 HTTP 协议基础上，Nginx 配置了 SSL 证书，从而为 WebSocket 连接提供了加密传输（wss://）。通过启用 HTTPS，所有的数据传输都被加密保护，防止了中间人攻击和数据窃听。客户端和服务器之间的通信不再是明文的，从而大大增强了数据的安全性。
• 防火墙与访问控制：Nginx 配置了针对 WebSocket 服务的访问控制，限制了来自未知 IP 或恶意请求的访问。通过设置更严格的防火墙规则，进一步确保了平台的安全性。

性能提升

• 负载均衡：通过 Nginx 的负载均衡功能，WebSocket 流量被均匀地分发到多个后端 WebSocket 服务器上。这意味着每个 WebSocket 服务器只需要处理一部分流量，而不是承担全部流量，从而提高了整体的并发处理能力。平台能够支持更多用户同时在线，显著提升了并发处理能力和响应速度。
• 减少后端服务器负载：Nginx 不仅提供了负载均衡，还通过缓存和压缩等优化措施，减少了对后端服务器的请求压力，优化了整个架构的性能。Nginx 作为反向代理层可以缓存一些静态资源或小型请求，减少了后端 WebSocket 服务器的压力，进一步提升了系统的吞吐量。

高可用性

• 后端服务器容错性：通过配置 Nginx 的负载均衡机制，平台不仅在流量分发上做了优化，还能提供高可用性。Nginx 会自动监控后端服务器的健康状态，一旦发现某个 WebSocket 服务器不可用，自动将流量引导到其他健康的服务器上，确保服务的持续性和稳定性。
• 动态扩展能力：如果用户量增长，团队可以通过动态增加更多的 WebSocket 服务器实例来横向扩展系统。Nginx 会自动识别新的服务器并将流量分配给新增的服务器，从而支持平台的快速扩展。

优化效果对比

引入 Nginx 反向代理并进行相关优化后，平台的性能和安全性得到了显著提升，具体效果对比如下：

最大并发连接数

在优化前，由于所有请求都由单个 WebSocket 服务器处理，服务器的最大并发连接数为 1000。当用户量增大时，服务器负载过高，容易崩溃或出现延迟。通过 Nginx 负载均衡后，最大并发连接数大幅提升至 5000+，即使在大流量的情况下，系统仍能稳定运行，支持更多用户同时在线。

平均延迟

优化前，由于没有负载均衡和 WebSocket 代理，后端服务器的 CPU 和内存资源经常达到瓶颈，导致用户的请求需要排队等待响应，平均延迟高达 150ms。而在优化后，通过 Nginx 的负载均衡和高效转发，后端服务器的压力分担，响应时间显著降低至 50ms，提升了用户体验。

数据泄露风险

由于 WebSocket 服务没有加密传输，优化前数据传输存在严重的安全隐患，用户的敏感信息可能会被攻击者窃取。而通过启用 Nginx 支持的 HTTPS（wss://），所有传输都被加密保护，数据泄露风险大幅降低。

服务器负载

在未进行优化时，由于所有请求都由单一 WebSocket 服务器处理，服务器负载较高。优化后，Nginx 实现了负载均衡，流量被均匀分配到多个后端服务器上，单台服务器的负载大幅降低，从而提高了整个系统的吞吐量和响应速度。

系统可用性

没有负载均衡的情况下，平台的可用性较低，单个 WebSocket 服务器崩溃会导致整个服务不可用。而通过 Nginx 配置的健康检查和负载均衡，平台能够在后端服务器出现故障时，自动将流量引导至其他可用服务器，保证了平台的高可用性。

用户体验

优化前，由于高并发导致的连接超时和服务器崩溃，用户体验较差。优化后，系统的稳定性大大提高，延迟降低，用户连接更加顺畅，整体用户体验得到显著改善。

以下是实现 Nginx 反向代理 WebSocket 服务的详细代码和部署步骤。这个示例涵盖了 WebSocket 服务的配置、负载均衡、HTTPS 支持、以及防火墙设置等内容。

1. WebSocket 服务器：假设你已经有多个 WebSocket 后端服务（例如，基于 Node.js 或其他 WebSocket 实现的服务）。
2. Nginx：你已经安装了 Nginx，且拥有权限配置 Nginx。
3. SSL 证书：为了启用 HTTPS，确保你有有效的 SSL 证书。如果没有，可以通过 Let’s Encrypt 获取免费的证书。

WebSocket 服务示例代码（Node.js）

假设你已经有一个 WebSocket 服务器，它监听 8080 端口，以下是一个简单的 Node.js WebSocket 服务器示例：

const WebSocket = require('ws');
const server = new WebSocket.Server({ port: 8080 });

server.on('connection', (ws) => {
  console.log('New connection');
  
  // 处理收到的消息
  ws.on('message', (message) => {
    console.log('received: %s', message);
    ws.send('Message received: ' + message);
  });

  ws.on('close', () => {
    console.log('Connection closed');
  });

  // 发送欢迎信息
  ws.send('Welcome to the WebSocket server');
});

console.log('WebSocket server running on ws://localhost:8080');

该服务器监听 WebSocket 请求，并能接收和响应消息。

配置 Nginx 作为 WebSocket 的反向代理

Nginx 配置 WebSocket 反向代理时，通常需要配置负载均衡、代理头部转发以及支持 WebSocket 协议的配置。以下是 Nginx 配置文件的核心部分：

http {
    # SSL 配置
    server {
        listen 443 ssl;
        server_name yourdomain.com;

        # SSL 配置部分
        ssl_certificate /etc/nginx/ssl/yourdomain.crt;
        ssl_certificate_key /etc/nginx/ssl/yourdomain.key;

        # WebSocket 反向代理
        location /ws/ {
            proxy_pass http://websocket_backend;
            proxy_http_version 1.1;
            proxy_set_header Upgrade $http_upgrade;
            proxy_set_header Connection 'upgrade';
            proxy_set_header Host $host;
            proxy_cache_bypass $http_upgrade;
        }
    }

    # HTTP 重定向到 HTTPS
    server {
        listen 80;
        server_name yourdomain.com;
        return 301 https://$host$request_uri;
    }

    # 负载均衡配置
    upstream websocket_backend {
        server 127.0.0.1:8080;  # 后端 WebSocket 服务 1
        server 127.0.0.1:8081;  # 后端 WebSocket 服务 2
        # 可以添加更多 WebSocket 服务器节点
    }
}

• SSL 配置：启用 HTTPS 需要 SSL 证书。在 ssl_certificate 和 ssl_certificate_key 中指定证书路径。
• WebSocket 代理配置：
  • proxy_pass：指向 WebSocket 后端服务器（此例中为 websocket_backend）。
  • proxy_http_version 1.1：WebSocket 需要使用 HTTP/1.1 协议。
  • proxy_set_header Upgrade $http_upgrade;：允许 WebSocket 协议升级。
  • proxy_set_header Connection 'upgrade';：保持 WebSocket 连接的升级状态。
  • proxy_cache_bypass $http_upgrade;：避免缓存 WebSocket 请求。
• 负载均衡配置：upstream 配置了 WebSocket 后端的负载均衡机制，server 指定后端 WebSocket 服务节点。Nginx 会根据负载均衡策略将请求分配到不同的 WebSocket 服务器。

HTTP 重定向到 HTTPS

为了确保所有的流量都通过 HTTPS，配置了一个 HTTP 到 HTTPS 的重定向：

server {
    listen 80;
    server_name yourdomain.com;
    return 301 https://$host$request_uri;
}

优化与安全设置

防火墙配置

如果你的 Nginx 配置在云服务器或防火墙环境中部署，请确保防火墙规则允许 HTTP/HTTPS 流量（通常是端口 80 和 443），并限制 WebSocket 后端服务的访问仅限于 Nginx 服务器：

# 允许 HTTP 和 HTTPS 流量
sudo ufw allow 80
sudo ufw allow 443

# 如果 WebSocket 服务在内部网络上，限制只允许 Nginx 访问 WebSocket 服务
sudo ufw allow from <nginx-server-ip> to any port 8080
sudo ufw allow from <nginx-server-ip> to any port 8081

安全头部配置

为防止一些常见的 Web 安全问题，可以在 Nginx 配置中添加安全头部：

server {
    # 添加安全 HTTP 头部
    add_header X-Content-Type-Options "nosniff";
    add_header X-Frame-Options "SAMEORIGIN";
    add_header X-XSS-Protection "1; mode=block";
    add_header Strict-Transport-Security "max-age=31536000; includeSubDomains";

    # WebSocket 代理配置
    location /ws/ {
        # ... (之前的配置)
    }
}

这些安全头部帮助防止 XSS、Clickjacking 等攻击，增强 Web 应用的安全性。

Nginx 重载配置

修改 Nginx 配置后，需要重新加载 Nginx 配置以应用变更。可以使用以下命令重载 Nginx 配置：

sudo nginx -t  # 测试配置文件是否正确
sudo systemctl reload nginx  # 重新加载 Nginx 配置

测试与验证

1. WebSocket 客户端：使用 WebSocket 客户端工具（如 wscat）测试与 Nginx 配置的 WebSocket 服务连接。

wscat -c wss://yourdomain.com/ws/

1. 性能测试：使用压力测试工具（如 Apache JMeter 或 Artillery）模拟大量并发连接，测试 Nginx 反向代理的性能和负载均衡效果。
2. 监控：确保启用 Nginx 的访问日志和错误日志功能，及时发现和处理问题。

tail -f /var/log/nginx/access.log
tail -f /var/log/nginx/error.log

通过将 Nginx 引入到 WebSocket 架构中，平台不仅解决了性能瓶颈和安全隐患，还通过负载均衡、加密通信和高可用性等优化措施，提升了系统的扩展性和稳定性。在实际部署中，根据具体需求调整 Nginx 配置，可以使 WebSocket 服务更加高效、安全，并能够应对大规模用户访问，为实时应用提供强有力的支持。