在 web 服务中获取客户端 IP

裸机部署

不用反代

通过 remoteAddr 即可获取客户端 IP。

使用反代

四层 LB

通过 remoteAddr 即可获取客户端 IP。

七层 LB

云厂商各自实现不同，比如腾讯云 [1]：

• 短链接时通过 remoteAddr 即可。
• 长链接时需要通过 X-Forwarded-For header 的第一跳获取。

Nginx

添加对应配置后通过 X-Forwarded-For header 的第一跳获取。[2]

Kubernetes 部署

NodePort Service

若配置 externalTrafficPolicy=Cluster，Kubernetes 的 kube-proxy 类似于 NAT 服务，由于存在 SNAT（source network address translation），源 IP 可能会被改写为跳转节点的内部 IP。

因此，需要配置 externalTrafficPolicy=Local 避免路由转发，此时可以通过 remoteAddr 获取客户端 IP。

但是这也有缺点：

1. 每个 node 都要有公网 IP。
2. 必须保证每个 node 上都有该服务，否则若外部请求抵达不含该服务的 node 时，会没有响应，客户端看到一直在 TCP_NODELAY 阶段直到超时。
3. 客户端自己保证负载均衡，访问某个 node IP 就只会访问到该 node 上的 pod，不会调度到别的 node 上。

LB -> Ingress Controller -> ClusterIP Service

这种方式一般是私有化部署的 kubernetes 集群开放外部网络访问的方式。

以 ingress-nginx 为例，部署后，会在每个节点启动一个 nginx-controller（DaemonSet），外网流量通过 NodePort Service 进入到某个 nginx-controller 模块中。

若外部 LB 是四层反代，类似 [NodePort Service](#NodePort Service) 小节提到的，需要配置 nginx-controller 的 Service 为 externalTrafficPolicy=Local 避免 SNAT 改写 IP，然后服务通过 remoteAddr 获取客户端 IP（注意不是服务的 Service 而是 nginx-controller 的 Service）。此时不会存在裸 NodePort 部署的流量不均衡问题，因为流量到某个 nginx-controller 后，nginx 会转发给不同 node 上的 pod。

若外部 LB 是七层反代，首先开启该反代的 X-Forwarded-For header，然后配置 nginx 转发 X-Forwarded-For header，最后服务通过 X-Forwarded-Forheader 的第一跳获取。

CLB -> NodePort Service

这种方式一般是公有云部署的 kubernetes 集群开放外部网络访问的方式。

此时负载均衡一般由 CLB 配置。

参考裸机部署的 [四层 LB](#四层 LB) 、 [七层 LB](#七层 LB) 和 kubernetes 部署的 [NodePort Service](#NodePort Service) 小节。

• 如果是四层 CLB，需要配置服务 Service externalTrafficPolicy=Local，并且保证路由正确，目标存在对应服务。服务通过 remoteAddr 获取第一跳客户端 IP；

省略 kube-proxy，不允许 kube-proxy 转发

• 如果是七层 CLB，直接将路由绑定所有 worker node IP，如果目标 node 不存在对应服务，该 node 的 kube-proxy 服务会自动转发请求到有的 node。此时服务通过 X-Forwarded-For 第一跳获取客户端 IP。

从省事的角度出发，推荐使用七层 CLB。

1. https://cloud.tencent.com/document/product/214/3728 ↩︎
2. https://www.nginx.com/resources/wiki/start/topics/examples/forwarded/ ↩︎