在腾讯云容器服务上添加外部 DNS 服务器

概述

腾讯云容器服务在kubernetes平台的基础上做了大量和腾讯云IAAS紧密结合的工作，比如集群创建时直接创建k8s集群、集群内的容器使用VPC网络的IP，容器数据卷使用CBS、ingress直接使用腾讯云的LB等，通过这些工作大大降低了客户搭建和使用k8s集群的门槛，同时因为和IAAS的紧密结合，某些性能如网络会比自己搭建flannel等开源软件要好很多。

目前，腾讯云容器服务已经有很多客户在使用，客户在使用腾讯云容器服务的过程中，常见的一个问题是客户应用除了依赖k8s的服务发现外，还有部分应用需要使用客户自己的DNS服务器。针对这种情况，本文先介绍k8s-dns的原理，然后再具体说明添加外部DNS服务器的步骤。后续我们将把这个功能做到产品中来，支持客户通过控制台来添加外部DNS服务器。

k8s-dns介绍

为什么k8s需要dns服务

k8s给每个服务都分配了vip，通过vip可以访问和该服务关联的pod，应用无需关心pod的实例个数，vip会自动做负载均衡。如果一个服务要访问另外一个服务，如何知道另外一个服务对应的vip呢？

目前有两种方式：

1. 通过环境变量，每个pod启动的时候，kubelet会把所有的服务以环境变量的形式注入到对应的容器，在容器中可以通过环境变量获取到对应服务的VIP，这种做法带来的缺点就是容器只能获取到比它早启动的服务VIP。
2. 通过kuberntes内置的dns服务，服务之间通过服务名称访问，这个dns服务在k8s里面的名字为kube-dns，位于kube-system的命名空间。kubelet启动的时候通过 --cluster-dns参数指定kube-dns的VIP，这样后续创建的pod都会在对应容器的/etc/resolv.conf文件中生成一条nameserver指向kube-dns VIP的记录，从而保证所有k8s创建的容器，DNS服务器都使用kube-dns。

kube-dns服务组成

kube-dns服务对应的pod包含3个容器：

• kubedns：监控k8s服务资源并更新DNS记录
• dnsmasq：提供DNS缓存，缓存中的数据通过查询kubedns获取
• exechealthz：定期检查kubedns和dnsmasq的健康状态，并提供dns服务是否健康的HTTP的api

这三个容器的之间的关系如下：

添加外部DNS服务器的操作原理

添加外部DNS服务器的原理是利用dnsmasq的启动参数，在dnsmasq的启动参数中，有个叫server的参数，通过server参数可以指定上游的dns服务器，在kube-dns的deployment yaml文件中，dnsmasq容器将kubedns容器作为其上游dns服务器，这个关系也是通过server参数指定的，下面的yaml文件中，kubedns容器绑定的端口为10053，dnsmasq容器通过"-server=127.0.0.1#10053"指向kube-dns。同样的方法也可以用于添加外部DNS服务器，只需修改kube-dns服务中dnsmasq的启动参数即可。

containers:
 - args:
   - --domain=cluster.local.
   - --dns-port=10053
   - --config-map=kube-dns
   - --v=0
   image: ccr.ccs.tencentyun.com/library/kubedns-amd64:1.9
   name: kubedns
   ports:
   - containerPort: 10053
     name: dns-local
     protocol: UDP
   - containerPort: 10053
     name: dns-tcp-local
     protocol: TCP
   - containerPort: 10055
     name: metrics
     protocol: TCP
- args:
  - --cache-size=500
  - --no-resolv
  #默认的域名解析服务器使用上面的kubedns容器，因为在一个pod里所以直接用127.0.0.1的ip地址，kubedns容器的端口为10053
  - --server=127.0.0.1#10053
  #域名以google.com结尾的使用192.168.10.2作为域名解析服务器
  - --server=/google.com/192.168.10.2
  - --log-facility=-
  image: ccr.ccs.tencentyun.com/library/kube-dnsmasq-amd64:1.4.1

添加外部hosts的操作原理

dnsmasq的启动参数除了server参数外，还有一个address的参数，通过该参数可以添加IP和hostname的映射关系，类似于docker run的--add-host参数，--add-host的效果是在容器的/etc/hosts插入ip和hostanme的记录，在k8s中没有这样的参数，如果碰到客户要在pod中加入ip和主机名的映射关系，用dnsmsq的address参数可以实现该功能。

在腾讯云容器服务上添加自定义dns服务器操作步骤

1、先登录到一台容器主机，将kube-dns的yaml文件保存下来

注：kubernetes 1.4.6版本kube-dns名称为k8s-dns, kubernetes 1.7.8为kube-dns

kubectl get deployment kube-dns -n kube-system -o yaml > kubedns.yaml

2、修改kubedns.yaml文件，找到kube-dnsmasq-amd64的镜像位置，在其启动参数中做修改,原来的参数如下：

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --log-facility=-

如果这个时候要添加2个外部的dns服务器，对应的yaml文件修改如下，修改内容就是加了两个--server的启动参数:

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --server=/internal.thekelleys.org.uk/192.168.1.1
     - --server=/google.com/192.168.2.1
     - --log-facility=-

如果这时需要添加主机名和IP的对应关系，可以通过添加--address参数实现：

- args:
     - --cache-size=500
     - --no-resolv
     - --server=127.0.0.1#10053
     - --address=/www.test1.com/192.168.10.2
     - --server=/www.test2.com/192.168.10.3
     - --log-facility=-

3、使用修改后的yaml文件执行kubectl apply使配置生效

kubectl apply -f kubedns.yaml

4、验证添加的自定义dns服务器是否在容器里生效，验证方法有很多种，可以通过在服务里使用dig或nslookup命令来看；也可以直接通过某个依赖于该自定义dns的应用服务来验证。