prometheus-operator 监控 k8s 外部集群
prometheus-operator 监控 k8s 外部集群
其实监控 k8s 外部集群和监控内部集群没啥区别，大概思路就是把外部资源通过 endpoint的方式给他虚拟成 k8s 集群内部的一个资源，其实下面操作就是有点为了用k8s 而用 k8s 了，有点吃力不讨好的架势，但是我们这里为了学习，可以玩耍
prometheus-operator 监控 etcd
无论是 Kubernetes 集群外的还是使用 Kubeadm 安装在集群内部的 etcd 集群，我们这里都将其视作集群外的独立集群，因为对于二者的使用方法没什么特殊之处。
对于 etcd 集群一般情况下，为了安全都会开启 https 证书认证的方式，所以要想让 Prometheus 访问到 etcd 集群的监控数据，就需要提供相应的证书校验。由于我们集群是通过二进制安装的。所以我清楚的知道 etcd 证书存放的位置，kubeadm 安装的可以通过kubectl get pod etcd-master -n kube-system -o yaml找到证书etcd 证书对应存放的位置
# ll ca.pem client.pem client-key.pem
-rw-r--r--. 1 root root 1326 8月 20 21:16 ca.pem
-rw-------. 1 root root 1675 8月 20 21:16 client-key.pem
-rw-r--r--. 1 root root 1359 8月 20 21:16 client.pem我们将需要使用到的证书通过 secret 对象保存到集群中去
# # kubectl -n monitoring create secret generic etcd-certs --from-file=./ca.pem --from-file=./client.pem --from-file=./client-key.pem
secret/etcd-certs created添加证书到 pod 中
# cat prometheus/prometheus-prometheus.yaml
...
podMonitorSelector: {}
replicas: 2
secrets:
- etcd-certs
resources:
requests:
memory: 400Mi
...更新完成后，我们就可以在 Prometheus 的 Pod 中获取到上面创建的 etcd 证书文件了，具体的路径我们可以进入 Pod 中查看：
/etc/prometheus/secrets/etcd-certs $ pwd
/etc/prometheus/secrets/etcd-certs
/etc/prometheus/secrets/etcd-certs $ ls
ca.pem client-key.pem client.pem创建 ServiceMonitor
现在 Prometheus 访问 etcd 集群的证书已经准备好了，接下来创建 ServiceMonitor 对象即可（prometheus-serviceMonitorEtcd.yaml）
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
name: etcd-k8s
namespace: monitoring
labels:
k8s-app: etcd-k8s
spec:
jobLabel: k8s-app
endpoints:
- port: port
interval: 30s
scheme: https
tlsConfig:
caFile: /etc/prometheus/secrets/etcd-certs/ca.crt
certFile: /etc/prometheus/secrets/etcd-certs/healthcheck-client.crt
keyFile: /etc/prometheus/secrets/etcd-certs/healthcheck-client.key
insecureSkipVerify: true
selector:
matchLabels:
k8s-app: etcd
namespaceSelector:
matchNames:
- kube-system上面我们在 monitoring 命名空间下面创建了名为 etcd-k8s 的 ServiceMonitor 对象，基本属性和前面章节中的一致，匹配 kube-system 这个命名空间下面的具有 k8s-app=etcd 这个 label 标签的 Service，jobLabel 表示用于检索 job 任务名称的标签，和前面不太一样的地方是 endpoints 属性的写法，配置上访问 etcd 的相关证书，endpoints 属性下面可以配置很多抓取的参数，比如 relabel、proxyUrl，tlsConfig 表示用于配置抓取监控数据端点的 tls 认证，由于证书 serverName 和 etcd 中签发的可能不匹配，所以加上了 insecureSkipVerify=true
关于 ServiceMonitor 属性的更多用法可以查看文档：https://github.com/coreos/prometheus-operator/blob/master/Documentation/api.md 了解更多
直接创建这个 ServiceMonitor 对象：
# kubectl apply -f prometheus/prometheus-serviceMonitorEtcd.yaml
servicemonitor.monitoring.coreos.com/etcd-k8s created创建 service 和 endpoint
ServiceMonitor 创建完成了，但是现在还没有关联的对应的 Service 对象，所以需要我们去手动创建一个 Service 对象（prometheus-etcdService.yaml）：
apiVersion: v1
kind: Service
metadata:
name: etcd-k8s
namespace: kube-system
labels:
k8s-app: etcd
spec:
type: ClusterIP
clusterIP: None
ports:
- name: port
port: 2379
protocol: TCP
---
apiVersion: v1
kind: Endpoints
metadata:
name: etcd-k8s
namespace: kube-system
labels:
k8s-app: etcd
subsets:
- addresses:
- ip: 192.168.4.77
- ip: 192.168.4.74
- ip: 192.168.4.75
ports:
- name: port
port: 2379
protocol: TCP我们这里创建的 Service 没有采用前面通过 label 标签的形式去匹配 Pod 的做法，因为前面我们说过很多时候我们创建的 etcd 集群是独立于集群之外的，这种情况下面我们就需要自定义一个 Endpoints，要注意 metadata 区域的内容要和 Service 保持一致，Service 的 clusterIP 设置为 None.
Endpoints 的 subsets 中填写 etcd 集群的地址即可,
# kubectl apply -f prometheus-etcdService.yaml
service/etcd-k8s created
endpoints/etcd-k8s created等过一会我们就可以在 prometheus 的 dashboard 中看到 etcd 被监控到了
数据采集到后，可以在 grafana 中导入编号为3070的 dashboard，获取到 etcd 的监控图表。
监空集群外部主机信息
其实道理和上面的大大致相同，总结大概的几个步骤
1，在需要监控的机器上部署 exporter
2，在 k8s 集群内部创建 serviceMonitor
3，然后创建 svc ，创建 endpoint
4，在 grafana 创建 dashboard
5，添加配置告警信息
具体操作大家可以自己来实践。这里不过多赘述。21
腾讯云开发者
