k8s故障排查常用方法

近日见闻

ICT 产品和解决方案总裁杨超斌出席即将在迪拜举行的移动宽带论坛！了解为什么移动网络正在拥抱 5.5G 技术的力量。-- https://tinyurl.com/yckyyseu #HWMBBF #5GAdvanced

新的 Node.js v20（当前）现已推出 ，我看了官网为v20.7.0 -- nodejs.org

Grafana 开源了一款 eBPF 采集器 Beyla ,eBPF 可以拿到服务收到的请求信息，比如QPS、延迟、成功率等，这些数据对于应用级监控至关重要，Grafana Beyla 就是为此而生的。 -- SRETALK

9月14日 k8s更新了1.28.2版本，这更新速度杠杠的，你们还在用什么版本，停留在1.18-1.20的小伙伴举个手 --k8s

k8s故障排查常用方式

在Kubernetes中排查故障是一个常见但有时复杂的任务，因为它涉及到多个层次的组件和服务。以下是常用的方式和方法，可以帮排查Kubernetes中的故障：

查看Pod状态和事件：

使用 kubectl get pods 命令来获取Pod的状态。

使用 kubectl describe pod 命令查看Pod的详细信息，包括事件日志，以确定问题所在。

查看Pod日志：

使用 kubectl logs 命令来查看Pod的日志，以查找应用程序级别的问题。

查看节点状态：

使用 kubectl get nodes 命令来获取节点的状态。

使用 kubectl describe node 命令查看节点的详细信息，包括节点事件和资源使用情况。

查看服务和端口：

使用 kubectl get services 命令来获取服务的状态。

使用 kubectl describe service 命令查看服务的详细信息，确保服务正常运行，并且端口映射正确。

查看配置文件：

检查Pod和Deployment的YAML配置文件，确保它们正确配置。

查看ConfigMap和Secrets，确保配置信息正确。

监控和日志集成：

部署监控和日志集成工具，如Prometheus、Grafana、ELK等，以实时监控集群性能和应用程序日志，以便及时发现问题。

检查网络：

使用 kubectl get services 命令来验证服务的Cluster IP和端口是否正确。

使用 kubectl exec 命令进入容器内部，测试容器是否能够访问所需的服务和资源。

排查资源限制：

检查Pod的资源请求和限制，确保资源分配合理。

使用 kubectl top pods 和 kubectl top nodes 命令来查看资源使用情况。

监视事件：

使用 kubectl get events 命令来查看集群事件，以查找潜在的问题。

创建自定义的事件记录，以便更好地追踪问题。

分布式应用程序调试：

对于分布式应用程序，使用分布式追踪工具如Jaeger或Zipkin来分析请求流程，查找瓶颈和问题。

日志分析：

使用工具如Fluentd、Filebeat或Logstash来收集、处理和分析应用程序日志。

Kubernetes组件排查：

如果问题似乎涉及Kubernetes控制平面组件（如kube-apiserver、kube-controller-manager、kube-scheduler等），检查它们的日志以获取更多信息。

应用程序监控和自动化报警：

设置应用程序级别的监控和自动化报警，以便在问题发生时及早获得通知并采取行动。

升级和维护：

确保Kubernetes集群和应用程序组件处于最新版本，因为某些故障可能已在较新的版本中修复。

查看存储：

使用kubectl get pv和kubectl get pvc命令检查持久卷（Persistent Volumes）和持久卷声明（Persistent Volume Claims）的状态。

查看容器是否正确地挂载了持久卷。

权限和RBAC：

检查Role-Based Access Control（RBAC）策略，确保Pod有足够的权限访问所需的资源。

使用kubectl auth can-i命令验证用户或服务帐户是否有特定操作的权限。

在排查故障时，重要的是有系统地方法来分析问题，从Pod级别到节点级别，甚至到集群级别。同时，建议使用自动化工具来监视和报警，在故障发生时快速采取措施，以减少影响。