Linux中如何管理Nvidia GPU卡

一. Linux中查看GPU的信息与使用情况

1.查看显卡信息

由于测试环境使用的是NVIDIA的显卡，这里直接通过lspci命令即可查询具体显卡信息

lspci | grep -i nvidia

lspci -v -s 00:06.0

“00:06.0”，这一个参数是总线编号，第二个是插槽编号，第三个是功能编号，它们都是十六进制的数字。

2.查看显存以及GPU的使用情况

Nvidia自带一个命令行工具可以查看显存的使用情况：nvidia-smi

参数解释：

Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；

Temp：显卡内部的温度，单位是摄氏度；

Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；

Pwr：能耗表示；

Bus-Id：涉及GPU总线的相关信息；

Disp.A：是Display Active的意思，表示GPU的显示是否初始化；

Memory Usage：显存的使用率；

Volatile GPU-Util：浮动的GPU利用率；

Compute M：计算模式；

下边的Processes显示每块GPU上每个进程所使用的显存情况，上述测试环境没有，可参考它图如下：

3.周期性的输出显卡的使用情况

可以参考如下命令：

watch -n 5 nvidia-smi

命令行参数-n后边跟的是执行命令的周期，以s为单位。

二. 常用管理命令

1.列出所有可用的Nvidia设备

nvidia-smi -L

2.列出每个GPU卡的详细信息

nvidia-smi --query-gpu=index,name,uuid,serial --format=csv

3.查询某个GPU卡的详细信息（指定GPU卡的id，只截图一部分）

nvidia-smi -i 0 -q

4.要以1秒的更新间隔监控GPU的总体使用情况

nvidia-smi dmon

5.要以1秒的更新间隔监视每个进程的GPU使用情况

nvidia-smi pmon

6.加上-pm参数可设置持久模式：0/禁用，1/启用

nvidia-smi -pm 1

7.加上-e参数可以切换ECC支持：0/禁用，1/启用

nvidia-smi -e 1

8. 加上-r参数可以重启某个GPU卡（0是GPU卡的序号）

nvidia-smi -r -i 0