前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >容器化 TensorFlow GPU 环境搭建

容器化 TensorFlow GPU 环境搭建

作者头像
轻量级云原生架构实验室
发布2018-12-19 16:00:10
1.1K0
发布2018-12-19 16:00:10
举报
文章被收录于专栏:轻量级微服务

基础环境信息

CPU:Intel Xeon E5-2699 v4 显卡:Nvidia Tesla P100 操作系统:CentOS 7.4

基础环境验证

验证系统是否能正常识别 GPU

代码语言:javascript
复制
lspci | grep -i nvidia

正常应该显示 Nvidia 显卡的型号,没有任何显示需要更新pci硬件库 update-pciids

安装 Nvidia 显卡驱动

1、安装或更新相关包

代码语言:javascript
复制
yum -y update
yum -y groupinstall "GNOME Desktop" "Development Tools"
yum -y install kernel-devel
yum -y install epel-release
yum -y install dkms

重启机器,以确保使用最新的内核!

2、禁用 nouveau

nouveau 是一个第三方开源的 Nvidia 驱动,一般 Linux 安装的时候默认会安装这个驱动,它会与 Nvidia 官方的驱动冲突,在安装 Nvidia 驱动之前应先禁用 nouveau

查看系统是否正在使用 nouveau

代码语言:javascript
复制
lsmod | grep nouveau

编辑 /etc/default/grub ,在 GRUB_CMDLINE_LINUX 值后面添加

代码语言:javascript
复制
rd.driver.blacklist=nouveau nouveau.modeset=0

生成新的 grub 配置

代码语言:javascript
复制
grub2-mkconfig -o /boot/grub2/grub.cfg

编辑或创建 /etc/modprobe.d/blacklist.conf 文件,添加如下内容:

代码语言:javascript
复制
blacklist nouveau

备份当前镜像并建立新镜像

代码语言:javascript
复制
mv /boot/initramfs-$(uname -r).img /boot/initramfs-$(uname -r)-nouveau.img
dracut /boot/initramfs-$(uname -r).img $(uname -r)

重启机器后,再次验证系统是否使用 nouveau

代码语言:javascript
复制
lsmod | grep nouveau

如果还是不行,可以尝试执行 sudo dracut --force 后重启机器

3、安装 Nvidia 驱动

Nvidia 官方驱动下载地址:https://www.nvidia.com/object/unix.html

顶级 GTX 或 Tesla 系列显卡,选择 Latest Short Lived Branch Version,其他选择 Latest Long Lived Branch Version

当前显卡 Nvidia Tesla P100,选择 Latest Short Lived Branch Version: 415.18

下载驱动

代码语言:javascript
复制
wget http://us.download.nvidia.com/XFree86/Linux-x86_64/415.18/NVIDIA-Linux-x86_64-415.18.run

修改 NVIDIA-Linux-x86_64-415.18.run 权限,使其可运行

代码语言:javascript
复制
chmod a+x NVIDIA-Linux-x86_64-415.18.run

安装 Nvidia 驱动

代码语言:javascript
复制
sh NVIDIA-Linux-x86_64-415.18.run --no-opengl-files

校验 Nvidia 驱动,执行 nvidia-smi,若有如下输出,证明安装成功:

代码语言:javascript
复制

TensorFlow 容器化 GPU 测试

1、编写测试代码 test.py

代码语言:javascript
复制
import sys
import numpy as np
import tensorflow as tf
from datetime import datetime

device_name = sys.argv[1]
shape = (int(sys.argv[2]), int(sys.argv[2]))
if device_name == "gpu":
    device_name = "/gpu:0"
else:
    device_name = "/cpu:0"

with tf.device(device_name):
    random_matrix = tf.random_uniform(shape=shape, minval=0, maxval=1)
    dot_operation = tf.matmul(random_matrix, tf.transpose(random_matrix))
    sum_operation = tf.reduce_sum(dot_operation)

startTime = datetime.now()
with tf.Session(config=tf.ConfigProto(log_device_placement=True)) as session:
    result = session.run(sum_operation)
    print(result)

print("\n" * 5)
print("Shape:", shape, "Device:", device_name)
print("Time taken:", str(datetime.now() - startTime))

2、获取 tensorflow 镜像

确保 Docker 环境已搭建,CentOS 安装 Docker:https://docs.docker.com/install/linux/docker-ce/centos/

代码语言:javascript
复制
docker pull  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu

3、CPU 测试

代码语言:javascript
复制
docker run --runtime=nvidia \
  --rm -it \
  -v "$(pwd)/test.py:/app/test.py" \
  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
  python /app/test.py cpu 20000

CPU 测试结果

4、GPU 测试

代码语言:javascript
复制
docker run --runtime=nvidia \
  --rm -it  \
  -v "$(pwd)/test.py:/app/test.py" \
  registry.docker-cn.com/tensorflow/tensorflow:latest-gpu \
  python /app/test.py gpu 20000

GPU 测试结果

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2018.11.30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 基础环境信息
  • 基础环境验证
  • 安装 Nvidia 显卡驱动
  • TensorFlow 容器化 GPU 测试
相关产品与服务
容器服务
腾讯云容器服务(Tencent Kubernetes Engine, TKE)基于原生 kubernetes 提供以容器为核心的、高度可扩展的高性能容器管理服务,覆盖 Serverless、边缘计算、分布式云等多种业务部署场景,业内首创单个集群兼容多种计算节点的容器资源管理模式。同时产品作为云原生 Finops 领先布道者,主导开源项目Crane,全面助力客户实现资源优化、成本控制。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档