AIGC | 在机器学习工作站安装NVIDIA CUDA® 并行计算平台和编程模型

0x02.初识与安装 CUDA 并行计算平台和编程模型

什么是 CUDA?

CUDA（Compute Unified Device Architecture）是英伟达（NVIDIA）推出的并行计算平台和编程模型。它允许开发者利用 NVIDIA GPU 的并行计算能力进行通用计算任务，而不仅限于图形处理。CUDA 提供了一个统一的编程接口和软件环境，使开发者可以使用类似于 C 的编程语言来编写并行计算程序。

主要特点和功能：

• 并行计算能力：CUDA 允许开发者利用 GPU 的大规模并行处理单元来加速各种类型的计算任务，包括科学计算、机器学习、深度学习、图像处理等。
• 编程模型：CUDA 提供了一个基于 C/C++ 的编程模型，开发者可以使用类似于传统 CPU 编程的方式来编写 GPU 加速的代码。此外，CUDA 还支持 Fortran 和 Python 等语言的接口。
• 软件工具集：NVIDIA 提供了包括 CUDA Toolkit 在内的一系列开发工具和库，帮助开发者在 CUDA 平台上进行开发、调试和优化。
• 性能优化：CUDA 具备优化性能的工具和技术，包括并行算法、内存管理、线程调度等，使得开发者能够充分利用 GPU 的硬件并行性能。
• 生态系统：CUDA 已经成为广泛使用的 GPU 计算平台，支持多种操作系统和编程环境，为科学计算和工业应用提供了强大的支持。

总体而言，CUDA 已经成为科学计算和各种数据密集型应用的重要工具之一，通过利用 GPU 的并行计算能力，显著提高了计算速度和效率。

官方地址：https://developer.nvidia.com/cuda-toolkit

温馨提示：每个 CUDA 工具包版本都有与之对应开发 NVIDIA GPU 驱动程序版本（例如，上面可以看到作者的 Driver Version: 550.90.07），如下所示作者应该选择CUDA 12.4 Update 1或者CUDA 12.4版本。

weiyigeek.top-CUDA 工具包版本对应表图

CUDA 工具包版本对应参考链接: https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html

安装步骤:

Step 1.访问【CUDA】工具包页面(developer.nvidia.com/cuda-toolkit-archive)，选择对应版本进行下载，如作者选择支持550.90.07最新的CUDA 12.4 Update 1版本进行下载，选择对应操作系统版本，然后安装类型有三种，请根据需求选择。

weiyigeek.top-CUDA版本页面图

温馨提示：由于 NVIDIA 官方暂时没有给 Ubunut 24.04 LTS 提供对应的CUDA Toolkit安装包，但是我们仍然可以使用 22.04 版本的安装包，但是可能会遇到一些问题，可以参考作者后续的解决办法。

Step 2.此处作者建议选择deb(local)安装，即直接执行如下命令进行安装。

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-ubuntu2204.pin
sudo mv cuda-ubuntu2204.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2204-12-4-local_12.4.1-550.54.15-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2204-12-4-local/cuda-*-keyring.gpg /usr/share/keyrings/

# 解决 24.04 版本由于 libtinfo5 无法安装 cuda-toolkit-12-4 的问题
tee -a /etc/apt/sources.list.d/Ubuntu.sources<< EOF

Types: deb
URIs: http://archive.ubuntu.com/ubuntu/
Suites: lunar
Components: universe
Signed-By: /usr/share/keyrings/ubuntu-archive-keyring.gpg
EOF

# 刷新软件包目录
sudo apt-get update

# 安装 cuda-toolkit-12-4
sudo apt-get -y install cuda-toolkit-12-4

weiyigeek.top-cuda-toolkit-12-4图

Step 3.安装完成后，设置CUDA-Toolkit环境变量，在~/.bashrc或者/etc/profile中添加如下内容，非常重要否则nvcc命令不能执行。

tee -a ~/.bashrc <<'EOF'
# CUDA ENV
export CUDA_HOME=/usr/local/cuda
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:${CUDA_HOME}/lib64
export PATH=${CUDA_HOME}/bin:${PATH}
EOF

# 更新环境变量
source ~/.bashrc

weiyigeek.top-设置CUDA-Toolkit环境变量图

Step 4.验证 CUDA 安装是否成功，执行nvcc -V命令可以查看当前 CUDA 版本。

$ nvcc -V
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2024 NVIDIA Corporation
Built on Thu_Mar_28_02:18:24_PDT_2024
Cuda compilation tools, release 12.4, V12.4.131
Build cuda_12.4.r12.4/compiler.34097967_0

weiyigeek.top-查看当前 CUDA 版本图

温馨提示：假如系统中存在多个 CUDA 版本，可以通过update-alternatives命令进行多版本切换，或者是使用软连接来切换指定版本的CUDA，例如sudo ln -snf /usr/local/cuda-12.5 /usr/local/cuda

参考链接:

• "installing-cuda-on-ubuntu-23-10-libt5info-not-installable" https://askubuntu.com/questions/1491254/installing-cuda-on-ubuntu-23-10-libt5info-not-installable