前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >一万元搭建深度学习系统:硬件、软件安装教程,以及性能测试

一万元搭建深度学习系统:硬件、软件安装教程,以及性能测试

作者头像
小莹莹
发布于 2018-04-24 07:50:53
发布于 2018-04-24 07:50:53
1.1K0
举报

Macbook这种轻薄的笔记本,是搞不了深度学习的。亚马逊P2云服务,会给堆积越来越多的账单,换个便宜的服务,训练时间又太长……

没办法,已经十多年没用过台式机的我,只能重新着手DIY装机,搭建一套自己的深度学习系统。以下是我的系统搭建和测试过程。

硬件清单

之前,我在AWS亚马逊云服务上的花费是每月70美元(约480元人民币)。按照使用两年计算,我给这套系统的总预算是1700美元(约11650元)。

GPU

肯定得买Nvidia,没有其他选择。买两块还是一块?我想了想,还是先买一个性能更好的,以后有钱了再增加。综合显存、带宽等因素,我最终选了GTX 1080 Ti,跟Titan X相比,性能差不了多少,但价格便宜不少。

CPU

虽然比不上GPU,但CPU也很重要。从预算出发,我选了一颗中端产品英特尔i5 7500。相对便宜,但不会拖慢整个系统。

内存

两条16GB容量的内存,总共是32GB。

硬盘

两块。

一块SSD硬盘运行操作系统和当前数据,我选的是MyDigitalSSD NVMe 480GB。一块速度较慢的2TB容量HDD硬盘存储大的数据集(例如ImageNet)。

主板

为了以后的拓展,我得选能支持两块GTX 1080 Ti的主板。最后的选择是:华硕TUF Z270。

电源

得为GPU何GPU们提供足够的电力供应。英特尔i5 7500功耗是65W,一块1080Ti需要250W(以后还想加一块),所以最后选择了Deepcool 750W Gold PSU。

机箱

我听从朋友的建议,选了Thermaltake N23机箱。只是没有LED灯,伤心。

组装

组装过程按下不表,装机也是个手艺,最后效果如下图所示。

安装软件

提示:如果你想装Windows系统,最好先安装Windows,再装Linux。要不然Windows会搞乱启动分区。

安装Ubuntu

大部分深度学习框架都工作在Linux环境中,所以我选择安装Ubuntu。一个2GB容量的U盘就能搞定安装,如何制作?

  • OSX用户参考这里:

https://www.ubuntu.com/download/desktop/create-a-usb-stick-on-macos

  • Windows用户参考这里:

https://rufus.akeo.ie/

我写这个教程的时候,Ubuntu 17.04版本刚刚发布,但是我选择了之前的16.04版本,因为老版本的相关文档可能更全一点。另外,我选择的是Ubuntu桌面版本,不过关闭了图形界面X,电脑启动会进入终端模式。

如果需要图形界面,只需要输入:startx

及时更新

更新可以使用下面这个命令

深度学习堆栈

为了展开深度学习,我们需要如下软件来使用GPU:

  • GPU驱动:让操作系统和显卡可以对话
  • CUDA:能让GPU运行通用目的代码
  • CuDNN:CUDA之上的神经网络加速
  • 深度学习框架:TensorFlow等

安装GPU驱动

最新的驱动,可以参考官网

http://nvidia.com/Download/index.aspx

或者直接使用如下代码安装:

安装CUDA

可以从Nvidia下载CUDA,地址如下:

https://developer.nvidia.com/cuda-downloads

或者直接运行如下的代码:

安装好CUDA之后,下面的代码能把CUDA添加到PATH变量:

现在可以检验一下CUDA装好没有,运行如下代码即可:

删除CUDA或GPU驱动,可以参考如下代码:

安装CuDNN

我用的是CuDNN 5.1,因为最新的TensorFlow不支持CuDNN 6。下载CuDNN,你需要创建一个免费的开发者账号。下载之后,用如下命令安装。

Anaconda

Anaconda是一个很棒的Python软件包管理器,我现在使用了Python 3.6版本,所以对应的使用Anaconda 3版本,安装如下:

TensorFlow

最流行的深度学习框架,安装:

为了检查一下TensorFlow安装好没有,可以运行MNIST看看:

应该能在训练过程中,看到loss的逐渐减少:

Keras

一个高级神经网络框架,安装非常简单:

PyTorch

深度学习框架届的新兵,但也值得推荐,安装命令:

Jupyter notebook

Jupyter是一个交互式的笔记本,随着Anaconda安装,我们要配置和测试一下:

现在打开 http://localhost:8888 ,应该就能看到Jupyter的界面。

我们可以把Jupyter设置成自动启动,使用crontab来设置。运行crontab -e,然后把如下代码添加在最后。

测试

现在基本上准备妥当了,是时候测试一下了。参加此次对比的几个选手是:

  • AWS P2实例GPU(K80)
  • AWS P2虚拟CPU
  • 英伟达GTX 1080 Ti
  • 英特尔i5 7500

MNIST多层感知器

MNIST数据集由70000手写数字组成。我们在这个数据集上运行了一个使用多层感知器(MLP)的Keras案例,代码地址:

https://github.com/fchollet/keras/blob/master/examples/mnist_mlp.py

MLP的意思是只使用全连接的层,而不用卷积。这个模型在这个数据集上进行了20次训练,实现了超过98%的准确率。

可以看到在训练这个模型时,GTX 1080 Ti比AWS P2 K80快2.4倍,这有点惊人,因为两个显卡的性能应该差不多,我觉得可能是AWS上有降频或者受到虚拟化的影响。

CPU的表现比GPU慢9倍。有趣的是,i5 7500比亚马逊的虚拟CPU快2.3倍。

VGG微调

为Kaggle猫狗识别竞赛而微调一个VGG网络。使用相同的batch在CPU上运行这个模型不可行,所以我们在GPU上微调了390个batch,在CPU上是10个batch。代码如下:

https://github.com/slavivanov/cats_dogs_kaggle

这次1080 Ti比AWS P2 K80快5.5倍。CPU在这个环节的表现,最多慢了200倍。

Wasserstein GAN

生成对抗网络(GAN)用来训练模型产生图像。Wasserstein GAN是原始GAN的一个改进版。我这里用了一个PyTorch实现,代码地址:

https://github.com/martinarjovsky/WassersteinGAN

这个模型需要50步训练,CPU在这个训练中不予考虑。

GTX 1080 Ti比AWS P2 K80快5.5倍。

风格迁移

最后一个测试是在TensorFlow上的风格迁移实现,代码地址:

https://github.com/slavivanov/Style-Tranfer

GTX 1080 Ti比AWS P2 K80快4.3倍。CPU比GPU慢30-50倍。

好啦,关于万元打造一个深度学习系统的分享,就先到这里。

作者:Slav Ivanov@blog.slavv.com 问耕 编译整理 量子位 出品 | 公众号 QbitAI

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-06-01,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PPV课数据科学社区 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
教程 | 从硬件配置、软件安装到基准测试,1700美元深度学习机器构建指南
选自Medium 作者:Slav 机器之心编译 参与:Quantum Cheese、Lj Linjing、蒋思源 在用了十年的 MacBook Airs 和云服务以后,我现在要搭建一个(笔记本)桌面了 几年时间里我都在用越来越薄的 MacBooks 来搭载一个瘦客户端(thin client),并已经觉得习以为常了。所以当我涉入深度学习(DL)领域后,我毫不犹豫的选择了当时最新的 Amazon P2 云服务。该云服务不需要预付成本,能同时训练很多个模型,并且还能让一个机器学习模型慢慢地训练自己。 但随着时
机器之心
2018/05/08
1.2K0
教程 | 从硬件配置、软件安装到基准测试,1700美元深度学习机器构建指南
Titan XP值不值?一文教你如何挑选深度学习GPU
选自Medium 作者:Slav Ivanov 参与:李泽南、路雪、刘晓坤 本文作者 slav Ivanov 在今年早些时候曾介绍过如何用 1700 美元预算搭建深度学习机器(参见:教程 | 从硬件配置、软件安装到基准测试,1700 美元深度学习机器构建指南)。最近,英伟达在消费级 GPU 领域又推出了 GTX 1070 Ti,如果现在想要组装一台深度学习机器,我们用哪块 GPU 最好呢?本文将详细解答这一问题。 即将进入 2018 年,随着硬件的更新换代,越来越多的机器学习从业者又开始面临选择 GPU 的
机器之心
2018/05/09
9360
Titan XP值不值?一文教你如何挑选深度学习GPU
深度学习GPU工作站配置参考
CPU要求:在深度学习任务中,CPU并不负责主要任务,单显卡计算时只有一个核心达到100%负荷,所以CPU的核心数量和显卡数量一致即可,太多没有必要,但是处理PCIE的带宽要到40。
Cloudox
2021/11/23
4.2K0
深度学习GPU工作站配置参考
使用AMD CPU,3000美元打造自己的深度学习服务器
选自GitHub 作者:Wayde Gilliam 机器之心编译 本文作者详细描述了自己组装深度学习服务器的过程,从 CPU、GPU、主板、电源、机箱等的选取到部件的安装,再到服务器的设置,可谓面面俱
机器之心
2018/07/26
2.1K0
使用AMD CPU,3000美元打造自己的深度学习服务器
秘籍:如何用廉价硬件玩转深度学习,成本不到1000美元
作者Lukas Biewald,是CrowdFlower创始人。 量子位编译整理。 问:搭建一个深度学习系统拢共要花多少钱? 答:在树莓派上运行TensorFlow成本是39美元;在GPU驱动的亚马逊EC2节点上运行TensorFlow的成本是1美元,每小时。这些都是可行的方案。 当然要想玩得过瘾,可以自己搭建一个快速的深度学习系统,成本不到1000美元。 这也不是小数目,但这么做的好处是,一旦你有了自己的机器设备,可以运行数百个深度学习应用程序,比方增强的机器人大脑,或者搞点艺术创作。这套系统至少比M
量子位
2018/01/30
1.9K0
秘籍:如何用廉价硬件玩转深度学习,成本不到1000美元
【指南】买家指南:挑选适合你的深度学习GPU
最近,有相当多的人想知道如何选择机器学习的GPU。以现状来说,深度学习的成功依赖于拥有合适的硬件。当我在构建我的个人深度学习盒时,我查看了市场上所有的GPU。在本文中,我将分享关于选择合适的图形处理器
AiTechYun
2018/03/05
1.3K0
【指南】买家指南:挑选适合你的深度学习GPU
如何分分钟构建强大又好用的深度学习环境?
多亏了更快更好的计算,我们终于能利用神经网络和深度学习真正的力量了,这都得益于更快更好的 CPU 和 GPU。无论我们喜不喜欢,传统的统计学和机器学习模型在处理高维的、非结构化数据、更复杂和大量数据的问题上存在很大的局限性。 深度学习的好处在于,在构建解决方案时,我们有更好的计算力、更多数据和各种易于使用的开源框架,比如 keras、TensorFlow 以及 PyTorch。 深度学习的坏处是什么呢?从头开始构建你自己的深度学习环境是很痛苦的事,尤其是当你迫不及待要开始写代码和实现自己的深度学习模型的时候。
机器之心
2019/04/09
3K0
如何分分钟构建强大又好用的深度学习环境?
配置深度学习主机与环境(TensorFlow+1080Ti) | 第一章:硬件选购与主机组装
01 硬件选购 研究需求,遂组装一台全新的计算机,安装Ubuntu,用来运行TensorFlow,同时保留Win10,方便其他其他场合使用。因为硬件更新换代很快,各种网络结构也层出不穷。因此,考虑使用多显卡来提升系统的计算能力是有必要的。现阶段,主要购买单块显卡实现整个系统的搭建,同时保留拓展(多显卡)空间。 硬件清单如下: BOM 以上配置总共花费24173.1元人民币,购买时间主要在6月底7月初,没能赶上京东618的活动,顺便不幸的碰到了显卡缺货,所以价格上仅供参考。 1
用户1332428
2018/03/08
4.4K0
配置深度学习主机与环境(TensorFlow+1080Ti) | 第一章:硬件选购与主机组装
深度学习如何挑选GPU?
深度学习是一个对计算有着大量需求的领域,从一定程度上来说,GPU的选择将从根本上决定深度学习的体验。因此,选择购买合适的GPU是一项非常重要的决策。那么2022年,如何选择合适的GPU呢?这篇文章整合了网络上现有的GPU选择标准和评测信息,希望能作为你的购买决策的参考。
abs_zero
2022/03/25
2.6K0
深度学习如何挑选GPU?
开发 | 除了性价比排名,如何选购深度学习 GPU
AI科技评论按:与“传统” AI 算法相比,深度学习(DL)的计算性能要求,可以说完全在另一个量级上。而 GPU 的选择,会在根本上决定你的深度学习体验。那么,对于一名 DL 开发者,应该怎么选择合适
AI科技评论
2018/03/12
7.1K0
开发 | 除了性价比排名,如何选购深度学习 GPU
5700刀打造3卡1080Ti深度学习机器
5700美刀,打造3x1080Ti实验室GPU深度学习机器 最近为公司搭建了一台实验用的深度学习主机,在网络上参考了大量的资料,给出了目前最好的配置。本文首先会介绍所有硬件的选择分析,然后介绍深度学习
用户1332428
2018/03/09
1.7K0
5700刀打造3卡1080Ti深度学习机器
这是一份你们需要的Windows版深度学习软件安装指南
选自Github 机器之心编译 参与:蒋思源、刘晓坤 本文从最基本的依赖项开始,依次配置了 VS 2015、Anaconda 4.4.0、CUDA 8.0.61 和 cuDNN v5.1 等基本环境,然后再从 Keras 出发安装 Theano、TensorFlow 和 CNTK 以作为其后端。在完成配置深度学习框架后,本文分别利用这三个框架作为 Keras 后端在 CPU 和 GPU 上训练了一个标准的卷积神经网络,完成该简单的卷积网络也就意味着我们完成了深度学习环境的配置。 从零开始:深度学习软件环境安
机器之心
2018/05/08
1.8K0
这是一份你们需要的Windows版深度学习软件安装指南
深度学习装机指南:我们为普通青年和土豪准备了两套方案
深度学习,始于装机。 王新民 友情贡献 量子位 出品 | 公众号:QbitAI 研究深度学习该买一台什么样的电脑?我的笔记本能满足需求吗? 量子位请来小伙伴,为当前的深度学习网络训练提供了两套最新的装机方案。 第一套方案是预算为8000元的深度学习标准型台式机,这款台式机能够运行市面上几乎所有的大型游戏,完美全特效不掉帧,同时还可以顺便玩一下深度学习应用,例如奇特的风格融合。这套配置可以满足目前深度学习大部分的训练需求。 第二套方案是预算为20000左右的土豪版台式机,这款台式机为工作站主板,极其稳定,能够
量子位
2018/03/22
3K0
深度学习装机指南:我们为普通青年和土豪准备了两套方案
深度学习的GPU:深度学习中使用GPU的经验和建议
深度学习是一个计算需求强烈的领域,您的GPU的选择将从根本上决定您的深度学习体验。在没有GPU的情况下,这可能看起来像是等待实验结束的几个月,或者运行一天或更长时间的实验,只是看到所选参数已关闭。 有了一个好的,坚实的GPU,人们可以快速迭代深度学习网络,并在几天而不是几个月,几小时而不是几天,几分钟而不是几小时的时间内运行实验。因此,在购买GPU时做出正确的选择至关重要。那么你如何选择适合你的GPU呢?这个博客文章将深入探讨这个问题,并会借给你的建议,这将有助于你做出适合你的选择。 拥有高速GPU是开始学
机器学习AI算法工程
2018/03/15
2.8K0
深度学习的GPU:深度学习中使用GPU的经验和建议
英伟达深度学习专家路川详解“如何升级GPU深度学习系统”
GPU 成为在构建深度学习系统时必不可少的需要关注的方向,但是诸如如何选择一款 GPU 来搭建深度学习平台,如何升级自己的 GPU 之类的问题一直困扰着开发者。现在,这些问题都将由来自英伟达的深度学习专家为你解答。 GPU 成为每一家企业在构建深度学习系统时必不可少的需要关注的方向,与此同时英伟达每一年在推出新的 GPU 架构和依托于此的新的产品,其最推先推出的 Volta 架构,比起当前 Pascal 的性能提升了 5 倍,优于两年前推出的 Maxwell 架构 15 倍,远远超过摩尔定理的预测,在此
小莹莹
2018/04/24
1.5K0
英伟达深度学习专家路川详解“如何升级GPU深度学习系统”
从零开始:深度学习软件环境安装指南
选自Medium 机器之心编译 参与:路雪、李泽南 在搭建深度学习机器之后,我们下一步要做的就是构建完整的开发环境了。本文将向你解释如何在一台新装的 Ubuntu 机器上安装 Python 和 Nvidia 硬件驱动、各类库和软件包。 为了进行强化学习研究,我最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器。尽管目前在网络中能找到一些环境部署指南,但目前仍然没有全面的安装说明。另外,我也不得不阅读了很多文档来试图理解安装细节——其中的一些并不完整,甚至包含语法错误。因此,本文试图解决这个问
机器之心
2018/05/10
1.5K0
配置深度学习主机与环境(TensorFlow+1080Ti) | 第三章 CUDA与CUDNN安装
01 概念介绍 CUDA(Compute Unified Device Architecture 统一计算设备架构) CUDA(Compute Unified Device Architecture),是英伟达公司推出的一种基于新的并行编程模型和指令集架构的通用计算架构,它能利用英伟达GPU的并行计算引擎,比CPU更高效的解决许多复杂计算任务。 使用CUDA的好处就是透明。根据摩尔定律GPU的晶体管数量不断增多,硬件结构必然是不断的在发展变化,没有必要每次都为不同的硬件结构重新编码,而CUDA就是提供了一
用户1332428
2018/03/08
1.7K0
配置深度学习主机与环境(TensorFlow+1080Ti) | 第三章 CUDA与CUDNN安装
AI 技术讲座精选:数学不好,也可以学习人工智能(三)
【AI100 导读】学习人工智能到底要不要学好数学,这俨然已经成了一个争议话题了?之前 AI100 刊发了本系列的前两篇文章,也发表了作者子白的《放弃幻想,搞 AI 必须过数学关》,不知你是否有自己的
AI科技大本营
2018/04/26
1.1K0
AI 技术讲座精选:数学不好,也可以学习人工智能(三)
我的深度学习工作站
很多人觉得深度学习上手非常困难,让我们看看,对于程序员来说,着手深度学习的实践需要准备什么样的工具。 硬件 从硬件来讲,我们可能需要的计算能力,首先想到的就是CPU。除了通常的CPU架构以外,还出现
IT派
2018/03/29
1.3K0
我的深度学习工作站
手把手教你安装深度学习软件环境(附代码)
来源:机器之心 本文长度为2800字,建议阅读5分钟。 本文向你解释如何在一台新装的 Ubuntu 机器上安装 Python 和 Nvidia 硬件驱动、各类库和软件包。 为了进行强化学习研究,我最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器。尽管目前在网络中能找到一些环境部署指南,但目前仍然没有全面的安装说明。另外,我也不得不阅读了很多文档来试图理解安装细节——其中的一些并不完整,甚至包含语法错误。因此,本文试图解决这个问题,提供一个详尽的软件环境安装指南。 本文将指导你安装 操作
数据派THU
2018/01/30
1.5K0
手把手教你安装深度学习软件环境(附代码)
推荐阅读
相关推荐
教程 | 从硬件配置、软件安装到基准测试,1700美元深度学习机器构建指南
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档