8月16日,2019 DeeCamp人工智能训练营在北京举办了全国成果展示暨结营仪式。经过此前4周的密集训练,600名来自五湖四海的DeeCamp学员接受了来自李开复、张潼、周志华、吴恩达等业内最顶级AI大牛导师的“学术+产业”课程培训,并在导师指导下完成了50个AI实践课题,具备了解决真实世界问题的能力。
创新工场董事长兼CEO李开复博士
今年是创新工场举办的第三届DeeCamp夏令营活动,对比往届属于规模最大的一次:4城同时开营、国内外近600名学员参与其中、50个AI实践课题探索....在这些数字的背后,隐藏了创新工场解决诸多难题的故事。而在这其中,挑战之一便是如何为AI技术提供一个稳定可靠的训练环境。
AI训练是AI实践中最重要的环节之一,也是一项AI技术能够应用落地的保证。它通过深度神经网络对大量数据作反复训练,尝试获得一个最佳拟合效果模型。
在此基础上,AI的开发训练、测试验证以及线上部署,都是要建立在大吞吐量、高并发、高延展性的算力之上的。因此对于创新工场而言,需要一个从AI计算资源支撑到AI训练能力获取的全方位支撑保障平台。
最终,创新工场首次采用了UCloud提供的AI PaaS服务模式——UAI交互式训练平台,即UCloud不仅帮助创新工场快速链接底层AI技术,更以Serverless提供训练服务。
简单来讲:UCloud帮助学员们从接入UAI交互式训练平台到上手AI应用,不用钻研底层架构更不用操心GPU服务器,开箱即用,便可直接开启AI探索之旅。
一
什么是UAI交互式训练平台?
UAI交互式训练服务是UCloud开发的一款面向AI训练任务的交互式开发环境,基于Jupyter的交互式编程界面,为用户提供开箱即用的AI开发环境。同时依托UCloud强大算力支撑,提供GPU云主机为主的高性能计算节点。
图:UCloud UAI交互式训练平台控制台操作界面
二
UAI在DeeCamp实践课上是如何应用的?
按照本次DeeCamp的AI实践教学规划,学员需通过3个步骤来完成AI训练:训练准备、训练任务执行和训练结果交付。在此过程中,UAI针对性地帮助学员解决了各环节中遇到的几个难题,包括教学环境的快速上线、大数据量存储、即时升级硬件以及网络安全隔离等。
图:AI训练的基本过程
接下来,我们将详细介绍UAI交互式训练平台在DeeCamp实践课上的实际应用。
1、训练准备
在本次DeeCamp实践课中,由于每个研究课题都是导师提前规划并准备好的,学员们需要在课程上迅速进入训练环境开启实践研究。因此,训练准备阶段就需要导师快速完成训练环境及数据的定制化准备,具体分为以下两个方面:
专属定制的训练环境搭建:
导师将课题所需的专属环境提前上传至平台,完成训练环境搭建,同时UAI训练平台依靠UHub(镜像仓库),可使定制环境永久的保留在云端。
举个例子,在实践课题《AI指挥官:城市交通信号灯的智能调度》的研究中,学员们需要使用CityFlow模拟器模拟交通车流量来完成数据的采集及测试。因此导师在DeeCamp实践课程开始前,便将模拟器提前安装到训练环境中。学员进入实践课程以后,无需再进行底层环境搭建,选择导师已搭建好的环境“开箱即用”,极大地保证了学员参与课题研究的效率。
图:定制化教学环境的搭建
海量稳定的数据存储上传:
除了训练环境,训练数据的准备也是非常重要的一环。值得一提的是,为了保证此次DeeCamp实践课数据上传的可靠性,UCloud还提供UFS(分布式文件存储)供所有训练数据上传保存,避免出现训练时数据存储容量过大导致的数据访问压力。
实践课题《定雨神针:提高降雨预报的时空准确度》的训练数据为12T,导师提前将如此庞大的数据量快速存储至UFS,学员们便可在课题研究时实现对12T数据量的快速访问。除此以外,UFS还具备多点挂载功能,如果导师、学员对数据进行任意一次更新,都能实时同步到云端,不仅防止出现数据或资源丢失的情况,又能即时同步数据加快数据访问效率。
2、训练执行
当教学环境搭建好以后,接下来就进入AI训练执行阶段了。首先学员通过导师生成的访问链接发起AI交互式训练任务,然后运用Jupyter Notebook实现实时开发,并运行调试训练程序直至生成模型。
图:Jupyter Notebook交互式训练环境
此外,针对DeeCamp训练营的特殊需求,UAI交互式训练平台还提供了以下功能:
网络隔离的安全保护:
由于本次DeeCamp课题团队的导师均来自各大AI开发企业,且各自携带着与企业相关的重要数据与资源来进行实践教学,因此,一个中立且网络隔离的AI训练平台就至关重要。
而UAI交互式训练平台建立在UCloud中立公有云基础之上,可以提供完全独立的网络隔离功能。当导师搭建好教学环境后,便会生成特定的Jupyter访问路径,学员只能凭该入口进入。而当学员需要访问外网查询资料时,UAI则会提供加密专线通道供学员访问互联网,同时该专线禁止从外网访问入内,通过这一手段,保护了内部数据的安全。
图:UAI网络隔离示意图
随时启停的训练环境:
在研发过程中,如果学员发现硬件资源(如CPU、内存、显卡等)在当前训练环境下捉襟见肘时,可以随时停止任务切换环境。在本次DeeCamp实践课中,有不少课题团队在研发中期从P40单卡服务器升级到了P40四卡服务器,使得训练效率大幅提升。同时,UAI交互式训练平台采用按需收费的方式,当任务停止时便会停止开销计算,大大避免了不必要的资源浪费。
3、训练结果交付
训练完成后,学员便可以从UAI平台下载获得算法模型,在这里,我们用一个简单的示意图将DeeCamp AI训练的整个过程展示出来:
图:DeeCamp AI训练示意图
最后,和大家分享2个新颖有趣的获奖AI课题:
AI表情帝:表情包已成为社交必备元素,在该课题中,学员采用AI黑科技实现表情包编辑、风格迁移和换脸等,制作真人表情包,助你成为AI表情帝。
图:“AI表情帝”课题制作的李开复博士表情包
AI交通指挥官:该课题旨在研究基于深度强化学习的自适应的交通信号灯控制方案,希望可以充分挖掘道路动态的交通流信息并根据当前交通状态做出响应,提高信控的灵活性和道路的通行效率。
图:“AI交通指挥官”课题Demo展示
三
结语
2019 DeeCamp夏令营已然落下帷幕,但AI发展的脚步却更加坚定。正如李开复博士所言:当下AI正在进入AI+、去赋能传统行业的时代,是AI开花结果的最好时期,这个阶段将会释放大量的商业机会和人才成长机会,是一个千载难逢的好时代。
对于创新工场与UCloud而言,优势互补的合作基础奠定了AI探索的能力,也让我们看到了用AI解决真实世界问题的更多可能性。
领取专属 10元无门槛券
私享最新 技术干货