最近有一位叫做“乔碧萝殿下”的神秘女子入侵了多个平台的热搜榜,只因为这位粉丝心目中声音甜美的颜值主播在一次连麦PK大赛中,平时用于遮挡脸的GIF图戏剧性的没了。有一位为她刷礼物花费达10万的男粉,发现乔碧萝殿下竟是一位58岁的大妈后,直接注销了账号,这一事件迅速成为了关注的焦点。
你是否想过,如果乔碧萝殿下用的是当下热门的变脸软件,结果会如何?
如今,基于AI技术,具备一键变明星、一键男变女、一键步入老年功能的变脸APP非常火爆。比如Snapchat的性别交换滤镜,不仅能在滤镜开启后变换性别,并且滤镜在不同角度以及各种光线下表现都十分不错。
Snapchat性别交换滤镜
不过,Snapchat的实时视频变脸并非所有手机都支持,因为这一功能的实现一方面需要手机有较强的硬件性能;另一方面,对于网络的要求也很高,要依靠云端训练和效果实施。这不仅带来了隐私问题,还限制了有趣AI应用的普及。
但情况正在改变,随着手机处理器性能的提高,特别是AI性能的增强,手机AI不仅能拯救拍照手残党,改变购物方式,还会改变你的生活方式。
嘈杂环境也能清晰通话
手机最重要也是最基础的功能无疑是通信,随着通信技术的发展,手机通话质量越来越高,但嘈杂环境打电话听不清楚的问题一直没有被解决。目前,部分手机增加了通话降噪功能,比如中兴、努比亚等。据了解,这些手机中的通话降噪的算法来自大象声科(ELEVOC),算法基于计算听觉场景分析理论,应用深度学习技术。
而其中很重要的一点是,通话降噪的算法有了高通人工智能引擎AI Engine的支持,能够实时分离手机通话中的人声和背景噪声,使用者不论身处多么嘈杂的环境打电话,对方听到的始终是你清晰自然的声音。
AI通话降噪
通话降噪的应用当然不局限于语音通话,高通与大象声科合作,在Skype视频和语音通话中可以从呼叫方噪声的背景中精确提取使用者的声音,并且,这个功能只用一个麦克风就能实现比多个麦克风更加精确的噪声抑制。
有了AI通话降噪功能,以后无论是在体育赛事现场、音乐节还是家庭聚会,都可以获得高质量的通话,再也无惧嘈杂的环境。
拯救拍照手残党
对于部分人而言,语音和视频通话是低频使用功能,手机的拍照却极为重要。但是,不少人因为手机硬件本身或拍照技术等问题,总会拍出一些模糊甚至扭曲的照片。比如拍食物的时候,很多人都遇到过把寿司拍模糊的情况,想拍一张满意的照片需要耗费不少时间。
SensePhoto超分辨率
现在,AI可以拯救拍照手残党。SensePhoto超分辨率功能可以对标光学(物理)变焦镜头,用AI算法实现比肩光学变焦镜头的画质清晰度,这个功能来自高通的合作伙伴商汤科技。
要拍出高清晰度的照片,夜晚的难度显然更大,AI也可以让夜间拍出好照片更容易。下图的对比就非常直观,AI超级夜景功能能够进行智能降噪以及防抖,结合传统的计算机视觉和深度神经网络算法,可以让用户通过手持手机的方式或脚架模式(脚架效果更佳)以较长的曝光模式拍摄出细节更多、极致的超级夜景影像,这个技术来自高通的AI合作伙伴虹软。
AI超级夜景功能
高通的另一个AI合作伙伴旷视也有超画质功能,通过对原始图像进行处理,全新的超画质(Super IQ)技术能够更好地降低图片噪声、保留画面细节,优化拍摄和影像处理的时间。
手机拍照不仅追求更高画质,还在追求接近单反相机的效果。因此,如今手机摄像头都是两个甚至五个,再匹配强劲的AI处理器能力和不错的AI算法,能够实现接近单反的效果。比如NALBI的图像AI深度技术,能将数码单反相机的虚化效果应用于任何图片,即使是来源于网络甚至其它设备的照片。
通过动图可以看到,原始图人像在焦点之外,通过简单的操作就改变了这张图片的焦点,让照片的焦点变为了人物。
在多人合照的照片中,借助AI技术也能够轻松改变焦点。
拍摄食物的时候,AI也能拯救一张照片焦点不在食物上的照片。
需要明白,以上这些功能的实现都是AI算法与AI硬件深度融合的结果。不同公司的AI算法各有特色,但它们都能在灵活且高性能的高通AI Engine的支持下,实现令人满意的效果,特别是针对AI Engine优化的算法。
AI算法和AI Engine的深度融合不仅能拯救拍照手残党,让手机拍照的质量更好,还能让拍照变得更加有趣。比如,虹软的AI智能美颜拍照、智能人体塑形、智能人像光影拍照。旷视还首次基于旗舰骁龙855移动平台,创新性地在手机上实现了希区柯克变焦(DollyZoom),通过智能一键单击,使人像的大小和位置保持不变,但背景不断变化。商汤科技基于单目摄像头实现实时的人像留色的SensePhotoAI技术。
视频的实时处理对手机处理器有着非常高的要求,旷视在搭载骁龙855移动平台的手机上,利用AI算法模拟的深度图像来模拟光学失焦的算法实现了AI实时视频虚化技术。虹软也推出了AI 智能双摄视频虚化功能,针对多摄像头手机,可以在拍摄视频时即时更改焦点区域,产生出色的景深效果与前后景虚化体验。
不一样的AI游戏体验
除了最受欢迎的AI拍照,手游也广受欢迎。报告显示,2018年中国移动游戏用户规模为6.05亿人,同比增长9.2%。2018年中国移动游戏市场实际销售收入占全球移动游戏市场比例约为30.8%。那AI和手机游戏能碰撞出什么火花?
本月初,在2019 ChinaJoy的高通骁龙主题馆开馆仪式上,《王者荣耀》的顶尖选手与AI 电竞战队——“SUPEX”进行了一场1v1对战,最终,AI 电竞战队一举赢得比赛。这是SUPEX的移动AI电竞首秀,也是iQOO联合王者荣耀、腾讯 AI Lab 、高通骁龙为探索终端侧AI性能而创建的“想象力工程”项目首次尝试,将移动游戏的AI推理能力首次大规模从云端迁移至终端 iQOO 产品上。四方的合作充分利用第四代高通人工智能引擎AI Engine的强大异构计算能力,为手机端带来不一样的游戏体验。
AI不仅能与玩家进行游戏对战,还带来了新游戏。比如SensePosture的人体骨架检测(3D)技术,通过RGB和深度数据的输入,可以检测到3D的人体骨骼关键点和人体轮廓深度图,并支持实时跟踪,可以进行体感游戏、体感交互等。同样是高通AI合作伙伴的华捷艾米推出3D玩偶功能,在高通人工智能引擎AI Engine的支持下,用户可以操控虚拟人偶、明星模型或卡通玩偶,和被拍摄者做同样的动作,并录制短视频或者拍照。
告别选择困难,探索更多手机AI玩法
手机购物相信也是许多人离不开的应用,如今,AI能够让你告别选择困难。比如当你想换发型或者换新发色的时候,利用实时分段算法,基于高通人工智能引擎AI Engine的异构调度,在手机上就可以展现出新发色的效果,并且可以跟随光变的变化而变化,每秒30帧的精度可以让你迅速选择出合适自己的发色,轻松告别选择困难,这一功能同样来自Nalbi。
AI还能让在线购物变得更有趣,旷视的3D实时人体姿态追踪功能可用于体感游戏、3D试衣等对三维空间动作要求高的场景,旷视基于骁龙730移动平台结合自家的深度算法(普通2D摄像头即可)实现了非常好的效果,这也是高通AI Engine实力的体现。
AI也在改变手机购物的支付方式,旷视联合 vivo 基于 TOF 技术和人脸识别算法打造了世界首款基于ToF前置的FaceID,搭载骁龙845移动平台的vivo 手机,在旷视三个核心算法模型结构加持下,可实现 0.1s 内极速识别,0.03s 重建和达百万分之一的支付精度,可以用人脸替代指纹、密码或 PIN 码作为移动支付的主要验证方式。
高通的合作伙伴们基于强大且灵活的AI Engine打造了更多有趣的手机AI应用。Loom.ai从单张照片中创建具有个人风格的、个性化的3D人偶。用户可以编辑面部特征、发型和其他配饰,并且沉浸在AR、VR、游戏或3D应用中。
中科创达结合TurboX智能大脑平台以及AI Engine,实现了人声音色的实时变换,能够保持原声的音调、顿句甚至情绪,可以应用于影视动画制作,降低配音门槛。
AI还会改变学习的方式,有道利用AI Engine,通过有道智能笔与智能作业本组合,在不改变学生传统书写答题习惯的情况下,收集学生答题书写笔迹数据,并通过手写OCR技术识别笔迹内容,对书写的答案自动批改。同时,还可以根据学生答题数据,做个性化试题推送与练习。
这些有趣的AI应用触手可及,在百度的全民小视频APP中,通过整合AI Engine,有效释放移动设备计算效能,全面升级AR肢体能力,可以实现更多的特效,带来丰富的视频玩法。
手机AI新奇玩法是AI软硬实力的展现
无论拍照、游戏、购物在AI时代的新玩法,还是因为终端AI性能的提升带来的有新奇应用,最为重要的还是软件和硬件的结合。AI算法多样,并且在不断迭代,只有算力强、并且兼具灵活性和功耗优势的手机SoC才能支撑AI应用的普及和创新。
AI近几年备受关注,但高通在AI的基础科技研发早在十多年前就已经开始,特别是在深度学习、神经计算和丰富的AI算法等领域。从四年前的骁龙820开始,高通就已经在骁龙移动平台上实现了第一代人工智能引擎AI Engine的商用。
最新的旗舰移动平台骁龙855集成了高通第四代多核人工智能引擎AI Engine。与前几代AI Engine的理念相同,第四代AI Engine充分利用骁龙的异构多核可编程架构,对每个内核进行大幅优化和提升,强调整体芯片面向AI计算的高效率和灵活性。第四代AI Engine包括Hexagon 690处理器、Adreno 640 GPU和Kryo 485 CPU。
值得注意的是,在骁龙855上,Hexagon进化为更通用、更加强大的系统。不仅 DSP的功能得到扩展,更是新增了独立的AI硬件核心HTA (Hexagon张量加速器),以综合实现可编程的AI加速。
此外,第四代高通人工智能引擎AI Engine软件套件可以为高通神经处理SDK、Google Android NN-API以及Hexagon NN和Qualcomm Math Library带来一系列的提升。
如今,利用第四代高通人工智能引擎AI Engine的AI软件合作伙伴正在多个领域不断拓展,为OEM厂商提供了支持下一代终端侧AI特性的更多预优化算法。AI Engine还能让AI带来更多的变革,比如汽车行业、工业、物流和零售等。雷锋网
你希望AI带来哪些新奇玩法?手机AI+5G又会有哪些应用?雷锋网雷锋网
领取专属 10元无门槛券
私享最新 技术干货