短视频特效“耍花招”：线上投篮、摆摊，让画中人摇摆，浅谈腾讯微视的AR基建

出品 | AI科技大本营

魔性的背景音乐、酷炫的AR特效、多元的内容题材，让大众欲罢不能的短视频App正在成为内容生产和传播主要渠道之一。

而短视频平台为了抢夺用户，正在通过各种方式提升用户体验。其中，AR特效打破虚拟与真实的界线，带来丰富的娱乐性，再度提升了短视频的体验。结合人脸识别技术，AR特效相机可以在人脸上添加各种萌萌的动物挂件，与此同时，AR特效功能还会匹配相应的背景音乐，从而吸引用户生成有趣生动的AR内容。

腾讯微视作为一款时下热门的短视频软件之一，对于创意玩法应用也有诸多有趣的探索。

最近，他们推出了“AR投篮机”，在微视APP内搜索“AR投篮”，点击体验后，手机屏幕会出现一个投篮的小游戏，点开始就能投篮。除了AR投篮机，腾讯微视此前还推出了摆摊、熊出没等有趣的特效。

更重要的是，从微视引入的AR特效功能出发，也可以一窥腾讯在AR前沿技术上的布局。

这些AR特效背后的核心技术是由腾讯微视光流团队和视频理解团队研发的一整套AR技术基建，具体包括6自由度定位与跟踪、语义分割、物体检测等，以及集成物理引擎、渲染引擎骨骼绑定及驱动等技术。

当然，在开发具体AR特效时，以上相关AR算法都被集成到一个SDK，每个具体技术的都可以进行类似模块化组合，有效加速新能力的接入速度。在玩法设计上，微视将底层的能力统一封装打包制作成针对设计师的可图形化操作工具，设计师不需要理解复杂的算法，只需要准备好素材和创意，几分钟就可快速生产出原本需要算法和工程人员投入几个星期才能完成的玩法，极大的提高了生产效率。

那么，这些特效具体都是怎么用技术“组装”起来的？

AR投篮机，模拟真实世界的“手感”

PBR渲染、水平面AR技术几乎是每个AR特效必备的基础技术组件，AR投篮机也不例外。

腾讯微视光流团队自研移动端高性能3D引擎，采用业界领先的PBR算法，可以媲美游戏级渲染的效果。与主流的游戏引擎相比，包体只有约1.3MB。除了出色的PBR渲染效果外，引擎架构上保持了良好的扩展性，提供配套的3D编辑器和完善的工具链支持，让设计师可以灵活高效的组装出各种3D玩法。

在玩AR投篮机时，用户需要在手机屏幕上定位篮球的位置，在这一特效的三维空间里面放置一个AR模型，微视的水平AR技术就用到了视觉定位技术，研发人员使用了ORBSLAM、VINS、SVO等SLAM算法来计算，比如，可以一边建图一边定位，定位的精度比较高。

相比ARkit或ARcore，虽然它们高精度定位更好，但微视的水平面AR算法更简洁，能涵盖绝大多数的模型，此外，在单目相机的手机上，水平面AR算法能在第一帧就初始化放置AR模型，不需要视差。同时，在鲁棒性、计算量、交互和扩展性等方面，水平面AR算法也优于其它技术。

当然，AR投篮机还用到了AR物理引擎、以及PAG技术。

PAG(Portable Animated Graphics) 是一套完整的动画工作流， 目标是降低或消除动画研发成本，打通设计师创作到素材交付上线的流程，不断输出运行时可编辑的高质量动画内容。它提供从AE（Adobe After Effects）导出插件，到桌面预览工具，再到各端的跨平台渲染 SDK。目前，PAG已接入数十款App。

在使用AR投篮机投篮时，为了模拟真实世界中投篮的角度和打板距离等因素，这时物理引擎技术就不可缺少，它能实时模拟真实世界物体运动与碰撞反馈。目前物理引擎支持包括长方体、球体、胶囊体、圆柱体以及自定义曲面的刚体模拟与碰撞，支持任意形状的软体仿真，能够自定义配置物体的各种碰撞参数（诸如质量、摩擦系数、弹性系数以及碰撞形状），能够模拟物体受力之后的运动状态，包括加速、减速、静止、碰撞等。

软体模拟功能则能够很好地支持诸如软球以及布料的模拟，以及真实软体的碰撞效果。物理引擎使用BVH、CCD等技术来加速碰撞检测过程，同时保证碰撞检测精度，在复杂场景下，能够同时支持数百个刚体的连续碰撞。

目前，生产挂件的LightStudio已经深入整合物理引擎。设计师通过LightStudio上简单的界面操作，可以低成本地配置出相当真实酷炫的物理模拟效果，能够支持小游戏以及AR特效的物理仿真模拟需求。

AR纸片人，让画中人动起来

AR纸片人是一个让简笔画或动漫人物“活”过来的特效。当用户在扫描一个图案后，其中的纸片人算法会把图案中的轮廓提取出来，同时通过骨骼绑定算法再给这个3D模型加上起身、跳跃、摆手等动作，如此画中人就可以“动次打次”起来了。

当然，除了PBR渲染、水平面AR、AR物理引擎技术，AR纸片人还需要用到图形轮廓点提取、2D转3DMesh建模。

其中，在图像轮廓提取上，腾讯应用研究中心与光流团队联合设计的通用物体分割算法，结合深度学习和传统轮廓提取算法，在适应各种场景的同时，还能做到非常高的实时性，即使在中低端机型上也能做到30~40FPS。

而在骨骼绑定处理上，是用于拍摄场景，所以这一特效会占据一定的计算资源，所以对骨骼绑定的计算是高性能的，而整个骨架中参与动画的节点层级最多设置了2层，大大降低了IK计算所耗费的性能。

此外，目前业内大多需要设计师借助专业软件来手动设计，而他们提出的快速骨骼绑定算法可以根据模型图案自动提取骨骼并绑定，只需几十ms就可以完成骨骼绑定。

3D人民币，识别多张纸币的大好山河

当你使用3D人民币特效时，将摄像头对准第五套人民币的背面拍摄即可体验。

在识别人民币后，会有凤凰飞旋在人民大会堂、布达拉宫、桂林山水等3D画面上方。你不光能看到精致的画面 ，还能不断变换角度观看3D场景细节。

PBR渲染、骨骼动画技术之外，3D 人民币主要使用了微视研发的MarkerAR技术。当用户手动预设一张或多张Marker图案，就可以通过MarkerAR算法在拍摄画面中检测预制的Marker图案，并实时估计Marker在相机中的自由度位置和姿态。

其中，自研的传统词袋模型与深度学习相结合的图像检索算法，只需几百ms就可以在上千张Marker图案中准确找到与当前图案最相似的Marker。快速Marker跟踪算法支持实时跟踪最多10+个Marker，也就是说，MarkerAR可以快速识别并检测多张人民币，随着不同人民币的移动，各自的模型也会进行移动。

此外，基于上述基础技术，他们还做出了线上摆摊应用，通过AR特效让你体验一把卖货，而熊出没应用，则可以让你与熊共舞。

当然，微视光流AR技术在端上部署时，也需要解决不同计算设备的适配问题，以获得最佳的用户体验。由于苹果的硬件相对统一和标准化，所以在包括iphone6S及以上的iOS机型上，微视的AR算法都可正常运行。而在Android端，由于ARCore覆盖度比较低，他们选择了算法自研，目前微视在Android端的82%以上机型都可正常运行，在业界具有较高覆盖度。

未来，AR技术将具备更加多元、深度的交流学习能力，而技术的精进将进一步推动其在短视频业务场景的落地。

除了AR技术外，腾讯微视也在引领其他技术领域的研发。最近，腾讯微视斩获VCR榜单第一的BLENDer单模型引发了业界关注，其AI能力已经渗透到微视从图像处理、用户理解、推荐算法到运营增长的各个环节。此外，再加上5G时代的高带宽和低延迟，这些技术的交相融合将极大促进短视频领域的发展

在短视频领域竞争如此激烈的当下，腾讯微视在AR等前沿技术上的探索，将继续推动其短视频业务的智能交互应用创新，从而更新用户对技术的认知，并吸引更多用户体验。