近期,艺术家Keijiro Takahashi利用iPhone 13 Pro Max的LiDAR传感数据、iPhone追踪数据、视频图像,开发了一种实时渲染的AR应用:Bibcam,其特点是可以将实时场景实时渲染成“赛博朋克”风格,并拍摄成视频。换句话说,这款应用的功能有点类似于基于3D扫描的AR场景滤镜,带来全新的手机摄影方式。
据青亭网了解,部分iPhone通过配备LiDAR传感器大幅降低3D扫描的门槛,可以让普通用户像拍视频一样实时扫描整个3D场景。因此,也衍生了record3d等基于LiDAR的3D视频拍摄应用。而Takahashi开发的Bibcam应用,则通过iPhone采集16种不同的数据,通过同步解码,来实现对真实场景的3D扫描、3D渲染。
细节方面,该应用将iPhone 13 Pro Max等手机的相机和LiDAR传感器数据导入到Unity中,然后在3D数据上实施叠加AR特效。
Takahashi表示:Bibcam结合iPhone的同步追踪数据,可拍摄/实时生成具有AR效果的沉浸式视频,这将降低视频特效编辑的门槛。不过,目前iPhone 13 Pro Max配备的LiDAR技术还存在局限,其扫描范围仅限于5米左右,因此一些较远的位置3D扫描效果不够连贯。未来,可能会在Bib中加入AI扩展程序,根据LiDAR数据来预测5米外的3D场景。
领取专属 10元无门槛券
私享最新 技术干货