计算机视觉研究人员发现了一个隐藏的视觉信号世界,包括一些违反某些共性的微妙运动,以及模糊的图像。计算机视觉科学家安东尼奥·托拉尔巴(AntonioToralba)是2012年在西班牙度假的一名计算机视觉科学家,他注意到酒店房间墙壁上的一些阴影并未被任何东西投射。托拉尔巴终于意识到墙上的褪色斑点不是阴影,而是窗外庭院的倒影。窗口就像一个针孔相机,光线穿过一个小开口,另一侧则是倒像。
阴影边缘可以显示出隐藏物体的形状,图片:RuneFiskerforQuantaMagazine博科园-科学科普:在洒满阳光的墙壁上,人们几乎察觉不到由此产生的图像。但托拉尔巴震惊地发现,这个世界充满了肉眼看不到的视觉信息,这些图像每分每秒都潜藏在我们身边。这次经历让他和麻省理工学院教授比尔·弗里曼意识到无处不在的“意外摄像头”——窗户、角落、室内植物和其他常见物体。
图1:安东尼奥托拉尔巴在酒店房间外面的露台上找到了一扇窗户,就像一个针孔相机。图2:墙上庭院的昏暗图像。图3:用纸板覆盖大部分窗户以锐化图像。图4:减小针孔的大小并反转图像。图5:图像显示了外面的场景。
BillFreeman(左)和AntonioToralba是计算机视觉科学家和麻省理工学院的合作者。照片:LilliePaquette/麻省理工学院工程学院在第一个视频中,一组撞击墙壁的光线被手臂短暂阻挡。弗里曼说:通过从第一张图像中减去第二张图像中的数据,可以提取手臂阻挡的信息并成为房间的一部分。
图1:通过在角落附近的地面上拍摄阴影半影,可以获得有关角落附近物体的信息。图2:当隐藏区域中的物体移动时,它们投射到半影上的光线相对于墙壁扫过不同的角度。肉眼通常看不到强度和颜色的这些细微变化。图3:从半影的不同角度投射的原始视频显示一个人正在移动。图4:两个人搬家。图5:角落处的视图。
麻省理工学院计算机视觉科学家拉梅什·拉斯卡尔是主动非视距成像技术的先驱。图片:CourtesyofACMSIGGRAPH2017但如果把激光照射到一个稍微不同的点上,那么从这三个点发出的光就不会在同一时间到达。因此就要结合所有信号,解决所谓的“逆问题”,重建隐藏的三维几何结构。今年3月发表在《自然》上的论文为构建角落里的物体的三维成像设定了新标准。
在主动的非视距成像中,激光从墙壁上弹回,从隐藏的物体上散射,然后反弹回起始点(上图)。反射光能对物体进行三维重建(下图)。图片:2018StanfordComputationImagingLab先前算法程序上的细节让人焦头烂额。“当光线散射到一个表面时,它就会形成一个不断膨胀的光子球体,这个球体会随着时间推移而延伸出一个圆锥体,从而将光子飞行时间与散射表面位置联系起来。
维尔滕正在与美国国家航空航天局喷气推进实验室合作进行一项旨在对月球洞穴内部进行远程成像的项目。与此同时,拉斯卡尔和他的公司用其方法阅读了一本未打开书籍的前几页。除了音频重建,弗里曼的运动放大算法可能对健康和安全设备或检测微小的天文运动有用。纽约大学和弗拉蒂隆研究所天文学家和数据科学家大卫·霍格说:这个算法是个好主意,我想我必须在天文学中使用它。
领取专属 10元无门槛券
私享最新 技术干货