这只蚂蚁能拍照！普林斯顿造出微米级相机，个头缩小到50万分之一

近日，普林斯顿的研究人员提出了世界上第一个高质量的微米级光学成像装置「Neural Nano-Optics」，并登上Nature Communications。成像效果和体积大50万倍的相机镜头相比，在不少场景下可以做到旗鼓相当！

快看，一朵湛蓝色的花朵正在缓缓绽放，层层花瓣像是海洋的波浪。

另一朵紫色的花绽放的瞬间，也美不胜收。

但是，这些画面真正的惊艳之处却并不在于花朵，而在于拍摄它们的相机镜头。

那镜头放在手上，是这样的。

一个极小极小的正方形小薄片，边长大概也就是几条指纹的宽度！

还有更夸张的。

传统的光学镜头，比如苹果的iPhone X，后置镜头是长这样的。

拉近点看，一个后置镜头之中，其实叠放了好几层透镜。

所以这种大尺寸的光学元件必然会很重，而且还会挤占不少面积。

要不，用这个正方形小薄片和搭载大体积复合折射透镜的传统相机比上一比？

结果非常amazing啊！

在微观拍摄上，这个小小的薄片对物体的还原度居然不逊于一堆透镜叠在一起，甚至画面还要更明亮一些。

在广角的拍摄上，这个小薄片最终还是没能敌过大尺寸的传统相机，不过建筑的轮廓倒也还原得七七八八。

这个小薄片名叫「Neural Nano-Optics」，学名「metasurface optics」，意为超构表面光学器件。

有没有看到中间拿一圈白色的部分，没错，这个就是成像装置。

只有一粒粗盐的大小哦！

成像效果的话，研究人员表示，「Neural Nano-Optics」和体积大50万倍的Edmund Optics 50mm F2.0镜头在不少场景下可以做到旗鼓相当（不是我说的，是原文说的on par with）。

小小相机有多神？

近几十年来，感光元件的小型化使得相机得以被应用于非常多的领域，包括医疗成像、智能手机、机器人和自动驾驶。

然而，如果光学成像器可以比现在再小一个数量级的话，那么它就可以在纳米机器人、体内成像、增强现实/虚拟现实和健康监测方面开辟许多新的应用。

近日，普林斯顿的研究人员提出了世界第一个高质量的超小型光学成像装置「Neural Nano-Optics」，并发表在了Nature Communications上。

这个相机拥有全色（400至700纳米）覆盖、40度的宽视野成像，以及F2.0的光圈。

论文地址：https://light.cs.princeton.edu/wp-content/uploads/2021/11/NeuralNanoOptics.pdf

项目地址：https://github.com/princeton-computational-imaging/Neural_Nano-Optics

「Neural Nano-Optics」优于现有的所有最先进的超构表面透镜设计，并且是世界第一个实现高质量、宽视野彩色成像的超构表面光学成像器。

超构表面（metasurface）是一种厚度小于波长的超薄人工结构，它可实现对电磁波偏振、振幅、相位、极化方式、传播模式等特性的灵活有效调控。

通常，传统光学元件的物理尺寸很大。

这是因为传统镜头是通过使光波发生弯曲来工作的。当光波穿过镜头时，它在镜头的不同部分会以不同的角度发生折射。

一般来讲，工程师会将多个单独的镜头堆叠在一起（称为复合镜头），以特定的方式引导和控制光线。

典型的凸（会聚）镜头使光波弯曲以在焦点处汇合（来源：Mini Physics）

由于传统的成像系统必须由一系列矫正像差的折射元件组成，这些笨重的镜头必然使得相机的限制较大。

传统成像另一个大的障碍是难以减小焦距，因为这会导致更大的色差。

而超构表面光学器件通过其不同的自身结构与光相互作用，用一层极薄的平面结构就可以达到同等的效果。

镜头缩小的问题是解决了，那传感器呢？

其实，亚微米像素的光学传感器早已存在，但是其成像效果却被传统光学的理论所限制。

所以，单单把传感器做小并不能完全解决问题。由于受到孔径和光圈的限制，现有的亚微米像素的传感器取得的图像质量远不如大型的光学相机。

那普林斯顿的研究人员是怎么攻破这一难点的呢？

答案还得是AI！

在这项工作中，作者提出的Neural Nano-Optics，表面只是一个小成像装置，但其背后却有一个完全可微的深度学习框架，结合基于神经特征的图像重建算法，进而学习超构表面的物理结构，实现了比SOTA低一个数量级的重建误差。

超构表面代理模型

作者通过使用一个高效的可微分代理函数进行学习，该函数将相位值映射到空间变化的PSF（PSF是point spread function的简称，即点扩散函数）。

文章所提出的可微分超构表面图像形成模型（图e）是由可微分张量运算的三个连续阶段组成：超表面相位确定、PSF模拟并进行卷积以及传感器噪声。

在他们的模型中，决定超表面相位的多项式系数是可优化的变量。

可优化的超表面相位函数ϕ，以距光轴的距离r作为自变量，写成函数如下：

其中{a0，…an}为可优化系数，R为相位掩膜半径，n为多项式项数。

在这个相位函数的基础上优化超表面，而不是以逐像素的方式来优化，其目的是避免局部极小值出现。

这种可微分方法Neural Nano-Optics与可选的前向模拟方法（如时域有限差分模拟）进行比较时，两者精度是近似的，但可微分方法Neural Nano-Optics比FTDT等全波模拟方法的效率高3000倍，并且更节省内存。

除这些之外，可微分框架Neural Nano-Optics还有几个技术亮点。

基于特征的反卷积

为了从测量数据中恢复图像，作者提出了一种基于特征的神经反卷积方法，它结合了已学习的先验知识，可以推广到没见过的测试数据。

具体来说，该方法采用了一个可微分逆滤波器和神经网络进行特征提取和细化。这种方法能够学习有效的特征，从而利用功率谱的知识来提升基于物理的反卷积能力，从而提高泛化能力。

在形式上，特征传播反卷积网络执行以下操作:

从结果看，特征传播反卷积网络的重建能力相对之前的方法有了质的飞跃。

端到端学习

有了超表面代理和神经反卷积模型，以及一个完全可微的成像管道，就可以用端到端的方式设计纳米相机了。

可微分框架Neural Nano-Optics的学习方法和相应的优化流程

Neural Nano-Optics的端到端训练优化过程是这样的。

训练优化示意图

训练好之后，使用Neural Nano-Optics系统，可以得到高质量的全色图像。

与现有的最先进的设计相比，Neural Nano-Optics可以生成高质量的宽FOV重建图像

色差消除(DLAC)

以前的超构光学透镜没有一个能同时集齐大孔径、宽视场、小f-number和大带宽四个特性。

经过优化的超光学设计，让这个超小型相机达到了前所未有的水平，能够在宽阔的视野上捕捉全色图像，并且实现了最大500微米的孔径，也是目前最大的超构光学透镜，可以增加光收集量。

为了正式量化设计规格，研究人员提出了一种新的度量标准，称为衍射透镜色差消除能力（DLAC）。

Neural Nano-Optics再次取得了一骑绝尘的好成绩，以250 DLAC的成绩排名第一。

Neural Nano-Optics应用

Neural Nano-Optics的出现有可能会使相机、显示器以及其他光学设备发生革命性改变。

一些令人兴奋的潜在应用包括：

1. AR/VR/MR—XR系统开发人员目前仍在努力解决将大型硬件系统集成到头戴式设备中的挑战。Neural Nano-Optics让我们看到了将微型光学元件集成到小型高性能轻质头戴式设备和智能眼镜中的希望。
2. 医学—Neural Nano-Optics的增强光学功能可以实现比以往更精确的诊断成像、也可以搭载在更高分辨率的成像工具（比如内窥镜）和新的显微镜上，从而使放射科医生、内科医生和实验室技术人员能够看到以前不可见的细节。