光场相机成像原理(光学成像的基本原理及应用)

光是人类对物理世界进行观测与感知最重要的载体之一，人类通过人眼接收场景中物体发出的光线(主动或被动发光)进行感知。成像感知系统是人眼的延伸，捕获、记录、分析场景的光信息。然而，现有的成像感知系统大多仅支持二维成像，迫使我们只能通过二维窗口去观察三维世界，从而丢失了三维世界的丰富信息。

何为光场？

光场是三维世界中光线集合的完备表示，采集并显示光场就能在视觉上重现真实世界。

而光场技术就是把人眼看到的光线空间采集下来，再将光线进行重组，可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果，捕捉光线信息，重现三维世界。例如医生借助单摄像头内窥镜进行腹腔手术时，因无法判断肿瘤的深度位置，从而需要从多个角度多次观察才能缓慢地下刀切割。

从光场成像的角度可以解释为：因为缺乏双目视差，只能依靠移动视差来产生立体视觉。再例如远程机械操作人员通过观看监视器平面图像进行机械遥控操作时，操作的准确性和效率都远远低于现场操作。

全光函数（Plenoptic Function）包含7个维度，是表示光场的数学模型。由于7个维度的信息会急剧增加采集、处理、传输的负担，因此实际应用中更多的是采用4D光场模型。

光场成像系统主要是通过光学装置采集捕捉到空间分布的四维光场，再根据不同的应用需求来计算出相应的图像。

计算光场成像技术基于四维光场，旨在建立光在空域、视角、光谱和时域等多个维度的关系，实现耦合感知、解耦重建与智能处理，用于面向大范围动态场景的多维多尺度成像。

受益于空间-视角维度假设以及软硬件技术的进步，如今光场成像可由便携化的商用设备实现，甚至可集成到手机中；亦可应用到显微镜中，实现快速扫描下生物样本的三维成像；光场相机的广泛使用使一些新的应用成为可能，包括最初基于真实感图像的光场渲染以及现在利用光场编码信息的计算机视觉应用，例如3D重建、分割、显著性检测、物体检测与识别、跟踪和视频增稳等。

光场成像技术正逐渐应用于生命科学、工业探测、国家安全、无人系统和虚拟现实/增强现实等领域，具有重要的学术研究价值和产业应用前景。

为什么要研究光场？

从光场采集的角度来看：

以自动驾驶为例，首先需要通过多种传感器去“感知”外界信息，然后通过类脑运算进行“决策”，最后将决策以机械结构为载体进行“执行”。现阶段人工智能的发展更倾向于“类脑”的研究，即如何使计算机具有人脑类似的决策能力。然而却忽略了“眼睛”作为一种信息感知入口的重要性。设想一个人非常“聪明”但是视力有障碍，那么他将无法自如的驾驶汽车。而自动驾驶正面临着类似的问题。如果摄像机能采集到7个维度所有的信息，那么就能保证视觉输入信息的完备性，而“聪明”的大脑才有可能发挥到极致水平。研究光场采集将有助于机器看到更多维度的视觉信息。

从光场的显示角度来看：

以LCD/OLED显示屏为例，显示媒介只能呈现光场中四个维度的信息，而丢失了其他三个维度的信息。在海陆空军事沙盘、远程手术等高度依赖3D视觉的场景中，传统的2D显示媒介完全不能达到期望的效果。当光场显示的角度分辨率和视点图像分辨率足够高时，可以等效为动态数字彩色全息。研究光场显示将有助于人类看到更多维度的视觉信息。

光场成像的获取途径

目前常用的光场成像方式主要有两种：一是利用相机阵列采集来自不同方向(分布)的光线；二是将不同方向的光线信息与不同位置的光线信息混合编码至平面成像的芯片中。

在实际应用中，尤其是利用相机整列采集光场数据时，光场的视点采样往往是稀疏的、欠采样的。因此，如何利用稀疏化的采样数据进行光场重建，是光场成像及其应用的基础难题。

此外，光场的高维度极大地增加了对其进行处理和分析的复杂度，在算法设计上施加了更具挑战性的条件。例如,传统2D图像中的分割旨在将单个图像内的前景和背景分开，而在光场中执行分割时，不仅要对多个视点的图像进行处理，还需要保持光场结构的稳定性。

如何用光场这一高维信息采集手段，取代传统二维成像这一视觉感知方法，并结合智能信息处理技术实现智能化感知功能，是实现光场成像技术产业应用面临的巨大挑战。

光场的采集方法

光场显示能在视觉上完全重现真实世界，但在显示光场以前首先要采集光场，否则将会是“巧妇难为无米之炊”。现有的光场采集方法可分为三个类型：多传感器采集、时序采集和多路复用成像。

1多传感器采集

多传感器采集方法，需要用到分布在平面或球面上的图像传感器阵列，以同时捕获来自不同视点的光场样本。光场的空间尺寸由传感器来确定，而角度尺寸则由摄像机的数量及分布来确定。因此，多传感器采集方法通过采集图像的组合来记录4D光场。图1为用于多传感器采集的设备。

图1 (a)8×12个摄像机组成的摄像机阵列系统；(b)8×8摄像机阵列实现了实时光场渲染；(c)90 mm×90 mm×60 mm 的光场相机阵列；(d) 超薄单片4×4相机阵列，可集成到手机中。

多传感器采集方法能够瞬时捕获光场，因此能够记录光场时间序列。由于采用摄像机阵列，因此早期的多传感器系统的体积庞大且昂贵。然而，我们可以通过近期出现的更便宜和更便携的设计发现这种多传感器采集方法的潜力。

2时序采集

与多传感器方法相比，时序采集方法使用单图像传感器，并通过多次曝光来捕获光场的多个样本。典型的方法是使用安装在机械台架上的传感器来测量不同位置的光场，图2为用于时序采集的设备。

图2 (a)斯坦福大学于1996年搭建的光场龙门架，可以实现静态光场的采集，通过物体、相机和光照的全自由度控制能实现高质量静态光场数据的采集；(b)装有捕获四维光场的单个摄像机的电动线性平台；(c)可编程光圈，可通过多次曝光捕获光场

通过移动图像传感器在不同的视点采集图像，这不仅需要高精度的控制，而且耗时。

幸运的是，人们提出了一些快速时序采集方法。如使用平面镜和高动态范围摄像机来记录光场，通过移动平面镜产生不同的视点供相机采集；由球镜和单摄像机组成“轴向光场”，通过沿着镜子的旋转轴移动相机来采集；作为反射表面的替代,一个可编程光圈可通过多次曝光捕获光场,如图2(c)所示。孔径图案被不透明的纸张或液晶阵列编码，允许相机从特定角度捕获光线。通过使孔径图案与相机曝光同步，就可以使用全传感器分辨率采样光场。

与多传感器系统相比，时序采集系统仅需要一个传感器，从而降低了整个系统的成本。此外，时序采集系统能够采集密集角度分辨率的光场，多传感器系统由于成本高而无法做到这一点。但是时序系统中的采集过程耗费时间，因此，它们仅适用于静态场景。

3多路复用成像

这种方法旨在通过将角域复用到空间(或频率)域中来将4D光场编码到2D传感器平面。它允许使用单个图像传感器进行动态光场的捕获，但需在空间和角度分辨率之间进行权衡(即若想在空间域中密集采样，需在角域中稀疏采样，反之则反)。

多路复用成像可进一步分为空间复用和频率复用。

a.空间复用

大多数空间复用方法使用安装在图像传感器上的微透镜阵列或小透镜阵列来实现，这是光场成像的最早方法之一。一些光场采集方法也使用滤波器和镜面阵列来实现。图3是用于多路成像的装置。除测量宏观物体或场景之外，还可使用空间多路复用来捕捉微尺度的样本。

图3 (a)微透镜光场相机及其原理；(b)斯坦福大学开发的基于微透镜阵列原理的光场显微镜；(c)多反射球光场采集装置；(d)基于掩模的光场复用采集方法

空间复用是采集光场最广泛使用的方法，可基于单次曝光采集的光场形成单图像。然而，空间多路复用方法存在其固有的问题，即在图像传感器处的角度和空间分辨率之间的折中。为解决这个问题，则需要采用牺牲角分辨率的方式来获得更高的空间分辨率，利用4×5阵列的镜头和切成正方形的棱镜，将它们放置在传统相机前面，以采集低角度分辨率的光场。然后，应用插值技术来合成密集角分辨率光场。

b. 频率复用

与空间复用方法不同，频率复用方法将光场的不同2D切片编码到不同的频带中。通常，频率复用方法使用调制掩码来实现傅里叶域中的某种属性。

尽管频率和空间复用是两种不同的复用成像方法，但它们在复用模式方面有密切关系。研究表明，可通过空间插值来重建在傅里叶空间使用的模板，且还可以使用傅里叶空间算法重建空间模板。此外，频率复用的傅里叶重建相当于使用Sinc滤波器核进行空间重构，且可通过空间滤波器(例如cubic插值)或边缘保留滤波器显著消除产生的环状伪像。

光场技术的应用展望

从全世界光场技术的发展趋势来看，美国硅谷的科技巨头如谷歌、Facebook、Magic Leap等争相布局和储备光场技术，有些甚至已经出现了Demo应用。目前光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

对光场技术的研究主要分为两大方面，包括光场采集和光场显示。

光场采集技术相对更成熟，目前在某些To B领域已经基本达到可以落地使用的程度。光场采集主要是提供3D数字内容，对于光场采集系统的硬件成本、体积、功耗有更大的可接受度。相关应用如吃到第一只螃蟹的Lytro光场相机，在工业领域的应用一直稳步上升。

相比之下，光场显示是偏向To C的产品，个体用户在成本、体积、功耗、舒适度等多方面都极度挑剔。光场显示除了能产生传统的2D显示器的所有信息外，还能提供双目视差、移动视差、聚焦模糊三方面的生理视觉信息。在光场显示技术发展过程中，出现了多种光场显示技术，最常见的有：多层液晶张量显示、数字显示、全息显示、集成成像光场显示、多视投影阵列光场显示、体三维显示。目前，光场显示正在通往商业化实用的道路上，最大的挑战在于光场显示设备的小型化和低功耗，这需要材料学、光学、半导体等多个基础学科的共同努力。

本文根据方璐教授、戴琼海院士撰写的《计算光场成像》以及曹煊博士发表的《Mars说光场》部分内容改编整理而成。