光场相机成像原理(光学成像的基本原理及应用)

光是人类对物理世界进行观测与感知最重要的载体之一,人类通过人眼接收场景中物体发出的光线(主动或被动发光)进行感知。成像感知系统是人眼的延伸,捕获、记录、分析场景的光信息。然而,现有的成像感知系统大多仅支持二维成像,迫使我们只能通过二维窗口去观察三维世界,从而丢失了三维世界的丰富信息。

何为光场?

光场是三维世界中光线集合的完备表示,采集并显示光场就能在视觉上重现真实世界。

而光场技术就是把人眼看到的光线空间采集下来,再将光线进行重组,可以让虚拟现实模拟出人眼基于距离对物体聚焦、移动的效果,捕捉光线信息,重现三维世界。例如医生借助单摄像头内窥镜进行腹腔手术时,因无法判断肿瘤的深度位置,从而需要从多个角度多次观察才能缓慢地下刀切割。

从光场成像的角度可以解释为:因为缺乏双目视差,只能依靠移动视差来产生立体视觉。再例如远程机械操作人员通过观看监视器平面图像进行机械遥控操作时,操作的准确性和效率都远远低于现场操作。

全光函数(Plenoptic Function)包含7个维度,是表示光场的数学模型。由于7个维度的信息会急剧增加采集、处理、传输的负担,因此实际应用中更多的是采用4D光场模型。

光场成像系统主要是通过光学装置采集捕捉到空间分布的四维光场,再根据不同的应用需求来计算出相应的图像。

计算光场成像技术基于四维光场,旨在建立光在空域、视角、光谱和时域等多个维度的关系,实现耦合感知、解耦重建与智能处理,用于面向大范围动态场景的多维多尺度成像。

受益于空间-视角维度假设以及软硬件技术的进步,如今光场成像可由便携化的商用设备实现,甚至可集成到手机中;亦可应用到显微镜中,实现快速扫描下生物样本的三维成像;光场相机的广泛使用使一些新的应用成为可能,包括最初基于真实感图像的光场渲染以及现在利用光场编码信息的计算机视觉应用,例如3D重建、分割、显著性检测、物体检测与识别、跟踪和视频增稳等。

光场成像技术正逐渐应用于生命科学、工业探测、国家安全、无人系统和虚拟现实/增强现实等领域,具有重要的学术研究价值和产业应用前景。

光场相机成像原理(光学成像的基本原理及应用)

为什么要研究光场?

从光场采集的角度来看:

以自动驾驶为例,首先需要通过多种传感器去“感知”外界信息,然后通过类脑运算进行“决策”,最后将决策以机械结构为载体进行“执行”。现阶段人工智能的发展更倾向于“类脑”的研究,即如何使计算机具有人脑类似的决策能力。然而却忽略了“眼睛”作为一种信息感知入口的重要性。设想一个人非常“聪明”但是视力有障碍,那么他将无法自如的驾驶汽车。而自动驾驶正面临着类似的问题。如果摄像机能采集到7个维度所有的信息,那么就能保证视觉输入信息的完备性,而“聪明”的大脑才有可能发挥到极致水平。研究光场采集将有助于机器看到更多维度的视觉信息。

从光场的显示角度来看:

以LCD/OLED显示屏为例,显示媒介只能呈现光场中四个维度的信息,而丢失了其他三个维度的信息。在海陆空军事沙盘、远程手术等高度依赖3D视觉的场景中,传统的2D显示媒介完全不能达到期望的效果。当光场显示的角度分辨率和视点图像分辨率足够高时,可以等效为动态数字彩色全息。研究光场显示将有助于人类看到更多维度的视觉信息。

光场成像的获取途径

目前常用的光场成像方式主要有两种:一是利用相机阵列采集来自不同方向(分布)的光线;二是将不同方向的光线信息与不同位置的光线信息混合编码至平面成像的芯片中。

在实际应用中,尤其是利用相机整列采集光场数据时,光场的视点采样往往是稀疏的、欠采样的。因此,如何利用稀疏化的采样数据进行光场重建,是光场成像及其应用的基础难题。

此外,光场的高维度极大地增加了对其进行处理和分析的复杂度,在算法设计上施加了更具挑战性的条件。例如,传统2D图像中的分割旨在将单个图像内的前景和背景分开,而在光场中执行分割时,不仅要对多个视点的图像进行处理,还需要保持光场结构的稳定性。

如何用光场这一高维信息采集手段,取代传统二维成像这一视觉感知方法,并结合智能信息处理技术实现智能化感知功能,是实现光场成像技术产业应用面临的巨大挑战。

光场的采集方法

光场显示能在视觉上完全重现真实世界,但在显示光场以前首先要采集光场,否则将会是“巧妇难为无米之炊”。现有的光场采集方法可分为三个类型:多传感器采集、时序采集和多路复用成像。

1多传感器采集

多传感器采集方法,需要用到分布在平面或球面上的图像传感器阵列,以同时捕获来自不同视点的光场样本。光场的空间尺寸由传感器来确定,而角度尺寸则由摄像机的数量及分布来确定。因此,多传感器采集方法通过采集图像的组合来记录4D光场。图1为用于多传感器采集的设备。

光场相机成像原理(光学成像的基本原理及应用)

图1 (a)8×12个摄像机组成的摄像机阵列系统;(b)8×8摄像机阵列实现了实时光场渲染;(c)90 mm×90 mm×60 mm 的光场相机阵列;(d) 超薄单片4×4相机阵列,可集成到手机中。

多传感器采集方法能够瞬时捕获光场,因此能够记录光场时间序列。由于采用摄像机阵列,因此早期的多传感器系统的体积庞大且昂贵。然而,我们可以通过近期出现的更便宜和更便携的设计发现这种多传感器采集方法的潜力。

2时序采集

与多传感器方法相比,时序采集方法使用单图像传感器,并通过多次曝光来捕获光场的多个样本。典型的方法是使用安装在机械台架上的传感器来测量不同位置的光场,图2为用于时序采集的设备。

光场相机成像原理(光学成像的基本原理及应用)

图2 (a)斯坦福大学于1996年搭建的光场龙门架,可以实现静态光场的采集,通过物体、相机和光照的全自由度控制能实现高质量静态光场数据的采集;(b)装有捕获四维光场的单个摄像机的电动线性平台;(c)可编程光圈,可通过多次曝光捕获光场

通过移动图像传感器在不同的视点采集图像,这不仅需要高精度的控制,而且耗时。

幸运的是,人们提出了一些快速时序采集方法。如使用平面镜和高动态范围摄像机来记录光场,通过移动平面镜产生不同的视点供相机采集;由球镜和单摄像机组成“轴向光场”,通过沿着镜子的旋转轴移动相机来采集;作为反射表面的替代,一个可编程光圈可通过多次曝光捕获光场,如图2(c)所示。孔径图案被不透明的纸张或液晶阵列编码,允许相机从特定角度捕获光线。通过使孔径图案与相机曝光同步,就可以使用全传感器分辨率采样光场。

与多传感器系统相比,时序采集系统仅需要一个传感器,从而降低了整个系统的成本。此外,时序采集系统能够采集密集角度分辨率的光场,多传感器系统由于成本高而无法做到这一点。但是时序系统中的采集过程耗费时间,因此,它们仅适用于静态场景。

3多路复用成像

这种方法旨在通过将角域复用到空间(或频率)域中来将4D光场编码到2D传感器平面。它允许使用单个图像传感器进行动态光场的捕获,但需在空间和角度分辨率之间进行权衡(即若想在空间域中密集采样,需在角域中稀疏采样,反之则反)。

多路复用成像可进一步分为空间复用和频率复用。

a.空间复用

大多数空间复用方法使用安装在图像传感器上的微透镜阵列或小透镜阵列来实现,这是光场成像的最早方法之一。一些光场采集方法也使用滤波器和镜面阵列来实现。图3是用于多路成像的装置。除测量宏观物体或场景之外,还可使用空间多路复用来捕捉微尺度的样本。

光场相机成像原理(光学成像的基本原理及应用)

图3 (a)微透镜光场相机及其原理;(b)斯坦福大学开发的基于微透镜阵列原理的光场显微镜;(c)多反射球光场采集装置;(d)基于掩模的光场复用采集方法

空间复用是采集光场最广泛使用的方法,可基于单次曝光采集的光场形成单图像。然而,空间多路复用方法存在其固有的问题,即在图像传感器处的角度和空间分辨率之间的折中。为解决这个问题,则需要采用牺牲角分辨率的方式来获得更高的空间分辨率,利用4×5阵列的镜头和切成正方形的棱镜,将它们放置在传统相机前面,以采集低角度分辨率的光场。然后,应用插值技术来合成密集角分辨率光场。

b. 频率复用

与空间复用方法不同,频率复用方法将光场的不同2D切片编码到不同的频带中。通常,频率复用方法使用调制掩码来实现傅里叶域中的某种属性。

尽管频率和空间复用是两种不同的复用成像方法,但它们在复用模式方面有密切关系。研究表明,可通过空间插值来重建在傅里叶空间使用的模板,且还可以使用傅里叶空间算法重建空间模板。此外,频率复用的傅里叶重建相当于使用Sinc滤波器核进行空间重构,且可通过空间滤波器(例如cubic插值)或边缘保留滤波器显著消除产生的环状伪像。

光场技术的应用展望

从全世界光场技术的发展趋势来看,美国硅谷的科技巨头如谷歌、Facebook、Magic Leap等争相布局和储备光场技术,有些甚至已经出现了Demo应用。目前光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成像、3D显示、安防监控等场合有着广泛的应用。

对光场技术的研究主要分为两大方面,包括光场采集和光场显示。

光场采集技术相对更成熟,目前在某些To B领域已经基本达到可以落地使用的程度。光场采集主要是提供3D数字内容,对于光场采集系统的硬件成本、体积、功耗有更大的可接受度。相关应用如吃到第一只螃蟹的Lytro光场相机,在工业领域的应用一直稳步上升。

相比之下,光场显示是偏向To C的产品,个体用户在成本、体积、功耗、舒适度等多方面都极度挑剔。光场显示除了能产生传统的2D显示器的所有信息外,还能提供双目视差、移动视差、聚焦模糊三方面的生理视觉信息。在光场显示技术发展过程中,出现了多种光场显示技术,最常见的有:多层液晶张量显示、数字显示、全息显示、集成成像光场显示、多视投影阵列光场显示、体三维显示。目前,光场显示正在通往商业化实用的道路上,最大的挑战在于光场显示设备的小型化和低功耗,这需要材料学、光学、半导体等多个基础学科的共同努力。

本文根据方璐教授、戴琼海院士撰写的《计算光场成像》以及曹煊博士发表的《Mars说光场》部分内容改编整理而成。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年1月16日 下午3:15
下一篇 2023年1月16日 下午3:21

相关推荐

  • 日本悬疑电影排行榜(五部经典日本推理片推荐)

    第五部《祈祷落幕时》 豆瓣:7.9 主演:阿部宽 / 松岛菜菜子 / 沟端淳平 影片点评:和小说相比,原本平淡的故事竟然出现了众多惊喜。以亲情为主线,环环相扣,讲述了一个沉重悲伤的故事,顺带解开主角的身世之谜。虽然说电影前半部分较一般,主要看宽叔的搞笑。从中后部开始则是在看这群老戏骨们飙戏,小日向文世的出场很晚,但他那不温不火式的演技不断高能,甚至盖过了主演…

    2022年11月28日
    1000
  • 枣庄旅游景点大全(枣庄一日游哪里最好)

    台儿庄古城,冠世榴园,青檀寺,熊耳山,抱犊崮等等景区您更钟情那个! 台儿庄古城 台儿庄古城,位于京杭大运河的中心点,坐落于山东省枣庄市台儿庄区和鲁苏豫皖四省交界地带。古城肇始于秦汉,发展于唐宋,繁荣于明清,有“天下第一庄”之称。 冠世榴园、青檀寺 青檀寺。该寺始建于盛唐开元年间,原名为云峰寺,座落在楚、汉两山峡谷之中,因山谷中长满青檀树后改名为青檀寺。如今经…

    2022年11月25日
    250
  • 显示屏尺寸对照表图(led显示屏尺寸规格型号)

    led显示屏的具体尺寸其实是要算的,即便已经知道项目现场需要安装的屏体面积,但是做方案的时候,还是需要根据现场尺寸算出最合适的方案尺寸,下面看下led显示屏尺寸对照表: 对接厂家业务都是根据现场安装面积,应客户安装比例要求,选用合适的模组尺寸进行计算,搭配出最佳方案,计算方式如下: 一、点间距的计算 1、点间距就是型号,常见的型号有:P0.9、1.25、1….

    2023年2月13日
    1260
  • 永盛电影公司现状(香港四大电影公司)

    因为受到好莱坞电影的冲击、香港电影人流失等因素的影响,2000年之后的香港电影市场明显大不如前,那些传统的电影公司很多也都面临倒闭和转型的危机。 而这些公司中,嘉禾、邵氏、星辉、永盛这四家作为最具代表性的争霸诸侯,考验更是堪比生死存亡,一旦衰落就很难东山再起。 原本这四家都是香港有名的电影公司,如今他们又发展得如何?下面我们逐一介绍它们的现状。 一、嘉禾娱乐…

    2022年12月7日
    940
  • 薯片是科技与狠活吗(薯片是马铃薯全粉做的吗)

    薯片是很多人爱吃的零食,随着科技与狠活的流行,不少人都好奇薯片是不是属于海克斯科技系列,其实也属于的,薯片很多人都以为是马铃薯制作而成,其实并不是,而是由马铃薯全粉制作。薯片是科技与狠活吗市面上的薯片

    2022年10月9日
    2160
  • 应收账款借方和贷方表示什么(应收账款属于什么科目)

    在系统中包含多种业务,通过各种业务可以形成多种会计凭证,那么在应收时使用的应收账款属于什么科目。 首先我们来理解下什么是应收账款? 应收账款是指当企业把商品销售给客户(先),客户过段时间有钱再把相应的钱款打给企业(后),对于企业这个应该收的账,就是应收账款。 应收账款属于资产类的科目,因为他表示的是资金流入,反之应付账款则表示负债类科目。 应收账款包含四种情…

    2023年8月3日
    60
  • 安全月宣讲活动总结5篇(安全月活动总结发言稿)

    宣传安全生产对于保障人民群众生命财产安全和维护社会稳定和谐的重大意义,营造有利于加强安全生产的社会氛围。下面是小编收集整理的安全月宣讲活动总结,欢迎大家阅读参考学习!安全月宣讲活动总结1我司全体职工于22年6月14日在大足区党校举行了22年安全生产月竞赛活动,这次活动由广联民爆公司副总经理、安全总监、安全部经理、分公司经理、副经理为评委打分。此次活动筹备小组选择的活动共分“安全知识竞答”、“日常安…

    2022年4月26日
    880
  • 男子意外身亡留下180万赔偿金(母亲要儿媳平分被拒法院判了)

    2020年7月,在益阳市大通湖区发生一起交通事故,李某在工作期间意外身亡,死后李某的妻子刘某进行诉讼,最终获得180余万赔偿款。随后,母亲要求儿媳平分被拒,法院判了,下面一起来了解下。据了解,李某的赔

    2022年9月20日
    560
  • 球坐标系和极坐标系(深度理解极坐标和球坐标)

    首先,谈谈为什么数学要引入坐标系? 坐标的本质是为了方便地定位,数学中的坐标也不例外。作为数学的重要概念,坐标系是用代数方法研究几何问题最有力的工具。通过将几何元素(点、线、面、体)用坐标表示出来,应用代数化的方程、运算等达成度量几何体、处理几何问题的目标。例如, 把一个三角形置于坐标系中,确定三角形的三个顶点坐标后,可以应用两点距离公式方便地计算边长、面积…

    2024年6月25日
    00
  • 官方如何界定48小时内核酸(检测报告从什么时候开始算时间)

    国庆期间,为了能够旅游或者跨省返乡,很多人都需要做核酸检测,因为官方要求乘坐飞机、高铁等交通工具需要查验48小时内核酸检测阴性报告。问题来了,官方如何界定48小时内核酸检测阴性报告呢?下面一起来了解下

    2022年9月25日
    590

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信