上海理工大学光电信息与计算机工程学院，上海

收稿日期：2023年4月10日；录用日期：2023年5月10日；发布日期：2023年5月16日

摘要

非视域成像是一种对视线范围外的场景进行成像的技术，极大地拓展了成像设备的视野范围，打破了传统光学成像技术的成像局限性。非视域成像系统一般由目标场景、中介面、探测器三部分组成，通过中介面对视野范围外隐藏的目标场景成像，是近十几年来的一种新的光学成像技术，在未来有着巨大的发展前景，包括无人驾驶、灾难救援、军事反恐和医疗成像等领域。本文针对国内外非视域成像的研究现状进行总结，根据是否加入调制光将非视域成像分为主动非视域成像和被动非视域成像，随后再根据不同的设备或原理细分，从成像系统、原理和算法等方向总结分析各个非视域成像技术的特点和发展。

关键词

非视域成像，光学成像，图像重建，计算成像

Research Progress of Non-Line-of-Sight Imaging System

Han Xiao

School of Optoelectronic Information and Computer Engineering, University of Shanghai for Science and Technology, Shanghai

Received: Apr. 10^th, 2023; accepted: May 10^th, 2023; published: May 16^th, 2023

ABSTRACT

Non-line-of-sight imaging is a technology that can image scenes outside the line of sight, which greatly expands the field of view of imaging equipment and breaks the imaging limitations of traditional optical imaging technologies. The non-line-of-sight imaging system is generally composed of three parts: the target scene, the interface surface, and the detector. Through the intermediary, it faces the hidden target scene imaging outside the field of vision. It is a new optical imaging technology in the past ten years. It has a huge potential in the future. Development prospects include unmanned driving, disaster relief, military anti-terrorism and medical imaging and other fields. This paper summarizes the research status of non-line-of-sight imaging at home and abroad. According to whether to add modulated light, non-line-of-sight imaging is divided into active and passive, and then subdivided according to different equipment or principles, from imaging systems, principles and algorithms, etc. The direction summarizes and analyzes the characteristics and development trends of various non-line-of-sight imaging technologies.

Keywords:Non-Line-of-Sight Imaging, Optical Imaging, Image Reconstruction, Computational Imaging

Copyright © 2023 by author(s) and Hans Publishers Inc.

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

1. 引言

“非视域”的概念最早是在通信领域中运用，它是指发射器和接收器之间非直接的点对点通信。在光学成像领域中，非视域成像的概念首次在2008年由Ramesh等 ‎[1] 提出。随着光学成像技术不断地发展和提高，越来越多不同的领域对成像技术的需求也在日益提升，其中非视域成像技术得到了越来越多的关注与研究。传统的光学成像技术利用探测器获取视野范围内的感兴趣场景，但在复杂场景，例如拐角处、烟雾后等，就无法绕过障碍物对视野外的场景成像。非视域成像在本质上是属于一种计算成像，不仅依赖基本的光学原理还包含了相关图像算法。相对于传统成像而言，非视域成像的设备更昂贵且算法更复杂，再加上目标场景位于探测器视野范围外，导致最后的成像效果也要低于传统成像的效果，但对视域范围外的场景进行成像或定位等任务，在未来有着巨大的发展前景，包括无人驾驶、灾难救援、军事反恐和医疗成像等领域。非视域成像可根据是否加入调制光分为主动非视域成像和被动非视域成像，本文将从二者的角度出发介绍其研究现状和进展。

2. 主动非视域成像

自从非视域成像的概念被提出以后，主动非视域成像成为了人们探索和研究最为广泛的领域。在国内外，主要利用不同的成像设备进行研究，包括基于条纹相机(Streak Camera)、单光子雪崩二极管(Single Photon Avalanche Diode, SPAD)、选通增强型电耦合器件(Intensified Charge Device, ICCD)、飞行时间(Time of Flight, ToF)相机等的主动非视域成像。

2.1. 基于条纹相机的主动非视域成像

条纹相机一个同时具有超高时间分辨率和空间(或频谱)分辨率的高性能探测仪器，它得到的光子在一维空间的飞行时间信息能达到亚皮秒甚至百飞秒，同时还能够通过扫瞄电极对时间以及空间(或频谱)信息进行二维测量。

2009年Kirmari等人 ‎[2] 用钛蓝宝石雷射激光器(中心波长为810 nm，50 fs长脉冲)和条纹相机(250 fs)建立主动非视域实验场景，利用条纹相机图像的多路径分析来推断感兴趣场景的三维几何信息。2012年Velten等人 ‎[3] 利用钛蓝宝石雷射激光器(中心波长为795 nm，50 fs长脉冲)和条纹相机(2 fs)首次实现了对隐藏场景的3D成像，实验系统装置如图1所示。该研究将飞行时间技术和反投影重建算法相结合，以解决漫反射包含的混合复杂图像信息，并通过滤波的方法提高分辨率，重建后的精度可达厘米级。

图1. Velten等人非视域成像实验装置光路图

2014年Naki等人 ‎[4] 利用钛蓝宝石雷射激光器(中心波长为795 nm，50 fs长脉冲)和条纹相机(2 fs)实现了对透射介质的非视域成像，恢复了毛玻璃后感兴趣场景的三维成像，如图2所示。在同一年，Raviv等人 ‎[5] 利用同样的装置，实现了对透射介质后感兴趣场景的方向和位置的估计。

图2. Naki等人 ‎[4] 非视域成像实验装置图

2.2. 基于单光子雪崩二极管的主动非视域成像

SPAD是一种利用雪崩击穿实现单光子探测能力的光电探测器，将它与时间相关的计数器件相结合，对单光子的飞行时间进行检测和采集，测量时间大致为20 ps~100 ps，对应6 mm~30 mm的时间分辨率，虽然SPAD的时间分辨率比ToF相机差，但光子效率和信噪比更好 ‎[6] ，还具有宽光谱响应范围、极高灵敏度和低功耗等特性。随后Buttafava等人 ‎[7] 将SPAD与单像素结合，利用反投影算法对感兴趣场景进行重建，由于实验场景的限制，无法对远距离范围内的场景进行重建。Genevieve等人 ‎[8] ‎[9] 提出一种基于激光雷达和SPAD的追踪定位系统，该方法精度可达±1 cm。Laurenzis等人 ‎[10] ‎[11] 将盖革模式雪崩光电二极管阵列和人眼安全红外激光器相配合，实现非视域成像的重建和定位。在2017年，Susan等人 ‎[12] 提出了一个基于单激光照明和单像素单光子探测的远程跟踪系统，该系统能追踪、定位和重建一个或多个隐藏在视野范围外的目标且距离可超过50米。Tsai等人 ‎[13] 发现并证明了第一次返回光子的飞行时间只依赖于NLOS场景的几何形状，并且每次观测几乎总是从单个NLOS场景点生成，由此提出“空间雕刻算法”，如图3所示。随后在2018年，哈尔滨工业大学的靳辰飞等人 ‎[14] ，在反投影重建算法的基础上利用“椭球模式分解”，然后分别通过滤波和阈值，从椭球模式中重新构建对象，该方法可以有效地消除多个隐藏物体之间的混叠影响，在几乎没有形状畸变的情况下获得良好的重建质量。

图3. Tsai等人基于空间雕刻算法的非视域成像

2.3. 基于选通ICCD的主动非视域成像

Repasi等人 ‎[15] 在2009年利用短红外激光器和选通ICCD实现了非视域成像。随后在2013年，Laurenzis等人 ‎[16] ‎[17] 将高分辨率的ICCD和激光作为成像设备，利用计算光学技术可以分析散射光子的时空分布，并还原其场景信息，实现了较短时间内的米量级尺度的三维非视域成像，实验装置图如图4所示。

图4. Laurenzis等人的非视域成像原理图

之后，北京理工大学的许凯达等人 ‎[18] 提出了一种基于激光距离选通技术的非视域成像系统，将干净玻璃、落灰玻璃和瓷砖作为中介面，在封闭的黑暗空间中进行实验，结果证明非视域成像的重建结果与中介面的材料(反射特性)有关。

2.4. 基于选通ICCD的主动非视域成像

相对于其他探测器来说ToF相机操作系统更简单，速度也更快精度可达毫米量级。2014年Hullin等人 ‎[19] 使用振幅连续波调制(Amplitude Modulated Continuous Wave, AMCW)的ToF相机进行瞬态成像，将非视域成像简化成线性逆问题求解，对视野范围外隐藏的感兴趣场景进行重建，如图5所示。随后Heide等人 ‎[20] 在此基础上，提出了一种从漫反射瞬态图像中重建隐藏几何和低对比度反照率值的方法，对不同反照率物体的重建。Kadamb等人 ‎[21] 提出虚拟传感器阵列(VSA)，将ToF相机距离测量与阵列信号处理连接起来，进行非视域场景下的遮挡成像，实现对隐藏场景的定位和成像。

图5. Hullin等人基于AMCW ToF相机的非视域成像实验模型图

3. 被动非视域成像

被动非视域成像的出现和发展要晚于主动非视域成像，从原理上来说二者都需要获取从中介面反射来的光子从而进行重建，不同之处在于被动非视域成像无需加入主动光调制，只需在自然光的条件下进行图像重建即可。目前根据不同的工作原理可将被动非视域成像分为：基于空间相干测量、强度相干测量、光学偏振测量和红外波段测量等原理的被动非视域成像。

3.1. 基于空间相干测量的被动非视域成像

图6. Batarseh等人基于空间相干性的非视域成像

2018年Batarseh等人 ‎[22] 利用Sagnac干涉仪进行被动非视域成像实验并验证了在漫射墙反射光时空间相干性的转变可以用来检索隐藏在角落的物体的几何信息并评估它们的位置，如图6所示。在实际应用中，通过限制探测仪器的视场，可以有效地抑制非相干体散射的影响。Beckus等人 ‎[23] 利用四维空间相干函数来重建被遮挡物体的二维投影，提出了一种多模态信息融合框架，求解不同尺度反射场强度和空间相干性信息的多准则凸优化重构问题，从而实现普通光照明下的非视域成像。Boger-Lombard等人 ‎[24] 将ToF相机带入被动非视域成像领域，提出一种光学ToF技术，通过干涉测量法从散射光的时间交叉相关性中检索TOF信息，提供了比最先进的超快探测器高出三个数量级的时间分辨率，从而实现对隐藏场景的定位。

3.2. 基于强度相干测量的被动非视域成像

基于强度相干测量的非视域成像是消费级相机最能直接采集的一种方式，也是被动非视域成像中最具有潜力的一种方法。在2017年Bouman等人 ‎[25] 利用墙壁边缘拐角处产生的阴影，利用“边缘相机系统”恢复1-D视频，揭示在闭塞场景中移动的人的数量和轨迹，如图7所示。

图7. Bouman等人基于边缘相机系统的非视域成像系统模型图

2018年Tancik等人 ‎[26] ‎[27] ‎[28] 结合传统几何理解和数据驱动技术的方法实现普通消费级相机的被动非视域成像，用于在2D中识别、定位和跟踪拐角处的隐藏对象。Baradad等人 ‎[29] 将光传输建模为线性系统，并结合关于光场结构的先验知识，通过已知形状和位置的遮挡物，重建场景的二维表示。随后在2019年Saunders ‎[30] 等人在此基础上，提出一种基于计算潜望镜的被动非视域成像技术，该技术在遮挡物形状和大小已知的情况下，实现隐藏场景的彩色二维重建。Yedidia等人 ‎[31] 扩展了基于遮挡物的被动非视域成像的应用范围，利用盲解卷积重建未知场景和估计未知遮挡物的形状和大小。2021年Geng等人 ‎[32] 提出一种基于流形嵌入和最优传输的无源NLOS成像框架NLOS-OT，用于重建高质量的复杂隐藏场景。还创建了第一个大规模的无源NLOS成像数据集NLOS-passive。随后Wang ‎[33] 等人利用深度学习实现NLOS识别系统，用不到1秒的时间对普通相机拍摄的手写数字、手势、人体姿势和时尚产品在墙面的模糊图像(81.58%至98.26%)进行了高精度识别。

3.3. 基于光学偏振测量的被动非视域成像

Hassan等人 ‎[34] 于2019年将偏振与Cook-Torrance着色器结合在一起，为光传输矩阵(LTM)引入了稀疏性，使被粗糙表面遮挡的场景能够被动恢复。偏振信息NLOS成像具有从环境中提取更多信息的优点，同时还具有稀疏传输矩阵，利用穆勒矩阵将强度下的转换映射到偏振下的转换。Tanaka等人 ‎[35] 将偏光器的有效角度理论引入计算成像领域，把与偏振相关的漏光效应系数加入光传输矩阵中以改善矩阵的条件数，该技术可作为一般非视域成像的增强技术，如图8所示。

图8. Tanaka等人基于偏振信息的非视域成像

3.4. 基于红外波段测量的被动非视域成像

Kaga等人 ‎[36] 在2019年用热成像技术来估计隐藏场景的位置和温度，对两个组件沿所有可能光路的值进行投票，可以得到位置的概率分布。一旦物体与墙壁之间的距离被估计出来，隐藏物体的温度就可以由扩散强度逆估计出来。同年，Maede等人 ‎[37] 提出了一种新的长波红外非视距成像框架，由于表面反射率在长波红外光谱中具有比在可见光光谱中强得多的镜面反射，建立具有长波红外特性的光传输模型，实现对隐藏物体的二维形状恢复和三维定位。2020年Divitt等人 ‎[38] 使用双谱和相位检索方法，利用中红外探测器通过扩散器和周围角落的散斑相关成像，分辨率接近衍射极限。还首次实现了通过对在可见光中真正不透明材料(例如粗糙的硅)遮挡下的非视域成像，其系统如图9所示。

图9. Divitt等人基于中红外波段的非视域成像

4. 总结与展望

非视域成像极大地拓展了传统成像的视野范围，使更多复杂场景成像成为可能。主动非视域成像具有精度高、分辨率高、对环境鲁棒性强和能够进行三维重建等优势。主动非视域成像使用的成像设备大多都具备很高的时间分辨率，甚至能够达到飞秒级别，可获得时间和维度上的信息从而实现对隐藏物体的重建。利用具有较高时间分辨率的光子探测器对目标场景三次反射光中时间维度和强度信息的接收处理，对获得的具有时间分辨率的数据进行算法处理，从而达到跟踪、重建和识别等工作。但由于精确时间分辨率的探测器过于昂贵而且需要大量且复杂的计算，导致主动非视域成像应用场景具有一定的局限性。而被动非视域成像则具有设备廉价，光路简单易操作，应用场景更广泛的特点。被动非视域成像使用消费级成像设备采集中介面上的光学信息，输入算法即可恢复出隐藏物体的信息，操作更简便快捷。由于被动非视域成像相对于主动非视域成像，缺失了维度上的信息，这也是导致被动非视域成像重建图像质量低的原因之一。同时，被动非视域成像容易受到环境光的干扰，从而对重建效果造成一定的影响。在实际应用中，可以根据不同场景的特点选用不同方式的非视域成像以达到良好的重建效果。毫无疑问，非视域成像在未来的计算光学和计算成像等领域有着广阔前景，提高非视域成像重建的准确性和基于更加恶劣的环境下非视域成像将称为未来的研究方向，更多技术和设备与非视域成像的结合将成为未来前景的关键一步。

文章引用

肖 涵. 非视域成像系统的研究进展
Research Progress of Non-Line-of-Sight Imaging System[J]. 应用物理, 2023, 13(05): 213-222. https://doi.org/10.12677/APP.2023.135025

参考文献