nlos简介：

非视距 （NLOS） 成像/重建 是一种新兴的计算成像技术，旨在恢复直接视距（LOS）之外的隐藏场景。NLOS成像使用光学传感器捕获可见表面上的漫反射光，从而对隐藏的场景信息进行编码。通过对光在场景中的传播过程进行分析和建模，可以恢复隐藏物体的形状、位置等属性，并结合有效的重建算法。这种特殊的成像能力使NLOS成像技术在辅助自动驾驶、机器人视觉、国防、医学影像、灾后救援等领域具有广阔的应用前景。

nlos的分类：

主要可以分为：主动式和被动式、深度和非深度的方法。

主动式：

基本原理：

1. 主动式成像依赖于外部可控光源（如脉冲激光器）。光源照射到一个中间反射面（如墙壁），然后漫反射到不可见的目标物体。
2. 被反射的光线从目标物体表面再次反射回来，形成一个次表面散射波，然后再反射回中间反射面，最后到达探测器。
3. 探测器（如单光子雪崩二极管或光子计数相机）记录光子往返的时间。这些时间数据称为瞬态测量（transient measurements）。
4. 使用各种重建算法（如反投影算法、椭圆断层成像算法、波动基方法等）处理这些时间数据，以重建目标物体的3D形状和位置。

图 瞬态测量（transient measurements）示意

被动式：

基本原理：

1. 被动式成像依赖于环境光或目标物体自身发出的光，而不是使用外部可控光源。
2. 目标物体的光线通过漫反射到中间反射面（如墙壁），形成阴影或半影图像。
3. 使用常规相机拍摄中间反射面上的阴影或半影信息。
4. 通过建立光传输矩阵，利用各种算法（如物理模型、深度学习等）重建目标物体的形状和位置。

图 阴影图像nlos示意图

graph LR
    A[NLOS imaging] --> B[Active imaging]
    A --> C[Passive imaging]
    B --> D[Conventional reconstruction algorithms]
    B --> E[Deep learning-based algorithms]
    C --> F[Conventional reconstruction algorithms]
    C --> G[Deep learning-based algorithms]
    D --> H[Ellipsoidal tomography algorithms]
    D --> I[Geometric methods]
    D --> J[Inverse rendering methods]
    D --> K[Wave-based methods]
    E --> L[End-to-End]
    E --> M[Combined with physical models]
    F --> N[Based on intensity information]
    F --> O[Based on polarization information]
    F --> P[Based on coherent information]
    F --> Q[Add additional occlusion]

nlos发展：

主动式非深度：

• 椭圆断层成像算法 (Ellipsoidal Tomography Algorithms)
• 几何方法 (Geometric Methods)
• 逆渲染方法 (Inverse Rendering Methods)
• 基于波动的方法 (Wave-based Methods)

主动式深度：

• 端到端深度学习方法 (End-to-End Deep Learning Methods)
• 结合物理模型的深度学习方法 (Deep Learning Combined with Physical Models)

被动式非深度：

• 基于强度信息的方法 (Based on Intensity Information)