消费级 SPAD 激光雷达的非视距成像：从光子时间戳到实时隐藏物体重建

引言：当智能手机学会 "透视"

在自动驾驶汽车和工业机器人领域，激光雷达（LiDAR）早已是环境感知的标配。然而，传统 LiDAR 存在一个根本局限：只能 "看见" 视线范围内的物体。对于拐角后的行人、遮挡物背后的障碍物，系统只能依赖预测或冗余传感器。非视距成像（Non-Line-of-Sight Imaging, NLOS）技术的出现，正在打破这一物理限制。

随着单光子雪崩二极管（SPAD）传感器成本的下降和集成度的提升，消费级设备 —— 尤其是智能手机 —— 开始具备实现 NLOS 成像的硬件基础。本文将深入探讨从光子时间戳采集到隐藏场景实时重建的技术链路，并分析面向消费级部署的算法优化策略。

技术原理：SPAD 光子时间戳与 NLOS 成像

SPAD 传感器的时间分辨率优势

SPAD 是一种能够达到单光子探测灵敏度的固态光电探测器。与传统光电二极管不同，SPAD 工作在盖革模式（Geiger mode）下，当单个光子入射时即可触发雪崩击穿，产生可被检测的电脉冲。这种机制使 SPAD 具备两个关键特性：

皮秒级时间分辨率：现代 SPAD 阵列的时间抖动（timing jitter）可控制在数十皮秒量级，这意味着系统能够以亚毫米级精度测量光子的飞行时间。对于 NLOS 成像而言，这种时间精度是解析散射光路径的基础。

单光子灵敏度：SPAD 能够探测极微弱的光信号，这对于 NLOS 场景至关重要 —— 因为到达隐藏物体并反射回传感器的光子，往往仅占发射总量的极小部分。

NLOS 成像的物理模型

NLOS 成像的核心思想是利用间接光路。激光脉冲照射到可见的 "中继表面"（如墙壁、地面），部分光子散射到视线外的隐藏场景，经反射后再次通过中继表面返回传感器。通过分析返回光子的时间分布，系统可以反推出隐藏物体的三维结构。

这一过程在数学上表现为一个逆问题：已知测量到的光子时间直方图，求解隐藏场景的几何和反射特性。前向模型描述了从隐藏场景到测量数据的映射关系，通常基于光传输方程和表面反射模型构建。

实时算法优化：从理论到工程落地

计算瓶颈与优化策略

NLOS 重建的计算复杂度主要来源于三个方面：高维状态空间、复杂的物理前向模型，以及噪声环境下的统计推断。对于消费级设备，必须在以下维度取得平衡：

时间分辨率与空间分辨率的权衡：更高的时间分辨率意味着更精细的深度信息，但也带来更大的数据量和更长的积分时间。实践中，采用自适应时间门控策略 —— 根据场景动态调整积分窗口 —— 可在保证精度的同时降低数据带宽。

前向模型的简化：精确的光传输模拟计算成本高昂。工程上常采用基于路径追踪的近似模型，或预计算查找表（LUT）来加速前向评估。研究表明，在保持重建质量的前提下，简化模型可将单次迭代时间降低一个数量级。

优化算法的加速：从凸松弛到基于学习的先验，现代 NLOS 重建算法已发展出多种快速求解路径。其中，摊销推理（amortized inference）通过训练神经网络将迭代优化转化为前向推理，特别适合实时应用。

运动自适应处理

对于手持设备，运动模糊是 NLOS 成像的主要挑战之一。由于单光子计数需要一定的积分时间来积累足够的光子，设备移动会导致时间直方图失真。

运动自适应去模糊算法通过联合估计场景运动和深度来应对这一问题。核心思路是利用 SPAD 的高时间分辨率特性，将长曝光分割为多个短曝光子帧，通过光流估计对齐后再进行融合。这种方法在保持信噪比的同时，有效抑制了运动伪影。

消费级部署挑战与解决方案

功耗与散热约束

智能手机的功耗预算通常在数瓦级别，而高性能 SPAD 阵列和实时重建算法的计算需求可能远超这一限制。解决方案包括：

硬件 - 软件协同设计：将前向模型评估和梯度计算卸载到专用加速器（如 NPU 或 GPU），CPU 仅负责控制流和高层调度。

分层重建策略：先以低分辨率快速生成粗略深度图，再对感兴趣区域进行高分辨率细化。这种由粗到精的策略可显著降低平均计算负载。

动态帧率调整：根据场景复杂度和用户交互状态自适应调整重建帧率。静态场景下降低帧率以节省功耗，动态场景下优先保证响应速度。

形态限制与光学设计

智能手机的紧凑形态对光学系统提出了严苛要求。消费级 SPAD LiDAR 模块通常采用以下设计：

共轴光学系统：发射端和接收端共享同一光学路径，减小模组体积。

微透镜阵列：在 SPAD 像素上方集成微透镜，提高光子收集效率，降低对激光功率的需求。

扫描机制优化：机械扫描精度高但体积大，固态扫描（如 MEMS 或光学相控阵）更适合移动设备，尽管其视场角和扫描速度仍有提升空间。

应用场景与未来展望

自动驾驶与机器人

在自动驾驶领域，NLOS 成像可提前感知拐角处的行人或车辆，为决策系统争取宝贵的反应时间。对于室内服务机器人，该技术可帮助导航至被家具遮挡的目标位置。

搜索与救援

在灾害救援场景中，NLOS 成像可穿透烟雾或部分遮挡物，定位被困人员。SPAD 的单光子灵敏度使其在低照度环境下仍能有效工作。

消费电子

智能手机集成 NLOS 能力后，可实现 "透视" 拍摄、增强现实遮挡处理等功能。未来，随着算法效率的进一步提升，实时 NLOS 视频可能成为新的交互范式。

结论

消费级 SPAD LiDAR 的非视距成像正从实验室走向实用化。从皮秒级光子时间戳的精确采集，到适应移动平台约束的实时重建算法，这一技术链条的每个环节都经历了显著的工程优化。尽管低光子计数、背景噪声和运动模糊等挑战依然存在，但硬件 - 算法协同设计的进步正在不断拓展其应用边界。

对于系统开发者而言，关键在于理解 SPAD 数据特性与重建算法之间的耦合关系，在精度、延迟和功耗之间找到适合具体场景的最优解。随着 SPAD 阵列集成度的持续提升和端侧算力的增强，非视距成像有望成为下一代智能设备的标配感知能力。

参考来源

• Callenberg et al., "Low-Cost SPAD Sensing for Non-Line-Of-Sight Tracking, Material Classification and Depth Imaging," SIGGRAPH 2021.
• "Path Tracing-Inspired Modeling of Non-Line-of-Sight SPAD Data," Nature Portfolio / Research Portal.
• Hacker News, "Seeing Around Corners Using Smartphone-Grade Lidar," 2026.

systems