2.4 三维计算机视觉
三维计算机视觉是计算机视觉领域的重要分支，旨在从二维图像或视频中恢复、重建和理解三维场景的结构、形状、位置与运动信息。与传统的二维计算机视觉（如图像分类、目标检测）不同，三维计算机视觉的核心任务是让计算机具备感知三维空间的能力，从而更接近人类对真实世界的理解方式。
2.4.1 为什么需要三维视觉？
现实世界是三维的，而相机捕捉到的图像是二维投影。这种从三维到二维的投影过程丢失了深度信息，且受到透视、遮挡、光照等因素影响。二维视觉在很多任务上表现优异，但在以下场景中存在根本性局限：
- 机器人抓取与操作：需要知道物体的三维位置和姿态，而非仅像素坐标。
- 自动驾驶：需要估计车辆、行人、障碍物的距离与三维运动。
- 增强现实（AR）：需要将虚拟物体无缝融入真实三维场景。
- 三维建模与数字孪生：需要从图像或点云重建物体与场景的几何模型。
因此，三维计算机视觉致力于解决“从二维到三维”的逆问题。
2.4.2 核心研究问题
三维计算机视觉的研究可归结为几个相互关联的核心问题：
- 多视图几何与三维重建
- 从多张不同视角的图像中恢复场景的三维结构（如运动恢复结构 Structure from Motion, SfM、多视图立体匹配 Multi-View Stereo, MVS）。
- 立体视觉（Stereo Vision）：利用两个或多个相机之间的视差计算深度。
- 深度估计
- 从单目或双目图像中预测每个像素的深度值。
- 单目深度估计依赖学习先验，双目深度估计依赖几何匹配。
- 点云处理
- 点云是三维视觉中常见的表示形式（如LiDAR扫描、深度相机输出）。
- 任务包括点云分割、分类、配准、补全、检测等。
- 三维目标检测与跟踪
- 在三维空间中定位和识别目标，输出三维边界框（中心、尺寸、朝向）。
- 常用于自动驾驶和机器人领域。
- 三维形状表示与生成
- 常用表示：体素（Voxel）、网格（Mesh）、点云、隐式场（如神经辐射场 NeRF、符号距离函数 SDF）。
- 任务包括三维形状分类、检索、生成与编辑。
- 视觉SLAM与里程计
- 同时定位与建图（SLAM）是三维视觉在移动机器人中的典型应用，通过相机估计自身位姿并构建环境地图。
2.4.3 关键技术方法
1. 传统几何方法
- 对极几何：描述两个视图之间的几何约束，用于立体匹配和相机位姿估计。
- 光束法平差（Bundle Adjustment）：联合优化相机参数和三维点坐标，最小化重投影误差。
- ICP（迭代最近点）：用于点云配准，通过迭代优化对应关系和刚体变换。
2. 深度学习驱动的三维视觉
随着深度学习的发展，三维视觉从手工特征和几何优化转向端到端学习：
- 基于体素的方法：将三维空间离散为体素网格，使用3D CNN处理，但计算量大、分辨率受限。
- 基于点云的方法：直接处理无序点集，如PointNet、PointNet++、DGCNN、Point Transformer等。
- 基于图的方法：将点云或网格视为图结构，利用图卷积网络。
- 基于隐式函数的方法：用神经网络表示连续三维形状（如DeepSDF、Occupancy Networks）。
- 神经辐射场（NeRF）：用一个MLP表示场景的辐射场和密度，实现高质量新视角合成与三维重建。
- 三维高斯泼溅（3D Gaussian Splatting）：近期兴起的实时可微渲染与重建方法。
3. 多模态融合
三维视觉常与RGB、深度、LiDAR、IMU等模态融合，提高鲁棒性与精度。例如：
- RGB-D相机（如Kinect、RealSense）同时提供彩色图像和深度图。
- 自动驾驶中融合相机与LiDAR点云进行三维检测。
2.4.4 典型应用
- 自动驾驶：三维目标检测、语义场景补全、轨迹预测。
- 机器人：抓取位姿估计、导航与避障、人机交互。
- AR/VR：实时三维跟踪、场景重建、虚实融合。
- 医疗影像：器官三维重建、手术导航。
- 文化遗产与建筑：大规模场景三维数字化。
- 电商与游戏：商品三维展示、虚拟试穿、内容生成。
2.4.5 挑战与未来方向
当前三维计算机视觉仍面临诸多挑战：
- 数据稀缺与标注困难：三维标注成本远高于二维。
- 计算效率：点云、体素、NeRF等表示计算和存储开销大。
- 泛化能力：不同传感器、场景、光照下的鲁棒性。
- 动态场景理解：从静态重建走向动态、实时、交互式三维感知。
- 可微渲染与优化：将图形学渲染与深度学习结合，实现端到端优化。
- 多模态大模型与三维视觉：如何将语言、图像与三维统一到基础模型中。
2.4.6 小结
三维计算机视觉是连接二维图像与真实三维世界的桥梁。它融合了计算机视觉、计算机图形学、几何学与深度学习，正从传统的几何方法走向数据驱动与神经表示。随着传感器普及、算力提升和算法创新，三维视觉有望在自动驾驶、机器人、AR/VR、数字孪生等领域发挥越来越关键的作用。
