本文目录导读：
深度估计网络是计算机视觉领域中一类重要的深度学习模型,其目标是从单张或双张（或多张）2D图像中推断出每个像素点到相机的距离（即深度值），这项技术是3D视觉感知的核心，广泛应用于自动驾驶、机器人导航、增强现实、三维重建和影视特效等领域。
下面我将从任务类型、经典网络架构、关键技术、当前挑战以及未来趋势等多个维度，为你系统性地介绍深度估计网络。
任务类型
根据输入图像的数量和类别,深度估计主要分为以下几类：
-
单目深度估计 (Monocular Depth Estimation, MDE)：
- 输入：单张RGB图像。
- 原理：通过学习和利用图像中的线索，如线性透视（铁轨交汇）、相对尺度（远处的人更小）、纹理梯度、遮挡轮廓、大气散射（远处偏蓝）、物体先验（已知汽车大小，可由像素大小推断距离）等。
- 特点：难度最大，因为从一张2D图像恢复到3D深度是病态问题（存在歧义性），但实用性强，成本低，相机只拍了一张照片，网络需要“猜测”场景的深度。
-
双目/多目深度估计 (Stereo Depth Estimation)：
- 输入：左右两张（或更多）有视差的图像（类似人眼）。
- 原理：在左图和右图中找到对应点，计算其视差（像素位置的差异），利用三角测量原理，相机基线（两个相机之间的距离）已知，视差越大，物体越近；视差越小，物体越远。
- 特点：准确度相对较高，是自动驾驶中主流的方案（例如双目摄像头），核心挑战在于立体匹配，特别是对于弱纹理、重复纹理、反射区域。
-
视频序列深度估计 (Video Depth Estimation)：
- 输入：连续的RGB视频帧。
- 原理：利用多视图几何（如SfM，即运动恢复结构）和时序一致性约束，利用帧间的微小运动和光流信息来推断深度。
- 特点：可以借助多帧信息提升单帧深度的准确性和时序平滑性。
经典与前沿网络架构
深度估计网络的发展历程基本遵循了从监督学习到自监督/无监督，从纯卷积到Transformer的演进。
监督学习时代（依靠真实深度标签）
- Eigen et al. (2014)： 开创性的工作，提出一个多尺度卷积网络：一个全局粗尺度网络预测整体场景布局，一个局部细尺度网络细化边缘细节。
- DORN (Deep Ordinal Regression Network, 2018)： 将连续的深度值离散化为多个区间，将回归问题转化为有序分类问题（Ordinal Regression），使用间距损失，取得了当时sota效果。
- BTS (Big Time Survey, 2019)： 引入了局部平面引导层，让解码器不仅依靠像素级特征，还学习到局部的平面假设，对于预测平面（如地面、墙面）有显著提升。
自监督/无监督时代（利用图像重建作为信号）
- Monodepth (2017) 及其后续： 开创性地利用双目图像对进行无监督训练，核心思想是：左图的某个像素（深度d）通过相机内参、基线、深度值，可以“投影”到右图的对应位置，如果预测的深度准确，那么重投影的右图和真实的右图应该非常相似（光度一致性损失），这个框架成为了后续几乎所有自监督方法的基石。
- Monodepth2 (2019)： 在Monodepth基础上加入了最小重投影损失、自动遮罩（处理运动物体）和多尺度匹配，极大地提升了鲁棒性和准确性。
- ManyDepth (2021)： 引入了成本体积（Cost Volume），将深度估计算法与立体匹配结合，解决了自监督方法在动态物体、低纹理区域的困难。
基于Transformer的近期趋势
- DPT (Dense Prediction Transformer, 2021)： 将视觉Transformer (ViT) 作为编码器，ViT能够捕获全局的、长距离的像素依赖关系，这对于理解透视、比例等全局线索至关重要，因此性能远超之前的纯CNN (卷积神经网络) 模型。
- ZoeDepth (2022)： 提出了一种度量深度和相对深度的混合方法，它首先使用在大型相对深度数据集（如MIXS）上预训练的模型（MiDaS），然后通过一个轻量级的“度量头”进行微调，以适应特定场景（如室内/室外）的度量尺度。
- Depth Anything (2024): 目前一个代表性的高性能模型，其核心是数据工程：利用大规模未标注的图像数据，通过一个强大的预训练教师模型（如DPT）生成“伪标签”，然后用这些伪标签和少量真实标签训练一个学生模型，这种方法极大提升了模型的泛化能力和鲁棒性。
核心技术细节与损失函数
-
损失函数：
- 尺度不变损失 (Scale-Invariant Loss)： 对于单目方法，预测的深度值通常是一个相对尺度（比如物体A是物体B的两倍远，但绝对距离未知），这个损失函数只惩罚预测值与真实值在对数空间的差异，忽略全局绝对尺度的误差。
- 结构相似性损失 (SSIM)： 常用于自监督方法，光度一致性损失中，SSIM不仅仅比较像素亮度，还对比亮度、对比度和结构，对光照变化更鲁棒。
- 平滑损失 (Smoothness Loss)： 鼓励预测的深度图在边缘（如物体内部）平滑，而在物体边界处保持锐利，通常用边缘感知的梯度惩罚项。
-
关键网络模块：
- 编-解码器结构： 最常见，Encoder (ResNet, ViT) 下采样提取特征，Decoder (FPN, UNet) 上采样恢复分辨率。
- 跳跃连接 (Skip Connection)： 将Encoder的浅层、高分辨率特征与Decoder的深层特征结合，保留边缘细节。
- 注意力机制： 无论是Spatial Attention (空间注意力)还是Channel Attention (通道注意力)，都能帮助网络关注到图像中与深度相关的关键区域（如物体轮廓）。
主要挑战
- 尺度模糊性： 单目估计无法准确测量物体的绝对大小和距离，一个巨大的物体在远处和一个微小的物体在近处，投影到图像上可能一模一样。
- 纹理缺失与重复： 白色墙壁、水面、大面积草地等区域缺乏纹理，难以找到对应点或推断深度。
- 透明与反射物体： 玻璃、镜面、水面等物体反射的是背景环境，造成深度混淆。
- 动态物体与遮挡： 移动的行人、汽车，或被前景遮挡的背景，其深度信息难以建模。
- 传感器限制： 真实深度标签（如LiDAR点云）往往稀疏、有噪声、覆盖不全；双目/多目相机依赖硬件标定精度。
- 泛化能力： 在一个数据集上训练好的模型，迁移到另一个“域”（如从城市街景到室内杂乱环境）时，性能会显著下降。
性能评价指标
- 绝对相对误差 (Abs Rel)： (|d{gt} - d{pred}| / d_{gt})，越小越好。
- 平方相对误差 (Sq Rel)： 对误差大值的惩罚更重。
- 均方根误差 (RMSE)： 对较大误差敏感。
- 对数均方根误差 (RMSE log)： 在log空间计算，对相对误差更鲁棒。
- 阈值准确率 (δ < 1.25, 1.25^2, 1.25^3)： 预测深度与真实深度比值在某个阈值内的像素比例，越大越好。
未来趋势与应用
- 3D场景理解与生成： 深度估计是实现神经辐射场 (NeRF) 和 3D高斯泼溅 (3D Gaussian Splatting) 的关键输入，尤其在新视图合成和3D重建中。
- 多模态融合： 融合RGB、LiDAR、雷达、IMU（惯性测量单元） 等多种传感器数据，弥补单一传感器的缺陷，用LiDAR提供稀疏的精确深度锚点，指导深度估计网络学习稠密的深度图。
- 实时性与边缘部署： 面向机器人、手机、无人机等资源受限设备，设计轻量级、高帧率的深度估计模型（如MobileNetV3+LiteDepth）。
- 更鲁棒的泛化： 通过更好的预训练、数据增强、域适应技术，目标是让模型“考一次就通用”，在任何环境下都能工作。
- 结合场景结构先验： 将场景的几何结构、语义标签、甚至物理规律（如物体支撑关系）引入深度估计，减少歧义。
总结示例性资源
- GitHub仓库：
intel-isl/MiDaS(经典的相对深度估计框架),nianticlabs/monodepth2(自监督学习的标杆),DepthAnything(基于大规模数据训练的高性能通用模型)。 - 高质量数据集： NYU Depth v2 (室内), KITTI (自动驾驶), ScanNet (室内3D扫描), Taskonomy (多种3D任务), DIML (室内外混合)。
深度估计网络正从“能用”向“高精度、鲁棒、实时、通用”快速发展，是连接2D视觉与3D世界的重要桥梁，希望这份梳理对你有帮助，如果有更具体的问题，欢迎继续交流。
