本文目录导读:

“夜景增强多帧”是计算摄影(Computational Photography)中一项非常重要的技术,它不是靠单次长曝光,而是通过连续拍摄多张欠曝或不同参数的短帧照片,然后利用算法将它们合成为一张高质量的夜景照片。
这项技术目前几乎已经普及到所有中高端智能手机上(如iPhone的夜间模式、Google Pixel的夜视模式、华为的夜景模式等)。
核心原理:为什么要用“多帧”?
单张拍摄夜景照片通常会遇到三个无法同时解决的矛盾:
- 噪点 vs 手抖:提高ISO(感光度) -> 画面噪点多;降低快门速度 -> 手抖导致画面模糊(糊片)。
- 高光 vs 暗部:为了看清暗部细节可能导致高光(如路灯、霓虹灯)完全过曝;为了保留高光细节,暗部则一片漆黑。
- 动态范围:单张照片的动态范围有限,无法同时记录从极暗到极亮的场景细节。
多帧增强技术恰恰能解决这三者。
工作流程(技术细节):
当你按下快门时,手机会在一两秒内自动完成以下操作:
-
快速连拍:相机以极高的帧率(例如每秒15-30帧)拍摄一组照片,数量通常在6-15张不等。
- 短曝光帧(基础):多数为曝光不足的帧,用于捕捉高光细节(避免过曝),同时快门速度快,保证画面清晰不糊。
- 长曝光帧(可选):偶尔包含1-2张略长曝光的帧,用于获取暗部细节。
-
多帧对齐(核心步骤):
- 由于手持拍摄,每张照片的像素点位置会有微小的偏移。
- 算法会计算这些偏移量(基于陀螺仪数据和图像特征匹配),并通过亚像素级的坐标变换,将所有照片的景物严格对齐,这一步实现了软性防抖(无需三脚架)。
-
合成与降噪(核心步骤):
- 信噪比提升:图像中的“信号”(真实景物)是固定的,而“噪声”(随机电信号)是随机的,将多张同一场景的照片叠加平均,噪声会相互抵消(遵循√N定律:N张照片叠加,信噪比提升$\sqrt{N}$倍),合成9张照片,噪点减少约1/3。
- 去马赛克与插值:利用多帧中不同像素位置的信息,可以填补单帧传感器的颜色插值缺陷,提升色彩准确性和细节锐度。
-
高动态范围(HDR)合成:
- 从“欠曝帧”中提取高光区域(如窗户灯光、月亮)的纹理。
- 从“正常帧”中提取中间调区域。
- 从“长曝光帧”中提取暗部区域(阴影、细节)。
- 将它们完美融合,生成一张高光不过曝、暗部有细节的单张照片。
-
色调映射与修饰:
AI算法会对合成的线性数据进行明暗曲线调整(Tone Mapping),使其看起来更像人眼所见,并自动进行白平衡校正、去除雾霾(Dehaze)等。
关键技术挑战:
- 运动物体处理:行人、车流、树叶晃动(非刚性运动),算法必须能检测到这些局部运动,要么自动剔除运动区域(只用干净帧的固定区域),要么进行时间域的去鬼影处理(避免叠出半透明残影),优质算法能较好地应付轻微运动。
- 对齐精度:微小的手抖会导致非线性的透视变形(仿射变换),需要高精度的陀螺仪或光流算法进行补偿。
- 存储与算力:连拍多张RAW(原始)格式照片并实时合成,对芯片的ISP(图像信号处理器)和NPU(神经网络处理器)要求很高。
最终效果:
- 更亮、更纯净:噪点极低,可在极暗光下拍出明亮照片。
- 更清晰:消除了手持抖动造成的模糊,等效于在三脚架上拍摄。
- 更大的动态范围:同时能看到星星和地面灯火,细节丰富。
- 色彩更精准:多帧信息平均后,白平衡不易受到单帧偏色的影响。
与“长曝光”的区别:
| 特性 | 夜景增强多帧(手持) | 传统长曝光(需三脚架) |
|---|---|---|
| 拍摄时长 | 1-3秒(手持) | 5-30秒+(稳定态) |
| 稳定性要求 | 低(全靠算法对齐) | 高(任何震动都会导致糊片) |
| 运动处理 | 可处理轻微运动 | 运动物体会变成拖影(如车流) |
| 最终效果 | 亮场干净、细节清晰 | 丝般的流水、线状车灯 |
应用场景:
- 手机夜景模式(iPhone Night Mode, Google Night Sight, 华为/荣耀夜景)
- 弱光人像(需要保持人物清晰同时背景明亮自然)
- 星轨/银河(部分手机通过多帧叠加+AI消除移动星点,模拟长曝光)
- 视频夜景(多帧降噪是视频防抖和高ISO视频的核心)
“夜景增强多帧”是现代手机摄影的基石,它用算法弥补了物理硬件(小传感器、不如单反的镜头进光量)的不足,通过“以量取胜”(多帧合成) + “智能计算”(对齐+降噪+HDR),让你能单手拍出曾经需要三脚架、专业相机和后期软件才能实现的夜景照片。 如果你觉得手机夜景模式效果好,背后就是这个技术在工作。