视频预训练的难度确实远超图像或文本预训练，核心在于它在时间、空间和语义三个维度上都遇到了巨大挑战,我们可以从以下几个关键难题来理解：
-
数据量和数据质量的双重困境
- 数据量巨大：一段1秒的1080p视频（30帧）的数据量，是30张独立图像的组合，这还不算音频,处理海量数据需要极其庞大的计算资源和存储空间。
- 数据质量参差不齐：相比精心标注的图像（如ImageNet），网络视频噪声极大，低分辨率、抖动、模糊、无关场景、重复片段、画外音干扰等常见问题，会严重影响模型学习，如何从海量未标注视频中自动筛选出高质量、有信息量的片段本身就是个难题。
-
时间维度的建模难题
- 长程依赖关系：视频的核心是时间上的连续性，一个动作（如“倒水”）的结果（“水杯满了”）可能发生在几秒甚至更久之后，模型需要建立跨越数十乃至上百帧的长期依赖关系，这比处理文本的几十到几百个token要困难得多,因为帧之间的相关性会随时间快速衰减。
- 运动建模的复杂性：模型需要理解物理世界的运动规律——物体的移动、变形、遮挡、光影变化等，如何区分“风吹树叶”和“人故意摇晃树”？这需要模型具备对因果关系的初步理解，光流、时序差分等传统方法只能捕捉短时运动,而深度学习需要学习更抽象的时空表征。
- 时序对齐与同步：多个物体可能同时发生不同动作（如一个人边走路边打电话），视频中的视觉、音频、文字（如字幕）需要精确的时序对齐,模型需要学会在多模态信息中建立时间对应关系。
-
空间与图像的复杂多样性
- 场景与视角的极度丰富：视频中同一物体或动作可能出现在完全不同的场景、光照、天气、摄像头角度下（在家做饭”vs“在野外生火做饭”），模型需要具备极强的不变性——即忽略无关的背景和视角变化,抓住核心语义。
- 空间细节与全局信息的权衡：模型既要能注意到细小的物体（如“人物的眼神”、“手里的钥匙”），又要能理解全局场景（如“这是一个拥挤的教室”），这要求模型具有类似视觉Transformer的多尺度空间注意力机制,但计算量会因此成倍增加。
-
高效的架构设计难题
- 计算与内存瓶颈：直接对原始视频帧（如16帧 224x224的图像）进行密集的3D卷积（3D CNN）或时空注意力（Video Transformer），计算量和显存消耗会远超图像模型，一个标准的ViT处理图像需要 16x16=256 个patch，而处理16帧视频就需要 16x256=4096 个patch，自注意力的复杂度是 O(n²) ,增长极其惊人。
- 近似方法的局限性：为了缓解计算压力，研究者提出了各种方法，如稀疏采样（只取关键帧）、局部时序注意力（只在相邻帧内建模）、时序下采样（降低帧率）等，但每种方法都会牺牲一部分信息，如何在效率和效果之间取得最佳平衡，是一个持续的困扰，只采样关键帧可能会丢失细微动作（如“眨眼”）。
-
可学习的表征与语义鸿沟
- 什么是好的视频表征？ 理想的视频表征应该具备：时间不变性（倒放能识别吗？加速/减速能识别吗？）、对象中心性（关注动作的主体和客体）、因果性（理解动作的前因后果），但当前主流的对比学习（如CLIP）或掩码建模（如VideoMAE）主要依赖帧间的相似性或像素重建,很难直接学习到这些高级语义。
- 从像素到语义的跨越：模型需要从原始像素中自动发现“故事”——比如一段视频讲述了“一个人从起床、洗漱、吃早餐到出门上班”的完整流程，这要求模型具备像人类一样的叙事理解能力，而不仅仅是识别静态画面中的物体，即使是最大的模型（如Sora），也更多是在生成流畅的视觉序列,而非真正理解其背后的语义逻辑。
-
评估与下游任务的不匹配
- 预训练目标 vs 应用目标：预训练阶段通常使用对比学习（让相似视频的表示靠近）或掩码重建（预测被遮住的图像块或帧），但下游任务（如动作识别、视频问答、时序定位）往往要求模型回答具体的问题（“此人从第几秒开始跳？”、“他手里拿的是什么？”），预训练目标与下游目标之间存在显著的鸿沟,导致预训练带来的增益往往不如在特定任务上微调好。
- 基准测试的局限性：现有的视频理解基准（如Kinetics-400、Something-Something v2）大多关注短片段（10秒内）的单个动作识别，无法衡量模型对长视频、多事件、复杂叙事结构的理解能力,很难判断预训练模型是否真正学到了通用的视频知识。
视频预训练的难度是系统性的：它需要同时解决海量高维数据的存储计算、时空连续性与长程依赖的建模、多模态信息的对齐融合，以及从低级视觉到高级语义的抽象理解，每一个环节都是开放的研究问题，且相互耦合（更复杂的架构通常需要更高质量的数据来驱动），这也解释了为什么像OpenAI的Sora这样的突破（虽然主要是生成式）会引起如此巨大的轰动——因为它首次展示了在视频这个维度上，模型能够跨越上述部分难题，生成出符合物理世界规律、具有一致性和故事感的视频内容。
