自监督图学习

本文目录导读：

1. 为什么需要自监督图学习？
2. 核心思想：构建代理任务
3. 主要方法论（三大流派）
4. 两大架构对比（对比式 vs. 生成式）
5. 经典模型速览
6. 常见的图数据增强（对比学习关键）
7. 主要应用场景
8. 最新趋势与挑战

这是一个非常前沿且重要的机器学习方向,自监督学习（SSL）旨在解决图数据中标签稀缺的问题，而图学习（如GNN）又高度依赖标签来学习节点/图的表示。

下面我将为你系统地梳理自监督图学习的核心思想、主要方法、经典模型以及应用场景。

为什么需要自监督图学习？

1. 标签昂贵：在很多现实场景（如分子性质预测、社交网络分析）中，获取图的标签（药物活性、用户兴趣）需要专家知识或实验，成本极高。
2. 数据量大：互联网上有海量的无标签图数据（如网页链接图、引文网络），需要有效利用。
3. 泛化能力：有监督学习容易过拟合特定任务，SSL通过一个精心设计的“代理任务”（pretext task）来学习更通用、更鲁棒的图结构/特征表示。

核心思想：构建代理任务

自监督学习不直接预测目标标签,而是从数据本身构造一个监督信号，模型需要在这个代理任务上表现良好，从而学到表征能力，下图用一个简单的流程说明了这个过程：

flowchart TD
    A[原始无标签图数据] --> B[设计代理任务<br>（自监督信号）]
    subgraph B [常见代理任务示例]
        B1[节点属性掩码<br>（如：遮住部分特征并预测）]
        B2[图结构预测<br>（如：预测两个节点间是否有边）]
        B3[图/节点对比<br>（如：区分不同增广视图是否来自同一节点）]
    end
    B --> C[训练图神经网络]
    C --> D[学习到通用表征]
    D --> E[下游任务<br>（少量标签 fine-tune）]

主要方法论（三大流派）

目前主流的自监督图学习方法可以分为三大类：

基于生成式的方法（Generative Methods）

• 思路：利用图结构预测被隐藏的部分（节点、边、属性），类似于NLP的BERT。
• 经典代理任务：
  • 属性掩码（Attribute Masking）：随机掩盖一部分节点的特征，让模型根据邻居和全局结构预测被掩盖的特征。
  • 边掩码（Edge Masking）：随机删除一些边，让模型预测哪些边被删除了。
  • 图/节点重建（Graph/Node Reconstruction）：编码器对图编码，解码器尝试重建整个图的拓扑结构或节点特征。
• 代表模型：
  • GPT-GNN：通过（1）属性生成和（2）边生成两个任务联合预训练。
  • GraphMAE：借鉴了MAE（Masked Autoencoder）的思想，专门对节点特征进行掩码和重建，性能很强。
• 优点：能够学习到局部结构和特征的细节信息。
• 缺点：生成任务计算量较大，且不一定能学到高阶全局语义。

基于对比式的方法（Contrastive Methods）

• 思路：核心思想是最大化“正样本对”之间的一致性，最小化“负样本对”之间的一致性。
• 经典代理任务：
  • 图-实例对比（Graph-Instance Contrast）：一个图的全局表示应与该图中的局部子图/节点表示相似（正对），与其它图的全局表示不同（负对）。代表：DGI。
  • 跨视图对比（Cross-View Contrast）：对一个图进行不同的数据增强（如随机删除节点、掩码特征、扰动边），得到不同的“视图”，然后训练模型，让同一个图的不同视图的表示尽可能接近，而不同图的视图表示相互远离。代表：GraphCL, SimGRACE。
• 代表模型：
  • DGI：学习节点表示时，最大化节点嵌入与图全局摘要（pooling得到）之间的互信息。
  • GraphCL：系统地研究了不同的图数据增强组合（节点丢弃、边扰动、属性掩码、子图采样），并提出了一个对比学习框架。
  • GRACE：对比图的两个增广视图的节点表示。
• 优点：计算相对高效，能捕获全局结构，效果惊艳。
• 缺点：高度依赖数据增强策略的设计（现有的图增强可能破坏语义），且“负样本”的选择很关键（假阴性问题）。

基于预测式的方法（Predictive Methods）

• 思路：将代理任务建模为一个结构预测问题，如预测节点间的距离、邻居、或图的排序。
• 经典代理任务：
  • 上下文预测（Context Prediction）：预测节点的局部子图（上下文）属于哪种模式。
  • 距离预测（Distance Prediction）：预测图中两个节点之间的最短路径长度或结构距离。
  • 图核预测：预测图的某种图核（Weisfeiler-Lehman，WL）标签。
• 代表模型：
  • InfoGraph：最大化整图表示与局部子图表示之间的互信息（属于对比式，但也可视为预测式的互信息最大化问题）。
  • NodeProperty Prediction：预测节点度、聚类系数等结构属性。
• 优点：无需负样本，设计空间清晰。
• 缺点：任务过于简单可能学不到深层次表示；任务太难又可能无法收敛。

两大架构对比（对比式 vs. 生成式）

经典模型速览

1. DGI：里程碑式的工作，首次将互信息最大化用于图节点表示，训练GCN使局部节点表示与整图表示高度互信息。
2. GraphCL：系统地探索了图对比学习的框架，提出四种图数据增强方法（节点丢弃、边扰动、属性掩码、子图采样），并在多个监督/半监督任务上取得了SOTA（当时）。
3. GraphMAE：解决了生成式模型的重建难问题（特征过平滑），采用带掩码的自动编码器，在节点分类、图分类任务上超越了对比式方法，成为当前主流趋势。
4. SimGRACE：极简主义，无显式数据增强（对模型参数进行扰动来生成不同视图），避免了增强带来的语义破坏。

常见的图数据增强（对比学习关键）

这是GraphCL等模型的核心,设计不当会破坏语义：

• 节点丢弃：随机删除图中的部分节点及其连边，可以看作引入了噪声。
• 边扰动：随机增加或删除边。
• 属性掩码：随机遮蔽节点特征的一部分维度。
• 子图采样：使用随机游走等算法从原图中提取一个子图。
• 属性扰动：对节点特征加入少量高斯噪声。

主要应用场景

1. 节点分类：当训练集只有极少量标注数据时（如每个类仅5个样本）。
2. 图分类：在分子属性预测（药物发现）、蛋白质功能预测等领域，无标签分子图数量极大。
3. 社区发现：通过自监督学习得到节点嵌入后，进行聚类。
4. 异常检测：如果模型在自监督任务上对某个节点/图的预测误差很大，说明该样本偏离了正常模式，可能为异常。
5. 推荐系统：用户-物品交互图，自监督信号可以强化对用户兴趣和物品共现关系的理解。

最新趋势与挑战

1. 混合方法：对比式 + 生成式结合，试图两全其美，预测任务作为对比学习的辅助项。
2. 自动化数据增强：根据图本身特性自动搜索最优的增强策略（如AutoGCL, JOAO）。
3. 大规模预训练：在千万级节点、亿级边的超大图上进行自监督预训练，然后适配下游任务。
4. 挑战：
   • 过平滑：深层GNN结合SSL，容易导致节点表示趋同，难以区分。
   • 假阴性：对比学习中将相似的图错误地当作负样本推开。
   • 扩展性与效率：图对比学习通常需要成对计算（增广视图），对超大规模图仍然成本高昂。
   • 评估标准化：不同论文采用的硬件、数据集划分、评价指标差异大，复现和公平比较困难。

自监督图学习是赋能图神经网络摆脱对大量人工标注依赖的关键技术，当前的主流趋势正从对比式（GraphCL、DGI） 向生成式（GraphMAE） 及混合方法演进，对于初学者，建议从以下几方面入手：

1. 先理解GraphCL的增强与对比损失原理。
2. 再理解GraphMAE的生成式重建逻辑。
3. 实验时,注意数据增强是否破坏图本身的语义。

如果你对某个具体模型或应用场景感兴趣,可以继续深入探讨。