Darts可微搜索

本文目录导读：

1. 目录导读
2. Darts可微搜索的诞生背景
3. 核心技术原理：如何将架构搜索“平滑化”？
4. Darts的实战全流程
5. 你必须知道的5个陷阱与优化技巧
6. QA问答：解决90%应用困惑
7. 行业落地：Darts在医疗、端侧AI的野心

Darts可微搜索：神经网络架构搜索的“微分革命”——原理、实战与深度问答

目录导读

1. Darts可微搜索的诞生背景

   • 从手工调参到NAS的进化痛点
   • 为什么“可微”是颠覆性突破？

2. 核心技术原理：将架构搜索“平滑化”

   • 连续松弛化架构表示
   • 双层优化与梯度下降的博弈
   • 关键数学公式白话解读

3. Darts的实战全流程（附代码逻辑）

   • 搜索阶段：如何“边训练边剪枝”？
   • 评估阶段：为什么最终架构是离散的？
   • 与主流NAS方法（如ENAS、随机搜索）的对比

4. 你必须知道的5个陷阱与优化技巧

   • 跳过连接“过拟合”问题
   • 搜索与评估的性能鸿沟
   • 边缘化操作与正则化策略

5. QA问答：解决90%应用困惑

   • Q1：Darts需要大量GPU吗？
   • Q2：如何替换搜索空间中的操作？
   • Q3：为什么我的搜索后准确率反而下降？

6. 行业落地：Darts在医疗、端侧AI的野心

   • 医疗图像分割中的轻量架构提取
   • 手机端人脸识别模型的自动压缩

---

Darts可微搜索的诞生背景

从“暴力试错”到“梯度智能”

2018年以前，神经网络架构搜索（NAS）主要依赖强化学习（如NASNet）或进化算法，这些方法虽能发现超越人工设计的架构，但存在致命缺陷：每次评估一个候选架构需完整训练，动辄数千GPU小时，Google的NASNet用了800个GPU跑了28天——这让中小团队望而却步。

Darts的核心理念：既然网络权重可以通过梯度下降优化，那么架构本身为什么不能也变成可微参数？2018年，DARTS（Differentiable Architecture Search）的论文首次提出将离散的架构选择问题松弛为连续优化,使我们可以用反向传播同时更新权重和架构。

破局点：将搜索时间从数千小时降低到几小时，甚至能在单张GPU上完成CIFAR-10的架构搜索，这正是“可微”赋予的爆发力——不再“猜”架构，而是让模型自己“学会”如何搭建。

---

核心技术原理：如何将架构搜索“平滑化”？

1 连续松弛化：把“二选一”变成“加权混合”

传统的NAS中，网络中的每一层需要从候选操作集（如3x3卷积、5x5卷积、最大池化）中强制选择一个，这是离散决策,无法直接求导。

Darts的做法是：对每个操作赋予一个可学习的权重α，然后通过softmax将该层的输出变为所有操作的加权混合。
某一层输入x,输出：

[ o^{(i,j)}(x) = \sum_{k=1}^{K} \frac{\exp(\alphak^{(i,j)})}{\sum{k'}\exp(\alpha_{k'}^{(i,j)})} \cdot op_k(x) ]

是架构参数，K是操作总数。所有操作同时参与前向计算，但权重由α控制。

2 双层优化：权重与架构的“囚徒博弈”

搜索过程需要训练两组参数：

• 网络权重w（普通卷积、BN层的参数）
• 架构参数α（控制每个操作权重的向量）

训练逻辑分两层：

1. 下级优化：固定当前α，在训练集上优化w，使其最小化损失( \mathcal{L}_{train}(w, \alpha) )
2. 上级优化：基于w的收敛状态，在验证集上优化α，最小化验证损失( \mathcal{L}_{val}(w^*, \alpha) )

近似解法：论文使用一阶或二阶近似交替更新，例如针对验证损失对α求导时，用当前w代替最优w*,这使得每次迭代仅需两次反向传播。

3 从连续到离散：搜索完为什么必须“还原本质”？

搜索结束后，对每条边，保留α权重最大的操作（如softmax输出值最高的卷积类型），替换原来的加权混合，这一步称为离散化——因为推理时不能再使用所有操作混合，必须选择一个固定架构，该架构再从头训练（搜索阶段权重w已抛弃）。

---

Darts的实战全流程

1 搜索阶段：一架“可伸缩”的桥梁

典型设置：

• 搜索空间：8个cell（每个cell包含两个节点，共7条边）
• 每次迭代：前向时所有操作混合（GPU内存占用约是正常网络的k倍，k为操作数）
• 更新流程：
  1. 计算训练损失→更新w
  2. 计算验证损失→更新α
  3. 每若干epoch后，根据α强度剪枝边缘操作（如强制裁掉权重<0.1的路径）

注意事项：α的学习率通常比w小10倍（如0.0003 vs 0.025），否则α会过早收敛，笔者实验中发现，学习率>0.001,最终架构可能退化到只有跳跃连接。

2 评估阶段：把“剪影”铸成“实体”

根据最终离散架构，重新构建网络（无混合、无α参数），初始化新权重从头训练，这一步可复用标准训练策略（如cutout、label smoothing）,但注意数据增强的匹配。

伪代码示例（Python风格）：

# 搜索阶段
for epoch in range(50):
    for x_train, y_train in train_loader:
        logits = model(x_train)  # 混合操作
        loss = cross_entropy(logits, y_train)
        optimizer_w.zero_grad(); loss.backward(); optimizer_w.step()
    for x_val, y_val in val_loader:
        logits = model(x_val)
        val_loss = cross_entropy(logits, y_val)
        optimizer_alpha.zero_grad(); val_loss.backward(); optimizer_alpha.step()
# 评估阶段
normal_arch = discretize(model.alpha_normal)  # 提取最大权重操作
final_model = build_network(normal_arch)  # 无混合
final_model.train()

3 对比主流NAS方法

方法	搜索时间 (CIFAR-10)	训练技巧复杂度	可迁移性
NASNet	约2000 GPU天	高（RL+强力搜索）	好
ENAS	约0.5 GPU天	中（参数共享）	一般
Darts	2-4 GPU天	低	较好

Darts的优势在于搜索效率与简单性，但对搜索空间敏感，若操作集包含大量有参数操作（如空洞卷积）,搜索时会因内存爆炸而失败。

---

你必须知道的5个陷阱与优化技巧

1 跳过连接“过拟合”问题

现象：搜索结束时，α权重倾向于将所有边指向跳过连接（skip connection）。
原因：跳过连接不引入参数，验证损失下降最快，α会“懒政”。
对策：

• 对跳过连接施加额外的L1正则（如权重惩罚）
• 强制每个cell至少包含一个卷积操作

2 搜索性能与评估性能的鸿沟

现象：搜索时的验证准确率很高，但离散化后重新训练的模型准确率下降5-10%。
原因：搜索时混合操作相当于“多路复用”，离散化后信息流变窄。
对策：搜索时增加“离散化惩罚”或使用更短的训练周期（如搜索30epoch而非50）。

3 边缘化操作的正则化

技巧：对α的更新使用学习率衰减+梯度裁剪，笔者在ImageNet scale方案中，将α的梯度范数裁剪到1.0以下,避免架构参数剧烈震荡。

4 内存优化

搜索时内存占用高，可改用渐进式缩小：先搜索整体架构，再搜索具体操作,或使用梯度检查点技术。

5 搜索空间约束

避免包含大量小卷积核（如1x1→3x3→5x5同时出现），减少冗余操作，笔者推荐使用“轻量级搜索空间”（仅4种操作：3x3 sep, 5x5 sep, max pool, skip）。

---

QA问答：解决90%应用困惑

Q1：Darts需要大规模GPU集群吗？
A1：不，典型CIFAR-10搜索用单张V100（或RTX3090）即可在2天内完成，如果显存不足（如12GB），可减少候选操作数（如从8种减至5种），或使用混合精度训练（AMP）。

Q2：如何将Darts迁移到自定义搜索空间（例如我想加入Inception模块）？
A2：在代码中修改候选操作列表，例如在operations.py中加入Identity、DilatedConv3x3等，注意添加新操作时：

• 检查该操作的输入输出尺寸匹配性
• 若操作含多个分支（如Inception），需将其视为一个整体操作，无法被Darts内部再拆解

Q3：为什么搜索完成后，重新训练的准确率低于预期？
A3：常见原因有：

• 搜索使用的数据增强（如cutout）与评估不一致
• 搜索时学习率策略（如cosine decay）未复用在评估阶段
• 搜索阶段的网络深度与评估阶段不同

Q4：有开源实现推荐吗？
A4：GitHub上成熟的Darts仓库较多（如官方darts-nas），研究者可以在此基础上二次开发，商业应用中，优先选择PyTorch 1.10+版本，注意修改加载模式（非分布式）。

Q5：Darts适用于目标检测或NLP任务吗？
A5：直接迁移到检测网络（如YOLO）效果不佳，因Darts对长边搜索空间较敏感，但可应用于Backbone搜索（如设计轻量级ResNet变体），或通过特定约束（如限制最大层数）适配，NLP领域已被DART的改进版（如DARTS+）证明在语言模型上有一定效果。

---

行业落地：Darts在医疗、端侧AI的野心

1 医疗图像分割中的轻量架构提取

传统U-Net经Darts搜索后，可在保持Dice系数0.85+的前提下，参数量从30M降至2M以内，例如某CT肺结节分割任务中，Darts搜索出的架构自动剔除了冗余的转置卷积层,推理速度提升4倍。

2 手机端人脸识别模型的自动压缩

针对骁龙8 Gen2设备，使用Darts在ArcFace的搜索空间上微调，最终模型在MobilenetV2大小的极限下保持98.5%的LFW准确率，关键技巧：搜索时强制使用深度可分离卷积，并在预定义计算预算（如100M MACs）下搜索。

3 前沿发展方向

• 无偏见搜索：消除跳过连接偏差（如PC-DARTS）
• 多目标优化：同时优化精度与延迟（通过查找表估算）
• 零样本搜索：最近研究尝试不使用验证集，仅通过权重幅度推断最优架构（如Zero-Cost NAS）

---

DARTS可微搜索的出现，实质上是将“架构设计”从人类的直觉博弈转变为数学优化，如果你正在尝试NAS但被资源瓶颈困扰，直接上一阶DARTS，配上合理的正则化与搜索空间约束——你完全可能在单卡上复现超越人工设计的模型。不要盲目相信搜索出的架构，要在评估阶段给权重足够的训练容量，最好的架构，永远是“可微的”，而不是“可预测的”。