本文目录导读：
超参数调优的方法可以按搜索策略、自动化程度以及模型结构来划分，主要可以分为以下 3大类、10余种 常用方法：
第一类：基础搜索策略（手动与穷举）
这是最传统、最直观的方法，适合参数量较少、计算资源有限的情况。
手动调优
- 原理：依赖经验，手动修改参数，观察损失曲线和验证集结果。
- 特点：灵活、可解释性强，但极度依赖直觉，效率低，难以复现。
网格搜索
- 原理：将每个超参数的可能取值枚举出来，形成一个多维网格，然后遍历所有组合。
- 特点：简单、保证找到网格内的最优解，但维度灾难严重，参数每增加一个，计算量呈指数级增长，不推荐用于多于 3-4 个参数的情况。
随机搜索
- 原理：在超参数空间中随机采样（如从均匀分布、对数均匀分布中抽样）。
- 特点：比网格搜索高效得多，尤其在参数重要性不一时，理论证明，随机搜索能在更少的试验次数中覆盖更优的参数区间，是实际工程中最推荐的起点。
第二类：自动化/智能搜索（基于模型与优化）
这类方法在工业界和学术研究中应用最广,利用历史试验结果引导搜索方向。
贝叶斯优化
- 原理：建立概率代理模型（如高斯过程、TPE、随机森林）来拟合目标函数（验证集性能），通过采集函数（如EI、PI、UCB）平衡“探索”（Exploration）和“利用”（Exploitation），选择下一个最有潜力的参数点。
- 特点：需要较少的迭代次数（通常几十次）就能找到较好的参数，对高计算成本的模型（如大模型、深度学习）非常友好，工具包：
Hyperopt、Optuna、SMAC3。 - 常见算法：Parzen 树估计、高斯过程回归。
基于梯度的超参数优化
- 原理：将超参数视为可微分的变量（如学习率、正则化系数），通过计算超参数对验证损失的梯度，用梯度下降法优化。
- 特点：速度快，但需要对模型进行二次微分，计算复杂且容易不稳定，主要适用于连续型超参数，代表算法：反向传播的超参数优化。
进化算法/遗传算法
- 原理：模拟自然选择，初始化一群参数组合（种群），通过“交叉”（组合不同参数）、“变异”（随机改变参数）、“选择”（保留表现好的参数）产生下一代。
- 特点：适合离散、混合参数空间（如网络结构、激活函数类型），天然支持并行，缺点是需要大量试验，收敛速度可能较慢。
多臂老虎机算法
- 原理：将每个超参数组合视为一个“臂”，在探索与利用之间权衡，常用于在线学习或资源有限时的动态调参（如自动调整学习率调度策略）。
第三类：高级/前沿方法（自动化与初始化）
种群训练法
- 原理：维护一个参数种群的“常青藤”模型，定期淘汰最差的模型，并用最好的模型替代，同时加入少量噪声，所有模型共享部分权重（如权重空间平均），一次训练即可探索多种超参数。
- 代表：PBT 是强化学习和深度学习中的主流方法，常用于大规模模型训练。
学习率范围测试
- 原理：训练一个小模型，在几个迭代中让学习率从小到指数级增长，画出损失曲线，找到损失下降最快的那个区间，作为学习率的大致范围。
- 应用：结合 One Cycle 策略（CLR）使用，效果显著。
元学习 / AutoML
- 原理：用算法来设计调参算法，通过在学习过去的任务中积累“调参经验”，在遇到新任务时，能够快速给出推荐参数。
- 应用：Google 的 Vizier、微软的 NNI、Auto-Sklearn。
零成本代理指标
- 原理：不通过完整训练，而是通过模型初始化后的前向传播（如NAS-WOT、Synflow、GraSP）来预测最终性能。完全不训练，只需一次前向推理，非常快，适合神经网络架构搜索。
总结对比表
| 方法 | 搜索策略 | 适用场景 | 效率 | 推荐场景 |
|---|---|---|---|---|
| 网格搜索 | 穷举 | 参数 <= 3 个 | 极低 | 几乎不推荐 |
| 随机搜索 | 随机采样 | 任何数量，维度不高 | 中等 | 最推荐初始尝试 |
| 贝叶斯优化 | 概率模型 | 连续/离散，中等数量 | 高 | 最推荐主流选择 |
| 进化/PBT | 种群进化 | 复杂结构，大规模 | 高 | 大模型/强化学习 |
| 学习率测试 | 启发式 | 学习率 | — | 超参数调优第一步 |
| 零成本代理 | 代理指标 | 神经网络架构搜索 | 极高 | 快速筛选候选 |
实战建议
- 第一步：使用学习率范围测试调好学习率。
- 第二步（小项目/个人）：使用随机搜索（用
scikit-learn的RandomizedSearchCV）直接跑。 - 第二步（中大规模项目/工业）：使用贝叶斯优化（推荐
Optuna，内置剪枝功能，能尽早终止差的试验）。 - 第三步（前沿/大模型）：使用种群训练法或多臂老虎机 + 按需分配资源。
