参数初始化

神经网络训练的“第一颗纽扣”目录导读参数初始化为何如此重要？——从“第一颗纽扣”谈起主流参数初始化方法全景图不同初始化方法的适用场景与选择策略常见问题与问答（FAQ）参数初始化的未来趋势与工程实践建议...

wen 2026-07-02 74

GroupNorm小批量

GroupNorm小批量训练：突破批归一化瓶颈的深度学习优化利器目录导读为什么小批量训练成为现代深度学习的核心痛点？GroupNorm原理：从批归一化到分组归一化的进化逻辑核心优势：小批量场景下Gro...

wen 2026-07-02 67

Xavier初始化

Xavier初始化原理、数学推导与实战指南目录导读为什么需要关注初始化？ – 梯度消失/爆炸的根源Xavier初始化的数学原理 – 方差守恒的推导过程激活函数的适配性分析 – 为何tanh优于ReLU...

wen 2026-07-02 93

余弦退火

这是一个非常专业且重要的深度学习训练技巧，余弦退火是一种学习率调度策略,它让学习率在训练过程中按照余弦函数的形状进行衰减，下面我将从几个方面来详细解释它，它是什么？—— 一个形象的比喻想象一下，你正在...

wen 2026-07-02 64

学习率调度

学习率调度（Learning Rate Scheduling）是深度学习训练中非常关键的一环，它的核心思想是：在训练过程中动态地调整学习率，而不是使用一个固定值，一个好的学习率调度策略,可以显著提升模...

wen 2026-07-02 70

Kaiming He

Here is a comprehensive overview of Kaiming He, one of the most influential computer scientists in t...

wen 2026-07-02 57

Warmup预热

Warmup预热：解锁高效工作与运动表现的关键法则📖 目录导读什么是Warmup预热？ ——概念解析与核心价值为什么预热如此重要？ ——从生理到心理的科学依据高效预热的黄金法则 ——三大步骤与实用技巧...

wen 2026-07-02 74

SGD动量

我们来详细解释一下 SGD动量（SGD with Momentum，带动量的随机梯度下降），这是一个在深度学习训练中非常重要的优化技术,它基本上解决了标准SGD（随机梯度下降）的两个主要问题：收敛速度...

wen 2026-07-02 91

AdamW优化器

这是一个关于 AdamW 优化器 的详细解读，AdamW 是目前深度学习中（尤其是在 Transformer 架构和 LLM 训练中）最主流、最推荐的优化器之一，你可以把它理解为 Adam 的修正版，...

wen 2026-07-02 129

梯度累积步长

这是一个很好的技术问题，在深度学习（特别是大模型训练）中，梯度累积步长（通常称为 Gradient Accumulation Steps，简写为 gradient_accumulation_steps...

wen 2026-07-02 104