过拟合早停

这是一个关于过拟合（Overfitting）和早停（Early Stopping）非常核心的机器学习问题，下面从基础概念、原理到实战细节为你详细拆解，什么是过拟合？为什么要“停”？过拟合是指模型在训练...

wen 2026-07-02 37

Dropout比例

深度解析Dropout比例：神经网络的“防过拟合”利器目录导读引言：Dropout比例为何是深度学习中的关键参数？什么是Dropout？——从随机丢弃到正则化Dropout比例的核心原理：如何通过稀疏...

wen 2026-07-02 33

LayerNorm稳定

LayerNorm稳定原理深度解析：为什么它能让大模型训练更稳健？目录导读引言：大模型时代的“稳定器”核心解密：什么是Layer Normalization（层归一化）？1 数学定义与计算流程2 与B...

wen 2026-07-02 34

BatchNorm作用

BatchNorm（Batch Normalization，批归一化）是深度学习中一项非常重要的技术，主要用于解决训练深层神经网络时的内部协变量偏移问题，它的核心作用是让每一层的输入数据分布保持稳定,...

wen 2026-07-02 39

参数初始化

神经网络训练的“第一颗纽扣”目录导读参数初始化为何如此重要？——从“第一颗纽扣”谈起主流参数初始化方法全景图不同初始化方法的适用场景与选择策略常见问题与问答（FAQ）参数初始化的未来趋势与工程实践建议...

wen 2026-07-02 35

GroupNorm小批量

GroupNorm小批量训练：突破批归一化瓶颈的深度学习优化利器目录导读为什么小批量训练成为现代深度学习的核心痛点？GroupNorm原理：从批归一化到分组归一化的进化逻辑核心优势：小批量场景下Gro...

wen 2026-07-02 37

Xavier初始化

Xavier初始化原理、数学推导与实战指南目录导读为什么需要关注初始化？ – 梯度消失/爆炸的根源Xavier初始化的数学原理 – 方差守恒的推导过程激活函数的适配性分析 – 为何tanh优于ReLU...

wen 2026-07-02 32

余弦退火

这是一个非常专业且重要的深度学习训练技巧，余弦退火是一种学习率调度策略,它让学习率在训练过程中按照余弦函数的形状进行衰减，下面我将从几个方面来详细解释它，它是什么？—— 一个形象的比喻想象一下，你正在...

wen 2026-07-02 29

学习率调度

学习率调度（Learning Rate Scheduling）是深度学习训练中非常关键的一环，它的核心思想是：在训练过程中动态地调整学习率，而不是使用一个固定值，一个好的学习率调度策略,可以显著提升模...

wen 2026-07-02 29

Kaiming He

Here is a comprehensive overview of Kaiming He, one of the most influential computer scientists in t...

wen 2026-07-02 29