损失函数

$$J(w,b)=\frac{1}{m}\sum_{i=1}^m(y_i-(w^Tx_i+b))^2$$

最小二乘法

本质：令偏导为零，直接求解参数。

1. 对 $w$、$b$ 求偏导，令 $\frac{\partial J(w,b)}{\partial w}=\frac{\partial J(w,b)}{\partial b}=0$
2. 求解 n 元一次线性方程组
3. 得到 $w$、$b$ 的解析解

梯度下降算法

本质：初始化参数，沿梯度方向迭代优化。

1. 初始化参数 $w$、$b$
2. 计算偏导 $\frac{\partial J(w,b)}{\partial w}$、$\frac{\partial J(w,b)}{\partial b}$
3. 更新参数：$w\leftarrow w-\alpha\nabla_wJ(w,b)$，$b\leftarrow b-\alpha\nabla_bJ(w,b)$
4. 当 $\|\nabla J(w,b)\|<\epsilon$ 时停止迭代

梯度模长：$\|\nabla J(w)\|=\sqrt{\sum\limits_{i=1}^n\left(\frac{\partial J(w,b)}{\partial w_i}\right)^2+(\frac{\partial J(w,b)}{\partial b})^2}$

梯度下降的三种方式

方法	数据量	更新频率	收敛稳定性	适用场景
BGD（批量）	全部数据	低	高	小规模数据集
SGD（随机）	单个样本	高	低	大规模数据集
MBGD（小批量）	batch size（32/64/128）	中	中	大规模数据集（常用）

贡献者: paiad