2021
05-02
05-02
python 机器学习的标准化、归一化、正则化、离散化和白化
机器学习的本质是从数据集中发现数据内在的特征，而数据的内在特征往往被样本的规格、分布范围等外在特征所掩盖。数据预处理正是为了最大限度地帮助机器学习模型或算法找到数据内在特征所做的一系列操作，这些操作主要包括标准化、归一化、正则化、离散化和白化等。1标准化 假定样本集是二维平面上的若干个点，横坐标x分布于区间[0,100]...
继续阅读 >
L2正则化原理：过拟合的原理：在loss下降，进行拟合的过程中（斜线），不同的batch数据样本造成红色曲线的波动大，图中低点也就是过拟合，得到的红线点低于真实的黑线，也就是泛化更差。可见，要想减小过拟合，减小这个波动，减少w的数值就能办到。L2正则化训练的原理：在Loss中加入（乘以系数λ的）参数w的平方和，这样训练过程中就会抑制w的值，w的（绝对）值小，模型复杂度低，曲线平滑，过拟合程度低（奥卡姆剃刀），参考公式...