分类：归一化

2021
05-02

python 机器学习的标准化、归一化、正则化、离散化和白化

       机器学习的本质是从数据集中发现数据内在的特征，而数据的内在特征往往被样本的规格、分布范围等外在特征所掩盖。数据预处理正是为了最大限度地帮助机器学习模型或算法找到数据内在特征所做的一系列操作，这些操作主要包括标准化、归一化、正则化、离散化和白化等。1标准化       假定样本集是二维平面上的若干个点，横坐标x分布于区间[0,100]... 继续阅读 >

2020
09-27

TensorFlow实现批量归一化操作的示例

批量归一化在对神经网络的优化方法中，有一种使用十分广泛的方法——批量归一化，使得神经网络的识别准确度得到了极大的提升。在网络的前向计算过程中，当输出的数据不再同一分布时，可能会使得loss的值非常大，使得网络无法进行计算。产生梯度爆炸的原因是因为网络的内部协变量转移，即正向传播的不同层参数会将反向训练计算时参照的数据样本分布改变。批量归一化的目的，就是要最大限度地保证每次的正向传播输出在同一分布上，这... 继续阅读 >