心得笔记 | 吴恩达深度学习笔记 | 深度学习笔记(31)-正则化防止过拟合

为什么正则化有利于预防过拟合呢?(Why regularization reduces overfitting?)

为什么正则化有利于预防过拟合呢?为什么它可以减少方差问题?我们通过两个例子来直观体会一下。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

左图是高偏差,右图是高方差,中间是Just Right,这几张图我们在前面课程中看到过。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

现在我们来看下这个庞大的深度拟合神经网络。

我知道这张图不够大,深度也不够,但你可以想象这是一个过拟合的神经网络。这是我们的代价函数J,含有参数W,b。

我们添加正则项,它可以避免数据权值矩阵过大,这就是弗罗贝尼乌斯范数,为什么压缩L2范数,或者弗罗贝尼乌斯范数或者参数可以减少过拟合?

直观上理解就是(重点!!认真理解如果正则化λ设置得足够大,权重矩阵W被设置为接近于0的值,直观理解就是把多隐藏单元的权重设为0,于是基本上消除了这些隐藏单元的许多影响

如果是这种情况,这个被大大简化了的神经网络会变成一个很小的网络,小到如同一个逻辑回归单元,可是深度却很大,它会使这个网络从过度拟合的状态更接近左图的高偏差状态。

但是λ会存在一个中间值,于是会有一个接近“Just Right”的中间状态。

直观理解就是λ增加到足够大,W会接近于0,实际上是不会发生这种情况的,我们尝试消除或至少减少许多隐藏单元的影响,最终这个网络会变得更简单,这个神经网络越来越接近逻辑回归,我们直觉上认为大量隐藏单元被完全消除了,其实不然,实际上是该神经网络的所有隐藏单元依然存在,但是它们的影响变得更小了。神经网络变得更简单了,貌似这样更不容易发生过拟合,因此我不确定这个直觉经验是否有用,不过在编程中执行正则化时,你实际看到一些方差减少的结果。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

我们再来直观感受一下,正则化为什么可以预防过拟合,假设我们用的是这样的双曲线激活函数。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

g(z)表示tanh(z),那么我们发现,只要z非常小,如果z只涉及少量参数,这里我们利用了双曲正切函数的线性状态,只要z可以扩展为这样的更大值或者更小值,激活函数开始变得非线性。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

现在你应该摒弃这个直觉,如果正则化参数λ很大,激活函数的参数会相对较小,因为代价函数中的参数变大了,

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

如果W很小,相对来说,z也会很小。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

特别是,如果z的值最终在这个范围内,都是相对较小的值,g(z)大致呈线性,每层几乎都是线性的,和线性回归函数一样。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

前面我们讲过,如果每层都是线性的,那么整个网络就是一个线性网络,即使是一个非常深的深层网络,因具有线性激活函数的特征,最终我们只能计算线性函数,因此,它不适用于非常复杂的决策,以及过度拟合数据集的非线性决策边界,如同我们在幻灯片中看到的过度拟合高方差的情况。

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

总结一下,如果正则化参数变得很大,参数W很小,z也会相对变小,此时忽略b的影响,z会相对变小,实际上,z的取值范围很小,这个激活函数,也就是曲线函数tanh会相对呈线性,整个神经网络会计算离线性函数近的值,这个线性函数非常简单,并不是一个极复杂的高度非线性函数,不会发生过拟合

吴恩达深度学习笔记(31)-为什么正则化可以防止过拟合

如果你使用的是梯度下降函数,在调试梯度下降时,其中一步就是把代价函数J设计成这样一个函数,在调试梯度下降时,它代表梯度下降的调幅数量。可以看到,代价函数对于梯度下降的每个调幅都单调递减。

如果你实施的是正则化函数,请牢记,J已经有一个全新的定义。如果你用的是原函数J,也就是这第一个项正则化项,你可能看不到单调递减现象,为了调试梯度下降,请务必使用新定义的J函数,它包含第二个正则化项,否则函数J可能不会在所有调幅范围内都单调递减。

这就是L2正则化,它是我在训练深度学习模型时最常用的一种方法。

在深度学习中,还有一种方法也用到了正则化,就是dropout正则化,我们下一个笔记再讲。

本文由 DeepSmart.AI 作者:yyf8989 发表,其版权均为 yyf8989 所有,文章内容系作者个人观点,不代表 DeepSmart.AI 对观点赞同或支持。如需转载,请注明文章来源。本文链接地址:http://www.deepsmart.ai/710.html

发表评论