【重温经典】吴恩达机器学习课程学习笔记十：正则化- 专知

【重温经典】吴恩达机器学习课程学习笔记十：正则化

【导读】前一段时间，专知内容组推出了春节充电系列：李宏毅2017机器学习课程学习笔记，反响热烈，由此可见，大家对人工智能、机器学习的系列课程非常感兴趣，近期，专知内容组推出吴恩达老师的机器学习课程笔记系列，重温机器学习经典课程，希望大家会喜欢。

【重温经典】吴恩达机器学习课程学习笔记一：监督学习

【重温经典】吴恩达机器学习课程学习笔记二：无监督学习（unsupervised learning）

【重温经典】吴恩达机器学习课程学习笔记三：监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四：梯度下降

【重温经典】吴恩达机器学习课程学习笔记五：多元梯度下降

【重温经典】吴恩达机器学习课程学习笔记六：特征处理与多项式拟合

【重温经典】吴恩达机器学习课程学习笔记七：Logistic回归

【重温经典】吴恩达机器学习课程学习笔记八：Logistic回归续

【重温经典】吴恩达机器学习课程学习笔记九：过拟合

吴恩达机器学习课程系列视频链接：

http://study.163.com/course/courseMain.htm?courseId=1004570029

春节充电系列：李宏毅2017机器学习课程学习全部笔记

吴恩达课程学习笔记十：正则化

1、正则化代价函数

如下右半图，当我们用四次多项式去拟合数据的时候，会出现过拟合的现象。现在想到的策略是给代价函数加上惩罚项（1000+1000），目的是为了让，最小。（如下图，为了使代价函数最小，则需要使与尽量小，近似为0，则四次多项式近似退化为二次多项式，从而可以对数据进行较好的拟合）

如下图，例如前面提到的房价问题，假设影响房价的特征有一百个，为了使参数尽可能小，在代价函数里增加，注意这里i从1开始（在后面的总结中会再次提到）

上面的总结中提到了正则化（涉及参数），那么当过大时，则会导致除外的其余参数都近似为0，这样预测函数近似变为图中的一条水平线，可以很明显的看出这样的拟合效果是极差的。

2、线性回归的正则化

梯度下降算法：

如前面所述，i从1（这里是j）开始，所以将j=0的情况单独拿出来。对于j=1之后的参数的更新，增加一项，经过整理后可得下图最下方的式子。这里会是一个略小于1的数（比如0.99之类）。其余部分与未正则化的线性回归的梯度下降公式一样。总而言之：对于按照未正则化的梯度下降算法进行更新，对于其余参数的更新，需要先对参数乘上（），剩下的更新过程与未正则化时没有区别。