【重温经典】吴恩达机器学习课程学习笔记五:特征处理与多项式拟合

【导读】前一段时间,专知内容组推出了春节充电系列:李宏毅2017机器学习课程学习笔记,反响热烈,由此可见,大家对人工智能、机器学习的系列课程非常感兴趣,近期,专知内容组推出吴恩达老师的机器学习课程笔记系列,重温机器学习经典课程,希望大家会喜欢。


【重温经典】吴恩达机器学习课程学习笔记一:监督学习

【重温经典】吴恩达机器学习课程学习笔记二:无监督学习(unsupervised learning)

【重温经典】吴恩达机器学习课程学习笔记三:监督学习模型以及代价函数的介绍

【重温经典】吴恩达机器学习课程学习笔记四:梯度下降

【重温经典】吴恩达机器学习课程学习笔记五:多元梯度下降


吴恩达机器学习课程系列视频链接

http://study.163.com/course/courseMain.htm?courseId=1004570029


春节充电系列:李宏毅2017机器学习课程学习全部笔记


吴恩达课程学习笔记六:特征处理与多项式拟合


1、特征的处理与多项式的拟合




同样是房价预测的例子,如下图所示,对于房价的预测由两个特征决定,即临街宽度(frontage)与纵向深度(depth),根据经验可知,这两个特征可以用一个特征面积来表示(即临街宽度与纵向深度的乘积)。所以预测函数写成

另外,对于像如下所示的数据集,直接线性拟合是不合适的,利用二次函数拟合也是不合适的(因为经验告诉我们,房价不会随着房子面积的增大而下降),故而我们想到用三次函数去拟合。对于三次函数我们可以通过如下方式将其转化为线性拟合:

将size,分别作为特征去拟合房价。这时得到的预测是线性的,此时对“特征”进行缩放显得尤为重要,因为次方后的范围变化很大,需要对其进行缩放,从而有利于收敛。  

除了用三次函数拟合外,考虑到平方根函数的特点(即随着自变量的增加,最终上升会越来越缓慢),可以将上述数据利用线性函数和平方根函数来拟合。

 

2、正规方法(区别与迭代算法的直接求解方法)




不同于迭代算法,正规方程法提供了一种求解最优参数的解析解法,可以一次性直接求出最优参数。

首先我们从一个很简单的代价函数入手,如下:

1、 假设代价函数是标量θ的二次函数,则只需要对其求导,令求导后的值为零,反解出θ即为最优参数值。(针对的是线性回归)

2、 若θ为向量,则可以对每一个进行求导,令其为0,求解出向量θ。但这往往可能是复杂的。

通过把数据用矩阵以及向量来表示,可以更方便进行求解。

对于数据的表示如下所示,添加一列令其为0,(对应着),则特征表示为矩阵X,类别表示为向量y。(假设这里只有四组数据)

 

对于线性回归的最优参数,可以利用下图所示的式子进行求解(数学上已经得到证明):

注意利用正规方程法进行求解最优参数时,尽管特征的取值范围可能会有很大差别,但是不需要对特征进行特征缩放。

 

下面给出梯度下降算法以及正规方程法的优缺点,以便在实际中去选择合适的算法。(假设这里有m条样本,n种特征)


梯度下降的缺点&正规方程法的优点:

对于梯度下降算法来说,它需要选择学习率α,并且需要通过对比不同的α在不同迭代次数后,J(θ)的收敛情况来决定哪一个α的值更合适。但对于正规方程法这是不需要的。


梯度下降的优点&正规方程法的缺点:

即使特征种类n数值很大,梯度下降法也可以很好地运行,最终求解出最优参数θ,但对于正规方程法,因为计算过程中涉及到,其中是一个n*n的矩阵,则进行求逆操作,所需要的复杂度为O(),因此当n很大时,正规方程法的速度将会受到很大影响。


对于n的值对算法选择的影响,课程中给出它的经验是10000以后会考虑使用梯度下降法或者其它的算法。

需要强调一下:对于线性回归问题,我们可以使用正规方程法,但对于后面总结中会介绍的分类问题等,使用正规化方程法可能并不可行,这时梯度 下降法会体现出它的优势。

 

3、正规方程法在矩阵不可逆的情况下的解决方法




有线性代数基础的读者可能会发现并不是所有矩阵都可以求逆,所以这里将总结出现不可逆的主要情况以及解决方法。


如下所示:

1、可能是众多种类的特征中出现了线性相关的特征(如下,对于面积,用米作为单位以及英尺作为单位的x1与x2同时出现在特征中,这时就可能出现矩阵不可逆的情况)。

2、 特征的种类数过多即样本数小于特征数,则可能会出现不可逆的情况。


解决:

1、 去掉可能线性相关的特征。

2、 在不会影响结果的前提下,去掉一些特征。

3、使用正则化来适应大量的特征。

接下来的总结中将介绍logistic回归的相关知识。


参考链接:

http://study.163.com/course/courseMain.htm?courseId=1004570029

请关注专知公众号(扫一扫最下面专知二维码,或者点击上方蓝色专知),

  • 后台回复“NGML2018” 就可以获取 吴恩达机器学习课程下载链接~

-END-

专 · 知

人工智能领域主题知识资料查看获取【专知荟萃】人工智能领域26个主题知识资料全集(入门/进阶/论文/综述/视频/专家等)

请PC登录www.zhuanzhi.ai或者点击阅读原文,注册登录专知,获取更多AI知识资料

请扫一扫如下二维码关注我们的公众号,获取人工智能的专业知识!

请加专知小助手微信(Rancho_Fang),加入专知主题人工智能群交流!加入专知主题群(请备注主题类型:AI、NLP、CV、 KG等)交流~


点击“阅读原文”,使用专知

展开全文
Top
微信扫码咨询专知VIP会员