今日面试题分享:L1和L2的区别

3 月 14 日 七月在线实验室


今日面试题分享
L1和L2的区别


参考答案:


解析:

L1范数(L1 norm)是指向量中各个元素绝对值之和,也有个美称叫“稀疏规则算子”(Lasso regularization)。 比如 向量A=[1,-1,3], 那么A的L1范数为 |1|+|-1|+|3|. 


简单总结一下就是:  

L1范数: 为x向量各个元素绝对值之和。 L2范数: 为x向量各个元素平方和的1/2次方,L2范数又称Euclidean范数或者Frobenius范数 Lp范数: 为x向量各个元素绝对值p次方和的1/p次方.  


在支持向量机学习过程中,L1范数实际是一种对于成本函数求解最优的过程,因此,L1范数正则化通过向成本函数中添加L1范数,使得学习得到的结果满足稀疏化,从而方便人类提取特征,即L1范数可以使权值稀疏,方便特征提取。 L2范数可以防止过拟合,提升模型的泛化能力。  


L1和L2的差别,为什么一个让绝对值最小,一个让平方最小,会有那么大的差别呢?看导数一个是1一个是w便知, 在靠进零附近, L1以匀速下降到零, 而L2则完全停下来了. 这说明L1是将不重要的特征(或者说, 重要性不在一个数量级上)尽快剔除, L2则是把特征贡献尽量压缩最小但不至于为零. 两者一起作用, 就是把重要性在一个数量级(重要性最高的)的那些特征一起平等共事(简言之, 不养闲人也不要超人)。


题目来源:七月在线官网(www.julyedu.com)——面试题库——面试大题——机器学习




分享:金融风控公开课


主题:机器学习在金融风控领域的应用


分享大纲

①解密金融风控业务

②哪些人适合入坑金融风控及所需技能

③如何构建风控评分卡模型


时间3月18日(周一)晚8点


免费听课名额,限前600名,有意的亲们抓紧时间啦


扫描下方海报二维码 回复:318 

立即进直播课微信群




今日学习推荐


金融风控实战

  • 开课时间:2019年4月13日

首次完整公开金融风控背后的技术


五大思路   四大风控算法  一套完整的风控流程

十二大项目实战



有意的亲们可以行动起来喽 

3人组团立减100元

咨询/报名/组团可添加微信客服

julyedukefu_02


长按识别下方二维码

查看更多课程详情

👇


长按识别二维码


往期推荐






成为年薪50W的数据分析师,你首先得学会这项技能(文末送课)

【实战分享】电影推荐系统项目实战应用

万字长文概述NLP中的深度学习技术

34个最优秀好用的Python开源框架

一文详解机器学习中最好用的提升方法:Boosting 与 AdaBoost

CVPR 2019:中科院、牛津等提出SiamMask网络,视频跟踪最高精度


咨询,查看课程,请点击“阅读原文

好看你就点点
登录查看更多
点赞 0

Designing neural network architectures is a task that lies somewhere between science and art. For a given task, some architectures are eventually preferred over others, based on a mix of intuition, experience, experimentation and luck. For many tasks, the final word is attributed to the loss function, while for some others a further perceptual evaluation is necessary to assess and compare performance across models. In this paper, we introduce the concept of capacity allocation analysis, with the aim of shedding some light on what network architectures focus their modelling capacity on, when used on a given task. We focus more particularly on spatial capacity allocation, which analyzes a posteriori the effective number of parameters that a given model has allocated for modelling dependencies on a given point or region in the input space, in linear settings. We use this framework to perform a quantitative comparison between some classical architectures on various synthetic tasks. Finally, we consider how capacity allocation might translate in non-linear settings.

点赞 0
阅读1+

Can we train a machine to detect if another machine has understood a concept? In principle, this is possible by conducting tests on the subject of that concept. However we want this procedure to be done by avoiding direct questions. In other words, we would like to isolate the absolute meaning of an abstract idea by putting it into a class of equivalence, hence without adopting straight definitions or showing how this idea "works" in practice. We discuss the metaphysical implications hidden in the above question, with the aim of providing a plausible reference framework.

点赞 0
阅读1+
Top