防止过拟合的方法

2019 年 4 月 24 日 七月在线实验室

今日面试题


防止过拟合的方法


解析:


过拟合的原因是算法的学习能力过强;一些假设条件(如样本独立同分布)可能是不成立的;训练样本过少不能对整个空间进行分布估计。

处理方法:
1、早停止:如在训练中多次迭代后发现模型性能没有显著提高就停止训练;
2、数据集扩增:原有数据增加、原有数据加随机噪声、重采样;
3、正则化,正则化可以限制模型的复杂度;
4、交叉验证;
5、特征选择/特征降维;
6、创建一个验证集是最基本的防止过拟合的方法。我们最终训练得到的模型目标是要在验证集上面有好的表现,而不训练集。

 
      


END


今日学习推荐


金融风控实战

首次完整公开一线平台金融风控核心技术


5月11日开课


3人拼团,仅需499元 


扫描下方二维码

了解课程详情


长按识别二维码



知道什么是B树,那你知道什么是R树吗?

什么?互联网人恋爱调查报告,程序员竟成最大赢家?

金融风控面试十二问

一次面试让你知道数据结构与算法对前端的重要性

人工智能人才争抢白热化?学好数学才能C位出道!

哪些机器学习算法不需要做归一化处理?

一文详解:什么是B树?

机器学习中的数学基础(微积分和概率统计)

34个最优秀好用的Python开源框架

【实战分享】电影推荐系统项目实战应用

Python打牢基础,从19个语法开始!


扫描下方二维码  关注:七月在线实验室 


后台回复:100   免费领取【机器学习面试100题】

后台回复:干货 免费领取全体系人工智能学习资料

后台回复: 领资料 【NLP工程师必备干货资料】

▼更多精彩推荐,请关注我们▼
“阅读原文”我们一起进步
在看点一下
登录查看更多
3

相关内容

过拟合,在AI领域多指机器学习得到模型太过复杂,导致在训练集上表现很好,然而在测试集上却不尽人意。过拟合(over-fitting)也称为过学习,它的直观表现是算法在训练集上表现好,但在测试集上表现不好,泛化性能差。过拟合是在模型参数拟合过程中由于训练数据包含抽样误差,在训练时复杂的模型将抽样误差也进行了拟合导致的。
【实用书】学习用Python编写代码进行数据分析,103页pdf
专知会员服务
190+阅读 · 2020年6月29日
【2020新书】监督机器学习,156页pdf,剑桥大学出版社
专知会员服务
150+阅读 · 2020年6月27日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
117+阅读 · 2020年5月6日
【经典书】机器学习高斯过程,266页pdf
专知会员服务
193+阅读 · 2020年5月2日
专知会员服务
19+阅读 · 2020年3月29日
【经典书】精通机器学习特征工程,中文版,178页pdf
专知会员服务
347+阅读 · 2020年2月15日
树形结构为什么不需要归一化?
七月在线实验室
8+阅读 · 2019年4月30日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
今日面试题分享:L1和L2的区别
七月在线实验室
7+阅读 · 2019年3月14日
BAT机器学习面试1000题(716~720题)
七月在线实验室
19+阅读 · 2018年12月17日
1024 | 最全面试总结,深度学习500问,面试必备【下载】
机器学习算法与Python学习
53+阅读 · 2018年10月24日
一图概览整个深度学习的核心知识体系(建议收藏)
七月在线实验室
6+阅读 · 2018年10月9日
深度学习面试100题(第81-85题)
七月在线实验室
16+阅读 · 2018年8月6日
谈谈过拟合
数萃大数据
5+阅读 · 2018年2月24日
精华 | 深度学习中的【五大正则化技术】与【七大优化策略】
机器学习算法与Python学习
5+阅读 · 2017年12月28日
BAT机器学习面试1000题系列(第76~80题)
七月在线实验室
5+阅读 · 2017年10月13日
Anomalous Instance Detection in Deep Learning: A Survey
Optimization for deep learning: theory and algorithms
Arxiv
102+阅读 · 2019年12月19日
Arxiv
12+阅读 · 2018年9月5日
Arxiv
4+阅读 · 2018年3月19日
VIP会员
相关资讯
树形结构为什么不需要归一化?
七月在线实验室
8+阅读 · 2019年4月30日
如何理解模型的过拟合与欠拟合,以及如何解决?
七月在线实验室
12+阅读 · 2019年4月23日
今日面试题分享:L1和L2的区别
七月在线实验室
7+阅读 · 2019年3月14日
BAT机器学习面试1000题(716~720题)
七月在线实验室
19+阅读 · 2018年12月17日
1024 | 最全面试总结,深度学习500问,面试必备【下载】
机器学习算法与Python学习
53+阅读 · 2018年10月24日
一图概览整个深度学习的核心知识体系(建议收藏)
七月在线实验室
6+阅读 · 2018年10月9日
深度学习面试100题(第81-85题)
七月在线实验室
16+阅读 · 2018年8月6日
谈谈过拟合
数萃大数据
5+阅读 · 2018年2月24日
精华 | 深度学习中的【五大正则化技术】与【七大优化策略】
机器学习算法与Python学习
5+阅读 · 2017年12月28日
BAT机器学习面试1000题系列(第76~80题)
七月在线实验室
5+阅读 · 2017年10月13日
Top
微信扫码咨询专知VIP会员