Most state-of-the-art machine learning techniques revolve around the optimisation of loss functions. Defining appropriate loss functions is therefore critical to successfully solving problems in this field. We present a survey of the most commonly used loss functions for a wide range of different applications, divided into classification, regression, ranking, sample generation and energy based modelling. Overall, we introduce 33 different loss functions and we organise them into an intuitive taxonomy. Each loss function is given a theoretical backing and we describe where it is best used. This survey aims to provide a reference of the most essential loss functions for both beginner and advanced machine learning practitioners.


翻译:多数最先进的机器学习技术围绕损失功能的优化。 因此,确定适当的损失功能对于成功解决这一领域的问题至关重要。 我们为多种不同的应用对最常用的损失功能进行了调查,分为分类、回归、分级、抽样生成和基于能源的建模。 总的来说,我们引入了33个不同的损失功能,并将这些功能组织成直觉分类。 每个损失功能都得到了理论支持,我们描述了这些功能的最佳用途。 这次调查旨在为初学者和先进机器学习实践者提供最基本的损失功能的参考。

17
下载
关闭预览

相关内容

损失函数,在AI中亦称呼距离函数,度量函数。此处的距离代表的是抽象性的,代表真实数据与预测数据之间的误差。损失函数(loss function)是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
78+阅读 · 2022年3月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
118+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
125+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
69+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
31+阅读 · 2019年10月9日
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
ACM MM 2022 Call for Papers
CCF多媒体专委会
4+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium9
中国图象图形学学会CSIG
0+阅读 · 2021年12月17日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Arxiv
25+阅读 · 2021年8月2日
Arxiv
44+阅读 · 2021年5月3日
Arxiv
40+阅读 · 2019年12月20日
Few-shot Learning: A Survey
Arxiv
352+阅读 · 2019年4月10日
Arxiv
12+阅读 · 2019年1月16日
Arxiv
144+阅读 · 2017年8月1日
VIP会员
相关VIP内容
机器学习损失函数概述,Loss Functions in Machine Learning
专知会员服务
78+阅读 · 2022年3月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
118+阅读 · 2019年10月12日
强化学习最新教程,17页pdf
专知会员服务
125+阅读 · 2019年10月11日
[综述]深度学习下的场景文本检测与识别
专知会员服务
69+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
31+阅读 · 2019年10月9日
相关资讯
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
ACM MM 2022 Call for Papers
CCF多媒体专委会
4+阅读 · 2022年3月29日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
【ICIG2021】Latest News & Announcements of the Workshop
中国图象图形学学会CSIG
0+阅读 · 2021年12月20日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium9
中国图象图形学学会CSIG
0+阅读 · 2021年12月17日
【ICIG2021】Check out the hot new trailer of ICIG2021 Symposium1
中国图象图形学学会CSIG
0+阅读 · 2021年11月3日
Hierarchically Structured Meta-learning
CreateAMind
16+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
11+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
35+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
10+阅读 · 2018年12月24日
相关论文
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员