GBM梯度提升机(或梯度推进机)是一种集成学习法(Ensemble)。GBM(Gradient Boosting Machine)算法是Boosting算法(提升方法)的一种。GBM主要思想是基于之前建立的基学习器的损失函数的梯度下降方向来建立下一个新的基学习器,目的就是希望通过集成这些基学习器使得模型总体的损失函数不断下降,模型不断改进。

成为VIP会员查看完整内容
GBM.pdf
0
34

相关内容

论文题目: Privacy-Preserving Gradient Boosting Decision Trees

论文作者: Qinbin Li, Zhaomin Wu, Zeyi Wen, Bingsheng He

论文摘要: 梯度提升决策树(GBDT)是近年来用于各种任务的流行机器学习模型。在本文中,我们研究如何在保留差异性隐私的有力保证的同时提高GBDT的模型准确性。敏感度和隐私预算是差异化私人模型有效性的两个关键设计方面。现有的具有差分隐私保护的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配(尤其是GBDT模型中的不同树)而导致严重的准确性损失。松散的灵敏度范围导致更多的噪声以获得固定的优先级。无效的隐私预算分配使准确性降低,尤其是在树的数量很大时。因此,我们提出了一种新的GBDT训练算法,该算法可实现更严格的灵敏度范围和更有效的噪声分配。具体而言,通过研究梯度的属性和每棵树在GBDT中的贡献,我们提出针对每个迭代和叶节点修剪自适应地控制训练数据的梯度,以收紧敏感度范围。此外,我们设计了一种新颖的增强框架,可以在树之间分配隐私预算,从而可以减少准确性损失。我们的实验表明,与其他基准相比,我们的方法可以实现更好的模型准确性。

成为VIP会员查看完整内容
0
15

课程简介

Geoffrey Hinton《神经网络机器学习》经典课程共有16节,基本涵盖了神经网络相关的各个知识点,包括神经网络、神经元模型、感知机、反向传播算法等,虽然课程中有些算法已经过时,但其中的理论基础仍然在为今天的各类主流算法提供着可靠的支持,对于算法研究者来说,有助于加深对这一领域的理解,并对未来的研究方向起到一定的借鉴意义。

课程讲师:Geoffrey Hinton

讲师简介

Geoffrey Hinton,被称为“神经网络之父”、“深度学习鼻祖”,他曾获得爱丁堡大学人工智能的博士学位,并且为多伦多大学的特聘教授。在2012年,Hinton还获得了加拿大基廉奖(Killam Prizes,有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年,Hinton 加入谷歌并带领一个AI团队,他将神经网络带入到研究与应用的热潮,将“深度学习”从边缘课题变成了谷歌等互联网巨头仰赖的核心技术,并将反向传播算法应用到神经网络与深度学习。

个人主页

Geoffrey Hinton:https://www.cs.toronto.edu/~hinton/

成为VIP会员查看完整内容
《神经网络机器学习》经典课程PPT.pdf
0
13

*《Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs》A Jolicoeur-Martineau, I Mitliagkas [Mila] (2019)

成为VIP会员查看完整内容
0
8
小贴士
相关资讯
自定义损失函数Gradient Boosting
AI研习社
9+阅读 · 2018年10月16日
计算:XGBoost背后的数学之美
论智
5+阅读 · 2018年8月20日
Machine Learning:十大机器学习算法
开源中国
8+阅读 · 2018年3月1日
RF(随机森林)、GBDT、XGBoost面试级整理
数据挖掘入门与实战
5+阅读 · 2018年2月6日
机器学习(23)之GBDT详解
机器学习算法与Python学习
11+阅读 · 2017年10月25日
为什么『无监督集成学习』乏人问津?
AI研习社
7+阅读 · 2017年10月24日
机器学习(17)之集成学习原理总结
机器学习算法与Python学习
16+阅读 · 2017年9月16日
干货 | 详解scikit-learn中随机森林(RF)和梯度提升决策树(GBDT)的参数调优
机器学习算法与Python学习
4+阅读 · 2017年7月26日
相关论文
Jiacheng Yang,Mingxuan Wang,Hao Zhou,Chengqi Zhao,Yong Yu,Weinan Zhang,Lei Li
5+阅读 · 3月26日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
6+阅读 · 2019年1月16日
Ke Tran,Yonatan Bisk
3+阅读 · 2018年5月28日
Philip Schulz,Wilker Aziz,Trevor Cohn
5+阅读 · 2018年5月28日
Zhen Yang,Wei Chen,Feng Wang,Bo Xu
5+阅读 · 2018年4月24日
Marcin Junczys-Dowmunt,Roman Grundkiewicz,Shubha Guha,Kenneth Heafield
3+阅读 · 2018年4月16日
Keze Wang,Xiaopeng Yan,Dongyu Zhang,Lei Zhang,Liang Lin
5+阅读 · 2018年3月27日
Jinsong Su,Shan Wu,Deyi Xiong,Yaojie Lu,Xianpei Han,Biao Zhang
5+阅读 · 2018年1月16日
Antonio Toral,Andy Way
5+阅读 · 2018年1月15日
Top