论文题目: Privacy-Preserving Gradient Boosting Decision Trees

论文作者: Qinbin Li, Zhaomin Wu, Zeyi Wen, Bingsheng He

论文摘要: 梯度提升决策树(GBDT)是近年来用于各种任务的流行机器学习模型。在本文中,我们研究如何在保留差异性隐私的有力保证的同时提高GBDT的模型准确性。敏感度和隐私预算是差异化私人模型有效性的两个关键设计方面。现有的具有差分隐私保护的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配(尤其是GBDT模型中的不同树)而导致严重的准确性损失。松散的灵敏度范围导致更多的噪声以获得固定的优先级。无效的隐私预算分配使准确性降低,尤其是在树的数量很大时。因此,我们提出了一种新的GBDT训练算法,该算法可实现更严格的灵敏度范围和更有效的噪声分配。具体而言,通过研究梯度的属性和每棵树在GBDT中的贡献,我们提出针对每个迭代和叶节点修剪自适应地控制训练数据的梯度,以收紧敏感度范围。此外,我们设计了一种新颖的增强框架,可以在树之间分配隐私预算,从而可以减少准确性损失。我们的实验表明,与其他基准相比,我们的方法可以实现更好的模型准确性。

成为VIP会员查看完整内容
30
0

相关内容

论文浅尝 | 重新实验评估知识图谱补全方法
开放知识图谱
17+阅读 · 2020年3月29日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
28+阅读 · 2019年1月17日
自定义损失函数Gradient Boosting
AI研习社
11+阅读 · 2018年10月16日
PRL导读-2018年120卷15期
中科院物理所
4+阅读 · 2018年4月23日
论文浅尝 | Distant Supervision for Relation Extraction
开放知识图谱
4+阅读 · 2017年12月25日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
机器学习算法实践:决策树 (Decision Tree)
Python开发者
9+阅读 · 2017年7月17日
Adaptive Neural Trees
Arxiv
3+阅读 · 2018年12月10日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
HAQ: Hardware-Aware Automated Quantization
Arxiv
6+阅读 · 2018年11月21日
Physical Primitive Decomposition
Arxiv
3+阅读 · 2018年9月13日
小贴士
相关VIP内容
相关资讯
论文浅尝 | 重新实验评估知识图谱补全方法
开放知识图谱
17+阅读 · 2020年3月29日
论文浅尝 | Interaction Embeddings for Prediction and Explanation
开放知识图谱
11+阅读 · 2019年2月1日
论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
开放知识图谱
28+阅读 · 2019年1月17日
自定义损失函数Gradient Boosting
AI研习社
11+阅读 · 2018年10月16日
PRL导读-2018年120卷15期
中科院物理所
4+阅读 · 2018年4月23日
论文浅尝 | Distant Supervision for Relation Extraction
开放知识图谱
4+阅读 · 2017年12月25日
机器学习(23)之GBDT详解
机器学习算法与Python学习
12+阅读 · 2017年10月25日
机器学习算法实践:决策树 (Decision Tree)
Python开发者
9+阅读 · 2017年7月17日
微信扫码咨询专知VIP会员