新型深度学习模型的研究

深度学习是近年来机器学习领域中的热点研究领域。深度森林模型是一 种新型深度学习模型,扩展了深度学习的内涵和适用范围。本文开展深度森 林方面的相关研究工作,主要取得了以下创新结果:

  • 1.基于森林的多层分布表示。多层分布式表示学习被认为是神经网络独有的 特性,本文提出了基于森林的多层模型 mGBDT,第一次显示出多层分布 式表示通过森林模型也能进行。在表格数据和混合数据等各类建模任务 上,mGBDT 展示了其兼具表示学习和离散数据建模的能力。

  • 2.基于森林的自编码器模型。自编码器被认为是只能通过神经网络实现的独 有模型,本文工作提出了第一个基于森林的自编码器 eForest,在多类数 据上均取得了优异的性能体现。与此同时,还利用 Intel 众核芯片 KNL, 通过多进程,向量化和编译器优化等技术,获得了近线性加速比,为大规 模应用提供了基础。

    1. 基于自编码器的毒化训练。毒化训练指对深度学习模型的训练过程进行攻 击,使得训练好的模型存在攻击者希望的缺陷。本文主要讨论通过设计新 型自编码器,通过对训练样本进行对抗表示学习,以实现毒化训练。本文 同时将算法扩展到了联邦学习框架下,验证了该算法在具备数据隐私保护 的分布式场景下依旧有效。
    1. 多示例多标记的深度模型。多标记多示例 (MIML) 学习是面向多义性对象 的新型机器学习框架,本文设计了第一个 MIML 深度模型,可自动从原 始数据中学习出多示例的样本表示。与此同时,通过预训练 DeepMIML 模型同多标记深度森林模型相结合,在一系列任务中取得了优异的性能。

成为VIP会员查看完整内容
65

相关内容

专知会员服务
36+阅读 · 2020年12月22日
机器学习的可解释性
专知会员服务
68+阅读 · 2020年12月18日
专知会员服务
78+阅读 · 2020年12月18日
专知会员服务
74+阅读 · 2020年12月6日
专知会员服务
216+阅读 · 2020年8月1日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
论文浅尝 | 可建模语义分层的知识图谱补全方法
开放知识图谱
30+阅读 · 2020年3月8日
实验室2篇论文被IEEE IoTJ录用
inpluslab
9+阅读 · 2019年6月28日
实验室3篇论文被IJCAI 2019录用
inpluslab
12+阅读 · 2019年5月11日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
近期知识图谱顶会论文推荐,你都读过哪几篇?
PaperWeekly
9+阅读 · 2018年12月12日
南京大学周志华教授综述论文:弱监督学习
机器之心
11+阅读 · 2018年3月5日
2017年刊登论文大盘点——人工智能篇
计算机研究与发展
5+阅读 · 2017年12月15日
已删除
Arxiv
31+阅读 · 2020年3月23日
Arxiv
99+阅读 · 2020年3月4日
VIP会员
相关VIP内容
专知会员服务
36+阅读 · 2020年12月22日
机器学习的可解释性
专知会员服务
68+阅读 · 2020年12月18日
专知会员服务
78+阅读 · 2020年12月18日
专知会员服务
74+阅读 · 2020年12月6日
专知会员服务
216+阅读 · 2020年8月1日
【斯坦福大学博士论文】自监督场景表示学习, 97页pdf
专知会员服务
92+阅读 · 2020年6月19日
相关资讯
论文浅尝 | 可建模语义分层的知识图谱补全方法
开放知识图谱
30+阅读 · 2020年3月8日
实验室2篇论文被IEEE IoTJ录用
inpluslab
9+阅读 · 2019年6月28日
实验室3篇论文被IJCAI 2019录用
inpluslab
12+阅读 · 2019年5月11日
清华大学图神经网络综述:模型与应用
机器之心
72+阅读 · 2018年12月26日
近期知识图谱顶会论文推荐,你都读过哪几篇?
PaperWeekly
9+阅读 · 2018年12月12日
南京大学周志华教授综述论文:弱监督学习
机器之心
11+阅读 · 2018年3月5日
2017年刊登论文大盘点——人工智能篇
计算机研究与发展
5+阅读 · 2017年12月15日
微信扫码咨询专知VIP会员