VIP内容

新型深度学习模型的研究

深度学习是近年来机器学习领域中的热点研究领域。深度森林模型是一 种新型深度学习模型,扩展了深度学习的内涵和适用范围。本文开展深度森 林方面的相关研究工作,主要取得了以下创新结果:

  • 1.基于森林的多层分布表示。多层分布式表示学习被认为是神经网络独有的 特性,本文提出了基于森林的多层模型 mGBDT,第一次显示出多层分布 式表示通过森林模型也能进行。在表格数据和混合数据等各类建模任务 上,mGBDT 展示了其兼具表示学习和离散数据建模的能力。

  • 2.基于森林的自编码器模型。自编码器被认为是只能通过神经网络实现的独 有模型,本文工作提出了第一个基于森林的自编码器 eForest,在多类数 据上均取得了优异的性能体现。与此同时,还利用 Intel 众核芯片 KNL, 通过多进程,向量化和编译器优化等技术,获得了近线性加速比,为大规 模应用提供了基础。

    1. 基于自编码器的毒化训练。毒化训练指对深度学习模型的训练过程进行攻 击,使得训练好的模型存在攻击者希望的缺陷。本文主要讨论通过设计新 型自编码器,通过对训练样本进行对抗表示学习,以实现毒化训练。本文 同时将算法扩展到了联邦学习框架下,验证了该算法在具备数据隐私保护 的分布式场景下依旧有效。
    1. 多示例多标记的深度模型。多标记多示例 (MIML) 学习是面向多义性对象 的新型机器学习框架,本文设计了第一个 MIML 深度模型,可自动从原 始数据中学习出多示例的样本表示。与此同时,通过预训练 DeepMIML 模型同多标记深度森林模型相结合,在一系列任务中取得了优异的性能。

成为VIP会员查看完整内容
0
39
Top