Nonnegative matrix factorization (NMF) based topic modeling methods do not rely on model- or data-assumptions much. However, they are usually formulated as difficult optimization problems, which may suffer from bad local minima and high computational complexity. In this paper, we propose a deep NMF (DNMF) topic modeling framework to alleviate the aforementioned problems. It first applies an unsupervised deep learning method to learn latent hierarchical structures of documents, under the assumption that if we could learn a good representation of documents by, e.g. a deep model, then the topic word discovery problem can be boosted. Then, it takes the output of the deep model to constrain a topic-document distribution for the discovery of the discriminant topic words, which not only improves the efficacy but also reduces the computational complexity over conventional unsupervised NMF methods. We constrain the topic-document distribution in three ways, which takes the advantages of the three major sub-categories of NMF -- basic NMF, structured NMF, and constrained NMF respectively. To overcome the weaknesses of deep neural networks in unsupervised topic modeling, we adopt a non-neural-network deep model -- multilayer bootstrap network. To our knowledge, this is the first time that a deep NMF model is used for unsupervised topic modeling. We have compared the proposed method with a number of representative references covering major branches of topic modeling on a variety of real-world text corpora. Experimental results illustrate the effectiveness of the proposed method under various evaluation metrics.


翻译:以非偏差矩阵因子化(NMF)为基础的专题模型方法并不主要依赖模型或数据假设,但是,这些模型通常被视为困难的优化问题,可能受到当地微缩不良和高计算复杂性的影响。在本文件中,我们提出一个深度的NMF(DNMF)主题模型框架,以缓解上述问题。首先采用不受监督的深层次学习方法,学习文件潜伏等级结构,假设如果我们能够通过(例如)深层次模型来了解文件的良好表述,那么主题发现问题就会加剧。然后,用深层模型的输出来限制为发现偏差主题词而分发专题文件的工作,这不仅能提高效果,而且还会降低与常规的、不受监督的NMF方法相比的计算复杂性。我们以三种方式限制专题文件的分布,这三种方式的优点是:NMFF的三个主要模型分类 -- -- 基本NMF、结构化的NMF, 和制约的NMF。为了克服深度的内含深层模型参考的内线性网络结构的弱点,我们采用了这个系统模型的模型模型的模型模型的模型,我们采用了这个系统下的一种非模型的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型的模型。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
120+阅读 · 2020年11月20日
专知会员服务
29+阅读 · 2020年9月13日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
70+阅读 · 2020年8月2日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
75+阅读 · 2020年2月3日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年4月19日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
5+阅读 · 2018年2月26日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
3+阅读 · 2015年5月16日
VIP会员
相关资讯
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
14+阅读 · 2019年4月13日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
25+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【论文】图上的表示学习综述
机器学习研究会
12+阅读 · 2017年9月24日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Arxiv
0+阅读 · 2021年4月19日
Arxiv
6+阅读 · 2019年7月11日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
5+阅读 · 2018年2月26日
Arxiv
25+阅读 · 2018年1月24日
Arxiv
3+阅读 · 2015年5月16日
Top
微信扫码咨询专知VIP会员