Probabilistic topic models are popular unsupervised learning methods, including probabilistic latent semantic indexing (pLSI) and latent Dirichlet allocation (LDA). By now, their training is implemented on general purpose computers (GPCs), which are flexible in programming but energy-consuming. Towards low-energy implementations, this paper investigates their training on an emerging hardware technology called the neuromorphic multi-chip systems (NMSs). NMSs are very effective for a family of algorithms called spiking neural networks (SNNs). We present three SNNs to train topic models. The first SNN is a batch algorithm combining the conventional collapsed Gibbs sampling (CGS) algorithm and an inference SNN to train LDA. The other two SNNs are online algorithms targeting at both energy- and storage-limited environments. The two online algorithms are equivalent with training LDA by using maximum-a-posterior estimation and maximizing the semi-collapsed likelihood, respectively. They use novel, tailored ordinary differential equations for stochastic optimization. We simulate the new algorithms and show that they are comparable with the GPC algorithms, while being suitable for NMS implementation. We also propose an extension to train pLSI and a method to prune the network to obey the limited fan-in of some NMSs.


翻译:概率性专题模型是流行的不受监督的学习方法,包括概率潜潜潜语义索引(pLSI)和潜潜潜狄里赫特分配(LDA)等。现在,它们的培训是在通用计算机(GPCs)上进行的,这些计算机在编程方面是灵活的,但耗能是消耗能源的。在低能执行方面,本文调查了它们关于一种新型硬件技术的培训,称为神经形态多芯系统(NMSs)。NMS对被称为神经神经网络(SNNS)的算法系列来说非常有效。我们提出三个SNNNNNN(SN)来培训主题模型。第一个SNNN(SNN)是一种批量算法,结合常规崩溃的GPS(CGS)算法)和训练LDA的推断。另外两个SNNNN(NN)是针对能源和储存环境的在线算法。两种在线算法相当于LDA培训,它们分别使用最高偏差估计和最大半折叠的可能性。它们使用新定制的普通差异方程方程式来进行主题性优化。我们模拟新的算法,同时提议采用一种可比较的GPC(NPC)网络,同时提议采用一种可比较的LMS(GPC)和PRPR(W),我们提议一种可操作法。

3
下载
关闭预览

相关内容

强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
89+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
96+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Deep Randomized Ensembles for Metric Learning
Arxiv
4+阅读 · 2018年9月4日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
9+阅读 · 2018年3月28日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2018年3月2日
Arxiv
5+阅读 · 2017年12月14日
Arxiv
3+阅读 · 2015年5月16日
VIP会员
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
23+阅读 · 2019年5月22日
强化学习的Unsupervised Meta-Learning
CreateAMind
17+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
41+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
人工智能 | 国际会议信息10条
Call4Papers
5+阅读 · 2018年12月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
相关论文
Deep Randomized Ensembles for Metric Learning
Arxiv
4+阅读 · 2018年9月4日
Arxiv
3+阅读 · 2018年6月18日
Arxiv
9+阅读 · 2018年3月28日
Arxiv
7+阅读 · 2018年3月21日
Arxiv
3+阅读 · 2018年3月2日
Arxiv
5+阅读 · 2017年12月14日
Arxiv
3+阅读 · 2015年5月16日
Top
微信扫码咨询专知VIP会员