Most capsule network designs rely on traditional matrix multiplication between capsule layers and computationally expensive routing mechanisms to deal with the capsule dimensional entanglement that the matrix multiplication introduces. By using Homogeneous Vector Capsules (HVCs), which use element-wise multiplication rather than matrix multiplication, the dimensions of the capsules remain unentangled. In this work, we study HVCs as applied to the highly structured MNIST dataset in order to produce a direct comparison to the capsule research direction of Geoffrey Hinton, et al. In our study, we show that a simple convolutional neural network using HVCs performs as well as the prior best performing capsule network on MNIST using 5.5x fewer parameters, 4x fewer training epochs, no reconstruction sub-network, and requiring no routing mechanism. The addition of multiple classification branches to the network establishes a new state of the art for the MNIST dataset with an accuracy of 99.87% for an ensemble of these models, as well as establishing a new state of the art for a single model (99.83% accurate).


翻译:多数胶囊网络的设计都依赖于胶囊层之间传统的矩阵乘数和计算成本昂贵的路径机制,以应对矩阵倍增引入的胶囊维系缠绕。我们的研究显示,通过使用使用元素性倍增而不是矩阵倍增的同质矢量矢量囊囊囊囊囊囊囊积(HVCs),胶囊的维度仍然没有纠缠。在这项工作中,我们研究对高度结构化的MNIST数据集应用的HVCs,以便直接比较Geoffrey Hinton等人的胶囊研究方向。我们的研究显示,一个使用HVCs的简单脉冲神经网络,以及以前使用5.5x更少参数、4x少培训骨骼、没有重建子网络和不需要路由机制在MNIST上运行的最佳胶囊网络。在网络中添加多个分类分支,为MNIST数据集建立了新的艺术状态,这些模型的精确度为99.87%,并为单一模型建立了新的艺术状态(99.83%)。

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2020年9月7日
Capsule Networks,胶囊网络,57页ppt,布法罗大学
专知会员服务
65+阅读 · 2020年2月29日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
39+阅读 · 2019年10月9日
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Github 项目推荐 | 用 Pytorch 实现的 Capsule Network
AI研习社
22+阅读 · 2018年3月7日
三味Capsule:矩阵Capsule与EM路由
PaperWeekly
10+阅读 · 2018年3月2日
漫谈Capsule Network基本原理
深度学习每日摘要
8+阅读 · 2017年12月6日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
如何看待 Hinton 那篇备受关注的Capsules论文?
AI研习社
6+阅读 · 2017年11月2日
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Local Relation Networks for Image Recognition
Arxiv
4+阅读 · 2019年4月25日
Nocaps: novel object captioning at scale
Arxiv
6+阅读 · 2018年12月20日
Text Classification using Capsules
Arxiv
3+阅读 · 2018年8月14日
Arxiv
8+阅读 · 2018年3月20日
Arxiv
6+阅读 · 2017年12月7日
VIP会员
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
19+阅读 · 2019年5月24日
Github 项目推荐 | 用 Pytorch 实现的 Capsule Network
AI研习社
22+阅读 · 2018年3月7日
三味Capsule:矩阵Capsule与EM路由
PaperWeekly
10+阅读 · 2018年3月2日
漫谈Capsule Network基本原理
深度学习每日摘要
8+阅读 · 2017年12月6日
Capsule Networks解析
机器学习研究会
10+阅读 · 2017年11月12日
如何看待 Hinton 那篇备受关注的Capsules论文?
AI研习社
6+阅读 · 2017年11月2日
相关论文
Learning Dynamic Routing for Semantic Segmentation
Arxiv
8+阅读 · 2020年3月23日
Local Relation Networks for Image Recognition
Arxiv
4+阅读 · 2019年4月25日
Nocaps: novel object captioning at scale
Arxiv
6+阅读 · 2018年12月20日
Text Classification using Capsules
Arxiv
3+阅读 · 2018年8月14日
Arxiv
8+阅读 · 2018年3月20日
Arxiv
6+阅读 · 2017年12月7日
Top
微信扫码咨询专知VIP会员