题目:Capsules with Inverted Dot-Product Attention Routing

摘要:我们设计了一种新的胶囊网络路由算法,其中低层胶囊仅根据高层的状态和低层的投票之间的协议路由到高层。新机制1)设计反向路由点积注意力;2) 强制层规范化作为规范化;和 3)将顺序迭代路由替换为并发迭代路由。与之前提出的路由算法相比,我们的方法提高了基准数据集(如 CIFAR-10 和 CIFAR-100)的性能,并且其性能与功能强大的 CNN (ResNet-18) 相同,参数减少了 4 倍。在从叠加数字图像中识别数字的任务中,提出的的胶囊模型在给定每层相同数量的层和神经元的情况下,对比 CNN 具有优异的性能。我们认为,我们的工作提高了将胶囊网络应用于复杂的实际任务的可能性。 地址:https://arxiv.org/pdf/2002.04764.pdf

代码:https://github.com/apple/ml-capsules-inverted-attention-routing

成为VIP会员查看完整内容
25

相关内容

【ICML2020】对比多视角表示学习
专知会员服务
52+阅读 · 2020年6月28日
【ICLR 2019】双曲注意力网络,Hyperbolic  Attention Network
专知会员服务
82+阅读 · 2020年6月21日
【CVPR2020】图神经网络中的几何原理连接
专知会员服务
55+阅读 · 2020年4月8日
注意力图神经网络的多标签文本分类
专知会员服务
111+阅读 · 2020年3月28日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
108+阅读 · 2020年2月22日
【ICLR-2020】网络反卷积,NETWORK DECONVOLUTION
专知会员服务
37+阅读 · 2020年2月21日
【教程】可视化CapsNet,详解Hinton等人提出的胶囊概念与原理
GAN生成式对抗网络
8+阅读 · 2018年4月11日
ISI新研究:胶囊生成对抗网络
论智
17+阅读 · 2018年3月7日
胶囊 (向量神经) 网络
机器学习研究会
7+阅读 · 2018年1月10日
CapsNet入门系列之二:胶囊如何工作
论智
11+阅读 · 2017年11月22日
Arxiv
3+阅读 · 2019年9月5日
Arxiv
8+阅读 · 2018年5月24日
Arxiv
3+阅读 · 2018年3月21日
VIP会员
微信扫码咨询专知VIP会员