We propose Dual PatchNorm: two Layer Normalization layers (LayerNorms), before and after the patch embedding layer in Vision Transformers. We demonstrate that Dual PatchNorm outperforms the result of exhaustive search for alternative LayerNorm placement strategies in the Transformer block itself. In our experiments, incorporating this trivial modification, often leads to improved accuracy over well-tuned Vision Transformers and never hurts.
翻译：暂无翻译
相关内容
Arxiv
0+阅读 · 2023年6月20日
Arxiv
0+阅读 · 2023年6月20日
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
Arxiv
13+阅读 · 2019年11月1日
相关VIP内容
相关资讯
相关论文
Arxiv
0+阅读 · 2023年6月20日
Arxiv
0+阅读 · 2023年6月20日
InteractE: Improving Convolution-based Knowledge Graph Embeddings by Increasing Feature Interactions
Arxiv
13+阅读 · 2019年11月1日
微信扫码咨询专知VIP会员