“内卷“算子超越卷积、自注意力机制：CVPR2021强大的神经网络新算子involution

本文是对我们CVPR 2021被接收的文章 Involution: Inverting the Inherence of Convolution for Visual Recognition的介绍，同时也分享一些我们对网络结构设计（CNN和Transformer）的理解。

概要 我们的贡献点简单来讲：

（1）提出了一种新的神经网络算子（operator或op）称为involution，它比convolution更轻量更高效，形式上比self-attention更加简洁，可以用在各种视觉任务的模型上取得精度和效率的双重提升。

（2）通过involution的结构设计，我们能够以统一的视角来理解经典的卷积操作和近来流行的自注意力操作。