深度学习中门控机制和注意力机制是一种东西吗？

不是一个东西，区别很大。

门控机制使用sigmoid产生的weighting是很平滑的，连续的。

Softmax你别看他名字叫soft，好像也是输出0~1之间的一个概率，似乎也很平滑，其实因为他考虑了其他类别的概率，导致输出的概率非常生硬。sigmoid 可能会产生0.5,0.6之类的数字，他是从0到1平滑过渡的，但softmax产生的概率都是很极端的，很多都是0.001,0.99之类的，训练到后面干脆就突破浮点精度，直接就输出0和1了。

所以softmax就跟开关一样的，关掉的那些通道，可以认为是被完全堵死的。