文本表示提取的时候,对单词级别的embedding施加average pool还是max pool?

这两种操作应该各有优劣,怎么权衡呢?有没有什么paper探讨或者结合二者来提取表示
关注者
21
被浏览
1,950
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

《A Sensitivity Analysis of Convolutional Neural Networks for Sentence Classification》里关于Effect of pooling strategy有比较详细的分析实验,结论是:

Our analysis of pooling strategies shows that 1-max pooling consistently performs better than alternative strategies for the task of sentence classification。

《Very Deep Convolutional Networks for Text Classification》里也有k-max pooling和 max-pooling的对比,结论是后者比较好。