感觉类似的讨论在DL社区已经存在很久了,广义上来说可以对应到“nature and nurture“的讨论。
17 年底 Yann LeCun 和 Gary Marcus 的 Debate,以及 18 年初 Yann LeCun 和 Christopher Manning 的 Debate,都谈论到了这个话题。
个人觉得从长远来看必定是较为通用的结构加上算力起决定性作用,但短期来看,这么多人也是要短期成果吃饭的啊。。无意间能发现一些较为通用的结构也是意外的惊喜了。