求问:调参是否能对深度学习模型的性能有极大提升？

泻药。

能够，而且最大的问题是，两个性能都不错的超参，在数字上/参数空间距离上可能比较大，这也是大家诟病深度学习的地方。

谷歌的NAS和目前提出的AutoML，会自动寻找最优结构和最优参数，是不是会好多了？可反对深度学习这种黑盒子的专家们更讨厌了，有趣吧？

对不喜欢DL的专家，他们追求的是探索问题的本质。我理解的是，就是人的思维/知识能解释的东西，或者说是是对人类大脑/神经网络的仿真，比如视觉感知。

不过深度学习的大神们不这么认为，比如Yann就反对IBM所谓神经芯片，他认为目前深度学习跟人类神经系统没有任何相似地方。著名的机器学习专家，伯克利分校的教授Michael Jordan，也是深度学习算大牛的吴恩达，他的导师，和篮球巨星重名的大教授就认为，这些年对人工智能推动很大的是计算机科学，而不是什么人类智能的仿真。

比较乱吧？就是这样的情况。