敢问路在何方:闲话深度学习

深度学习(Deep Learning, DL)以及相关的人工智能(Artificial Intelligence, AI)领域在过去的几年内得到了迅速发展,并且向医疗(MRICT等医疗图像,EEG,医疗检查报告等文本数据)、教育(语音助手,教育机器人,口测系统,教学辅助设备,作业辅导等)、制造、金融(智能投顾,投资组合,股票债券预测,欺诈检测,贷款投放等)、市场营销、保险、交通(不仅仅是无人驾驶,还有流量预测等)、公安(天眼系统)、安防、政务、司法(同医疗等安全攸关一样,涉及严重的可解释性问题)、物流(路径规划)、智能交互(包括但不仅仅有ChatBot)、城市、农业、勘探、以及AI芯片研发、程序合成、等更多垂直领域深入。2019年以及后面几年,AI在某些领域的发展势头仍将继续保持,但在另一些方面可能不如预期,行业发展,资金投入都将作出一系列调整。比如2019年,新能源汽车厂商可能会进行量产,更多地进行市场布局,AI芯片公司会进一步兼并整合,达到市场健康发展,更多的IoT硬件以及平台布局出现,更多的垂直领域探索等等。

但是这一波深度学习大潮更多是借助海量数据大计算能力以及算法的提升。这在某些行业领域是不现实的,很难短期内能够做到。

对于目前AI存在的诸多问题,我们如何应对呢?如何考虑对当前这种局面的优化改进呢?


  1. 如何不过分依赖大数据呢学习流程的改进、创新;半监督/无监督学习;引入规则、知识、常识等先验(吃水不忘挖井人,上一代AI并不都一无是处吧)
  2. 如何不过分依赖算力压缩模型架构;分布式机器学习(很多大公司的研究进展靠的是动辄成千上万的GPU/CPU集群,小公司/穷学生买一块GPU都肉疼)
  3. 算法革命:梯度算法的组合升级;非梯度优化算法设计(过分相信权威,相信超大规模机器所带来的绝对优势了。我们在黎曼zeta零点的计算上也犯过同样的错误,这种错误在发生时,不太被人们承认或者警觉,事后却觉有些可笑)
  4. 深度神经网络(Deep Neural Networks)为什么work:loss surfaces为何容易陷入局部极值,局部极值对结果有何影响,有多大影响;借助更多不同学科如动力系统非线性PDEs信息论微分几何/黎曼几何拓扑学、统计物理(随机矩阵理论均场理论,自旋玻璃等)、运筹优化、量子理论、生物科学、计量经济等交叉融合,对DL进行更多理论分析、实验验证,从而向透明公平可解释的ML更进一步!
  5. 架构设计:除了卷积残差池化dropoutnormalization、1x1等,我们还能引入哪些模块来提升模型呢?AutoML就能找出更高效可行的模型架构吗?模型架构的设计能够跳出目前的layered cascades结构呢?
  6. 自然语言:DL在NLPNLUNMT等方面目前还并不如人意。如何提高准确度,提升模型的速度和效率呢,比如引入常识,提高long-term context理解,更合理的topics、文本摘要、summarization等,再比如采用graph-based NN(各大洲小语种、方言、口音等稀缺资源的解决;语义网络,时序关系,主从关系,指代关系等,能否高效准确地解决复杂隐含的指代消解问题等,这些都阻碍了语音的发展)
  7. 图神经网络:利用图论中已有的众多算法、架构,结合深度学习,部分解决了DL的可解释性问题,但是我看到太多的文章宣传DL已死,GNN是DL的未来,我认为这还需要更多的理论证明和实践检验(杜绝标题党)
  8. 因果or相关:要不要引入因果关系呢?我认为非常必要,我们太关注事件的表象,而忽视了驱动事件发生的内在机理了。(这跟量子力学有些相像,20世纪量子力学的发展改变了我们生活以及对世界的认知,但是量子力学虽然非常漂亮,但是如此高深的理论却在很多方面相互矛盾,彼此难以解释,我个人认为量子力学只是世界本质呈现给我们的表象,通过表象我们可以感知世界,可以在某种程度上预测世界,但是我们真的很难真正理解世界。就像你同朝生暮死的蜉蝣讲一年四季,同只能感知2D的蚂蚁描绘我们变换多彩的世界一样,我们或许也处在同蜉蝣、蚂蚁一样的角度,对于浩瀚宇宙、神奇世界了解的还远远不够)那么我们应该怎样引入causality呢?比如结合Bayesian网络,考虑基于时间关系或流程先后的事件
  9. Collective intelligence
  10. 人脑与AI之间的关系:人脑汇集了动作、感知、认知等多种功能(甚至还能幻想、做梦呢,这要比DeepDream高级得多),并以一种我们目前还不是非常清楚的方式进行信息处理、交互、传输、存储,这是一种非常高级的智能模式。目前的DL仍然只是在视听觉等某一个感知层面上实现了特定AI,认知层面上,知识图谱(Knowledge Graph, KG)算是一种探索研究,但总体而言,目前离AGI还很遥远(万里长征第一步吧)!后面AI的发展可能一定程度上还要依赖于脑科学、认知科学的快速发展。


上面是我的一些个人看法,未作深入分析,难免错谬,有些或许偏颇,读者如有意见,敬请评论区讨论,看到后尽量尽快回复;同时有更多好的建议,也请告知,我将选择添加到这篇短文中,使更多有意者学到哪怕一点点有用之处,也算功业了。另外,文末简单列了一些参考阅读文献,还有很多很多,以免混乱,未作罗列。


更多阅读:

刘铁岩, 陈薇, 王太峰, 高飞, 分布式机器学习:算法、理论与实践,2018



Adrian Rosebrock, Deep Learning for Computer Vision with Python (Starter Bundle, Practitioner Bundle & ImageNet Bundle), 2017

Li Deng, Yang Liu, Deep Learning in Natural Language Processing, Springer, 2018



Patrick Hall, Navdeep Gill, An Introduction to Machine Learning Interpretability: An Applied Perspective on Fairness, Accountability, Transparency, and Explainable AI, 2018

Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Dino Pedreschi, Fosca Giannotti, A Survey Of Methods For Explaining Black Box Models, arXiv:1802.01933v3



Judea Pearl, Dana Mackenzie, The Book of Why: The New Science of Cause and Effect, Basic Books, 2018



J Pennington, S Schoenholz, S Ganguli, Resurrecting the sigmoid in deep learning through dynamical isometry: theory and practice. Advances in Neural Information Processing Systems, 2017.

AM Saxe, JL McClelland, S Ganguli, A mathematical theory of semantic development in deep neural networks, 2018

J Pennington, SS Schoenholz, S Ganguli, The Emergence of Spectral Universality in Deep Networks, AISTATS, 2018

AK Lampinen, S Ganguli, An analytic theory of generalization dynamics and transfer learning in deep linear networks, ICLR, 2019



Peter W. Battaglia et al, Relational inductive biases, deep learning, and graph networks, 2018

Ziwei Zhang, Peng Cui and Wenwu Zhu, Deep Learning on Graphs: A Survey, 2018

Zonghan Wu, Shirui Pan, Fengwen Chen, Guodong Long, Chengqi Zhang, Philip S. Yu, A Comprehensive Survey on Graph Neural Networks, 2019

Jie Zhou, Ganqu Cui, Zhengyan Zhang, Cheng Yang, Zhiyuan Liu, Maosong Sun, Graph Neural Networks: A Review of Methods and Applications, 2019

Keyulu Xu, Weihua Hu, Jure Leskovec, Stefanie Jegelka, HOW POWERFUL ARE GRAPH NEURAL NETWORKS?, ICLR, 2019

编辑于 2021-07-19 13:45