展望:模型驱动的深度学习

2018 年 1 月 23 日 人工智能学家 徐宗本
展望:模型驱动的深度学习

来源:《国家科学评论》

概要:近年来,深度学习在人工智能领域一系列困难问题上取得了突破性成功应用。


模型驱动的深度学习方法


近年来,深度学习在人工智能领域一系列困难问题上取得了突破性成功应用。例如用于人脸识别已高于人的正确识别率、用于语音识别与机器翻译已接近达到同声翻译和‵讲完稿出'的水平、用于围棋竞赛已达到完胜人类世界冠军的水平、用于一些疾病的诊断巳能与中、高级专业医师水平匹敌。现在,深度学习技术在信息科学各领域已无处不在、并正成为各自领域的标准方法。


尽管深度学习取得重大进展,但人们对人工神经网络拓扑与性能的对应关系仍然缺少理论上的认知,网络拓扑选择目前还是一项工程技术而并没有成为科学。这直接导致了现有深度学习多半是缺少理论基础的启发式方法。设计难、解释难、结果不可预知已成为深度学习公认的缺撼。


《国家科学评论》最近发表了西安交通大学数学与统计学院徐宗本院士、孙剑教授撰写的“Model-driven deep learning”的观点文章(National Science Review, 2017,https://doi.org/10.1093/nsr/nwx099)。这篇文章尝试解决深度学习的网络拓扑选择问题,目的是实现可设计、可解释以及结果可预期的深度学习方法。文章提出一种模型驱动与数据驱动相结合深度学习方法。众所周知,深度学习是一种标准的数据驱动型方法,它将深度网络作为黑箱依赖于大量数据解决现实问题;而模型驱动方法则是从目标、机理、先验出发首先形成学习的一个代价函数,然后通过极小化代价函数来解决问题。模型驱动方法的最大优点是只要模型足够精确,解的质量可预期甚至能达到最优,而且求解方法是确定的,但模型驱动方法的缺陷是在应用中难能精确建模,而且对建模的精确性追求通常只能是一种奢望。


模型驱动深度学习方法有效结合了模型驱动和数据驱动方法的优势,文章中给出了模型驱动深度学习的标准流程:(1)根据问题,建立模型族(Family of Models);(2)根据模型族,设计算法族(Family of Algorithms)并建立算法族的收敛性理论;(3)将算法族展开(unfold)成深度网络并实施深度学习。文中还介绍了课题组研究并实践的一系列模型驱动与数据驱动结合的深度等习方法,展现了该方法在解决实际问题上的有效性。



未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。由互联网进化论作者,计算机博士刘锋与中国科学院虚拟经济与数据科学研究中心石勇、刘颖教授创建。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

登录查看更多
9

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

深度学习方法对各种医学诊断任务都非常有效,甚至在其中一些任务上击败了人类专家。然而,算法的黑箱特性限制了临床应用。最近的可解释性研究旨在揭示对模型决策影响最大的特征。这一领域的大多数文献综述都集中在分类学、伦理学和解释的需要上。本文综述了可解释的深度学习在不同医学成像任务中的应用。本文从一个为临床最终用户设计系统的深度学习研究者的实际立场出发,讨论了各种方法、临床部署的挑战和需要进一步研究的领域。

成为VIP会员查看完整内容
0
60

摘要: 大数据时代,数据呈现维度高、数据量大和增长快等特点。如何有效利用其中蕴含的有价值信息,以实现数据的智能化处理,已成为当前理论和应用的研究热点。针对现实普遍存在的多义性对象,数据多标签被提出并被广泛应用于数据智能化组织。近年来,深度学习在数据特征提取方面呈现出高速、高精度等优异性,使基于深度学习的多标签生成得到广泛关注。文中分五大类别总结了最新研究成果,并进一步从数据、关系类型、应用场景、适应性及实验性能方面对其进行对比和分析,最后探讨了多标签生成面临的挑战和未来的研究方向。

成为VIP会员查看完整内容
0
69

自然语言处理(NLP)帮助智能机器更好地理解人类语言,实现基于语言的人机交流。计算能力的最新发展和大量语言数据的出现,增加了使用数据驱动方法自动进行语义分析的需求。由于深度学习方法在计算机视觉、自动语音识别,特别是NLP等领域的应用取得了显著的进步,数据驱动策略的应用已经非常普遍。本调查对得益于深度学习的NLP的不同方面和应用进行了分类和讨论。它涵盖了核心的NLP任务和应用,并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。

成为VIP会员查看完整内容
0
119

简介: 近年来,生命科学和数据科学已经融合。机器人技术和自动化技术的进步使化学家和生物学家能够生成大量数据。与20年前的整个职业生涯相比,如今的科学家每天能够产生更多的数据。快速生成数据的能力也带来了许多新的科学挑战。我们不再处于可以通过将数据加载到电子表格中并制作几个图表来对其进行处理的时代。为了从这些数据集中提取科学知识,我们必须能够识别和提取非显而易见的关系。近年来,作为识别数据模式和关系的强大工具而出现的一种技术是深度学习,它是一类算法,它彻底改变了解决诸如图像分析,语言翻译和语音识别等问题的方法。深度学习算法擅长识别和利用大型数据集中的模式。由于这些原因,深度学习在生命科学学科中具有广泛的应用。本书概述了深度学习如何应用于遗传学,药物发现和医学诊断等多个领域。我们描述的许多示例都附带有代码示例,这些示例为方法提供了实用的介绍,并为读者提供了以后进行研究和探索的起点。

该书中代码地址:https://github.com/deepchem/DeepLearningLifeSciences

目录:

  • 生命科学
  • 深度学习介绍
  • 机器学习与深化
  • 分子与机器学习
  • 生物机器学习
  • 基因组学与深度学习
  • 显微学与机器学习
  • 医药学与深度学习
  • 生成模型
  • 深度模型的解释
  • 预测模型
  • 展望
成为VIP会员查看完整内容
0
40

题目: Deep Learning in Video Multi-Object Tracking: A Survey

简介: 多对象跟踪(MOT)的问题在于遵循序列中不同对象(通常是视频)的轨迹。 近年来,随着深度学习的兴起,提供解决此问题的算法得益于深度模型的表示能力。 本文对采用深度学习模型解决单摄像机视频中的MOT任务的作品进行了全面的调查。 确定了MOT算法的四个主要步骤,并对这些阶段的每个阶段如何使用深度学习进行了深入的回顾。 还提供了对三个MOTChallenge数据集上提出的作品的完整实验比较,确定了表现最好的方法之间的许多相似之处,并提出了一些可能的未来研究方向。

成为VIP会员查看完整内容
DEEP LEARNING IN VIDEO MULTI-OBJECT TRACKING.pdf
0
29
小贴士
相关资讯
CCCF专栏 | 自然语言处理中的深度学习:评析与展望
中国计算机学会
7+阅读 · 2019年9月18日
【深度学习】深度学习技术发展趋势浅析
产业智能官
8+阅读 · 2019年4月13日
深度学习技术发展趋势浅析
人工智能学家
16+阅读 · 2019年4月11日
7个实用的深度学习技巧
机器学习算法与Python学习
12+阅读 · 2019年3月6日
【机器学习】机器学习:未来十年研究热点
产业智能官
5+阅读 · 2018年11月4日
迁移学习在深度学习中的应用
专知
14+阅读 · 2017年12月24日
人工智能,机器学习和深度学习之间的差异是什么?
大数据技术
6+阅读 · 2017年11月22日
CCCF专栏 | 生成式对抗网络的研究进展与展望
中国计算机学会
13+阅读 · 2017年11月17日
深度学习知识总结(一)
深度学习探索
7+阅读 · 2017年7月18日
相关VIP内容
专知会员服务
43+阅读 · 2020年5月5日
专知会员服务
69+阅读 · 2020年4月25日
专知会员服务
58+阅读 · 2020年4月7日
专知会员服务
119+阅读 · 2020年3月6日
机器翻译深度学习最新综述
专知会员服务
54+阅读 · 2020年2月20日
相关论文
A Survey on Bayesian Deep Learning
Hao Wang,Dit-Yan Yeung
38+阅读 · 2020年7月2日
Mingzhen Li,Yi Liu,Xiaoyan Liu,Qingxiao Sun,Xin You,Hailong Yang,Zhongzhi Luan,Depei Qian
9+阅读 · 2020年2月6日
Optimization for deep learning: theory and algorithms
Ruoyu Sun
75+阅读 · 2019年12月19日
Tao Kong,Fuchun Sun,Huaping Liu,Yuning Jiang,Jianbo Shi
5+阅读 · 2019年4月8日
Claudio Gambella,Bissan Ghaddar,Joe Naoum-Sawaya
7+阅读 · 2019年1月16日
Borja Ibarz,Jan Leike,Tobias Pohlen,Geoffrey Irving,Shane Legg,Dario Amodei
4+阅读 · 2018年11月15日
Theo Ryffel,Andrew Trask,Morten Dahl,Bobby Wagner,Jason Mancuso,Daniel Rueckert,Jonathan Passerat-Palmbach
4+阅读 · 2018年11月13日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
The Bottleneck Simulator: A Model-based Deep Reinforcement Learning Approach
Iulian Vlad Serban,Chinnadhurai Sankar,Michael Pieper,Joelle Pineau,Yoshua Bengio
9+阅读 · 2018年7月12日
Yu-Xiong Wang,Ross Girshick,Martial Hebert,Bharath Hariharan
14+阅读 · 2018年4月3日
Top