【深度学习】一文看尽深度学习各领域最新突破

2019 年 4 月 24 日 人工智能学家
【深度学习】一文看尽深度学习各领域最新突破

来源:《产业智能官》


想要了解深度学习各领域的最新进展?

看个视频就足矣。



该课程的PPT资料,下载地址如下:

https://www.dropbox.com/s/v3rq3895r05xick/deep_learning_state_of_the_art.pdf?dl=0


本文所介绍的内容是MIT系列课程之一,是有关深度学习最新进展的讲座。可以说,该课程的内容定义了这个领域的最前沿的技术。


课程提纲:

  • BERT和自然语言处理

  • 特斯拉自动驾驶仪硬件v2+:大规模神经网络

  • AdaNet:集成的AutoML

  • AutoAugment:深度强化学习数据增强

  • 用合成数据训练深度网络

  • 使用Polygon-RNN ++进行分割注释(Segmentation Annotation)

  • DAWNBench:高速、低代价训练

  • BigGAN: 图像合成中的最先进技术

  • Video-to-Video合成

  • 语义分割

  • Alpha Zero和Open AI Five

  • 深度学习框架


BERT和自然语言处理


  • 编码器-解码器架构


  • 注意力机制

  • Transformer


  • 词嵌入向量


  • 上下文感知嵌入


  • OpenAI Transformer


  • BERT





特斯拉自动驾驶仪硬件v2+:大规模神经网络




AdaNet:集成的AutoML



AutoAugment:深度强化学习数据增强



用合成数据训练深度网络



使用Polygon-RNN ++进行分割注释(Segmentation Annotation)



DAWNBench:高速、低代价训练



BigGAN: 图像合成中的最先进技术



Video-to-Video合成



语义分割



Alpha Zero和Open AI Five




深度学习框架




深度学习不仅是知识,而是思维范式的转变


1956年,达特茅斯人工智能夏季研究计划首次提出“人工智能”一词,标志着这一学科的正式诞生,并鼓舞了一代又一代的科学家不断探寻可以媲美人类智慧的信息技术的潜力。

作为人工智能从概念到繁荣得以实现的主流技术,“深度学习”也被全球各大科技巨头纷纷拥抱。

自动驾驶、AI医疗、语音识别、图像识别、智能翻译以及震惊世界的AlphaGo…… 

我们今天所看到的各种形式的人工智能,背后都是“深度学习”在发挥神奇的作用。

深度学习究竟是什么?它是如何一步步影响科技、商业和社会生活的?未来若干年,它又将如何影响我们所处的世界?

全球十大AI科学家、美国四院院士之一的特伦斯·谢诺夫斯基的新书《深度学习:智能时代的核心驱动力量》,从深度学习60年间的发展浪潮中前瞻性地预测了智能时代的商业图景。

关于本书微软(中国)CTO韦青老师做了分享与领读。大家请欣赏。


深度学习不仅是知识,而是思维范式的转变


首先我们怎么看深度学习,它到底是新的知识,还是一种范式的转变?深度学习是人工智能的一种方式。人工智能非常广泛,其中机器学习是一方面,深度学习又是机器学习的一个子域。我认为深度学习不仅仅是知识,更是一种思维范式的转变。

爱因斯坦说过:“我们不能用制造问题时的同一思维水平来解决问题”。我们现在处在一个智能的时代,机器开始解决很多人类原来以为自己擅长的,结果是机器更擅长解决问题。所以我们需要努力学习新的知识。新的知识要求我们对人类的思维方式和通过数学算法对世界描述转变,让我们理解这个世界是由很多模型构成的。人类思维方式和思考能力也是一种模式的识别,这种模式的识别发现和数学算法有一种天生的关系。

如果我们还带着过去的思维方式,无论是电气化时代的思维方式,甚至是信息化时代的思维方式,都无法理解智能时代人脑的思维方式和计算机的计算方式有什么异同点。

这会产生两种结果:一方面容易把人工智能所带来的成就神话和夸大,另一方面对数学的进步和算法的进步带来的人工智能发展成果产生误解。现在出现很多“机器是否会代替人,机器人是否让人类灭亡”的担忧。这就是因为没有充分了解人工智能的本质。

人的视觉是如何形成的?从科学角度来讲,你并不是真正的看到我,或者看到其他人。视网膜上的视锥细胞和视杆细胞把光子转化成电子,电子通过视神经到大脑皮层,通过一层一层分析,大脑通过对电信号的计算看到了我。如果理解了人的视觉行为,我们就能更深入的理解现在流行利用人工智能算法的方式去解读视觉信号、视频信号,也更容易理解为什么现在的人工智能可以做图形分析、图像分析、视频分析。

史为鉴,重新认识科技进步


在全球范围内由于技术的进步引发的新话题层出不穷,我们不断接收到新的理念。越来越多的公司和人发现,人类开始进入“无人区”,没有一个大思想家或者大哲学家能够告诉我们未来会怎么样。所以人们产生了很多争论,关于人工智能的争论,关于机器智能的争论,关于机器人的争论,关于技术和人类关系的争论等等。

去年10月份微软公司CEO萨提亚的一场非常有名的演讲上说,未来没有人引导我们,那么我们可以以史为鉴,看看历史上发生过什么。最有代表性的就是第一次工业革命到第二次工业革命之间,由蒸汽时代进入电气化时代。我把这个阶段总结为四种态度和四种结局。当时有很多有影响力的全球性的公司,他们用蒸汽力量代替人的四肢。但当电气出现的时候,绝大多数公司态度是看不起电,因为开始的阶段电的效率并不够高。第一类公司的想法是电力不行,效率低,没有未来,蒸汽力量足够了,一百年之后他们被淘汰了。

第二类公司放下一些包袱,认为电是新生生物,也有潜在发展的可能性,但是仍然坚信蒸汽机的力量,坚信只要对蒸汽机进行改良一样可以保持竞争力,这些公司也被淘汰掉了。


最可惜是第三类公司,他们已经放下旧的生产力,开始拥抱新的生产力和形成新的生产关系,但是思维方式没有改变。他们认为自己全面拥抱电气化时代,已经产生比蒸汽机时代超高的效率,更低的成本,但是他们还在跟蒸汽机相比,这些公司最终也被淘汰掉了。

当时大部分企业对于电气化的观念只是能点多少盏灯,或者生产线能够提高多少效率。只有5%的公司选择彻底放下包袱,忘记什么是电气,什么是蒸汽,而是把它们都当成是工具。这些公司要的就是进入新的时代。这代表更高的效率,更低的成本和更优秀的用户体验和产品品质。

通过历史上的事件可以发现,我们现在对未来的任何预估都是不足够的,都可能没有完全估计到未来的冲击力。

在五六十年前,全中国人民都有一种对未来社会的憧憬——楼上楼下电灯电话,这在当时来说是非常具有前瞻性了。当时的人们认为已经看到了最终最理想的社会,但是几十年之后再看,当时的憧憬并没有那么远大。从人类从开始考虑到用电到电的普及,已经有一百多年的历史。

我们发现电不仅仅可以点灯,不仅仅可以驱动电器,不仅仅可以驱动电机,甚至还可以有计算机,还可以驱动一辆汽车,电力比原来的内燃机要更加高效、更加可靠和更加优秀。

我们跟客户的交流中也有思考,是否需要做思维的转变,才有可能真正理解这一轮技术变革是怎么回事。如果我们还抱着老的观念,抱着产生问题时候的观念,我们真能够理解这个伟大的时代将带给我们的辉煌未来吗?我们是否需要先把我们认为的所有成见都放掉,然后再来看现在的技术到底怎么回事?我们也知道深度学习只是机器学习、人工智能的一部分,我们要把深度学习的包袱也放下,扩展到我们进入的这个时代来思考。

不管从1956年的达特茅斯会议,还是更早的图灵时代、冯·诺依曼时代、香农时代,他们都有对于人工智能的理解,都有对于计算机到底能做什么事情的理解。我们并不是直接进入了机器学习的时代,中间还有一个阶段是希望通过逻辑的关系。

我们知道都有一种服务If This Then That,也就是IFTTT。这种服务充能够理解人的逻辑思维。比如说If我饿了,Then我要去吃饭。If我是北方人,我饿了,Then我愿意吃的是面而不是米饭,用这种方式试图解读人类决策机制。后来发现比较困难,一些专家认为这条路走不通,所以选择用模仿脑神经的机制来做决策。


现在很流行的说法是云时代要结束了,未来几年都是边缘智能时代,为什么?其实这和学习能力也是相关的。在某种意义上可以把人类看做是一个发电机,我们之所以要吃碳水化合物,还要呼吸氧气,是因为我们在以氧化的形式进行燃烧,产生能量、产生电力。我们之所以看到东西其实不是真的看到,而是把光子变成电子,大脑去分析电子产生视觉,听觉也是一样。

在历史上的某个阶段,古人类开始发现和使用工具,比如用骨头或者石片可以敲东西,完成手完成不了的能力。著名的科幻电影《2001太空漫游》中有一个非常著名画面,猿人忽然有一天发现可以拿骨头去敲另外一个骨头,可以把别的骨头敲碎,这就是人类历史上大的进步。他就发现这个骨头不仅可以敲骨头,也可以敲肉,可以敲瓜果,敲野兽,也可以用来防身。那时候人类发现,原来可以拓展四肢的能力,利用外部工具去提高自己的能力。

工业革命之后,人类发现不仅靠传统的工具,还可以靠各种机械的力量代替人类的四肢。我们现在不会无聊到说在肌肉能力方面还可以跟机器一拼,比如去和一辆汽车比赛跑步,应该没有人会这样做了。

其实不仅是肌肉的机能,我们连计算的机能都都已经被淘汰掉了。有没有人可以马上对7开3次方?应该没有。十几块钱的一个计算器可以做到。我们为什么对这种现象不会抱恐惧心理,而对人工智能抱有莫名其妙的恐惧心理?

我们能不能抱着这样一种态度,不是仅仅了解深度学习,而是通过深度学习了解机器学习的原理,通过机器学习原理了解人类学习的机制,进而了解人类智能的运作机制,然后才能够深刻理解人和机器智能特点分别是什么。

取代我们的不是AI,而是被AI赋能的人


这个时代只尊重创新。你昨天是专家,如果你不赶上时代潮流,明天肯定就不是专家了。现在是一个末日感比较强的时代,大家总担心错过机会机会输在起跑线上。巨变的时代,没有起跑线的概念,每天都是起跑线,稍微一放松脚步就会被人超过去,这个时代是压力很大的时代,同时也是机会很大的时代。

理解时代特点,我们要了解深度学习,了解机器学习,进而了解人类学习特点,但是更重要是什么?我们要号准时代的脉搏,要知道在这个时代要采取什么样的态度和策略,才能够跟上时代的脚步。

我们既不要成为时代的弃儿,也不希望成为烈士,我们最希望成为一个先行者。这个时代最大特征就是机器从代替人的四肢开始,已经于无声处开始代替人的大脑,甚至会慢慢代替所有能够出现的人类能力。明白这一点我们才可以理解所处的时代。


面对深度学习和人工智能的发展,一种人选择放弃自己,一种人会产生绝对的抗拒心理,不去主动拥抱这种能力,这都是有问题的。因为这种能力确实很强大,你不去拥抱的话,有可能被去拥抱这种能力的人类所淘汰掉了,被他们产生降维打击的能力了,这个其实很危险的。

与其说是机器或者人工智能,或者机器智能会代替人,倒不如说掌握了机器智能人类变成一种超人类,他们会把不具备这种能力的人类所代替掉,或者所降维打击掉。

地球上的人类都面临这样的挑战,都面临我们如何跟机器智能相处,如何提高我们能力,才能使我们具备更高的能力来应变这个时代的挑战。人工智能带来的这种降维打击还是很强大的,如果我们不认真的应对,去努力学习,并且去积极拥抱这种能力,有可能就真的被降维打击了。

技术是拿来用的,而不是拿来吹和炒的

很多业界专家都有这样的感受,现在媒体对人工智能的炒作过热,反而让广大读者,甚至是决策者失去了去这件事的核心把握。人工智能的核心实际上就是机器学习的能力,就是一种机器智能。现在主要表现方式是深度学习,但并不意味着我们曾经尝试的符号学,用逻辑推理的方式其实并没有过时,只不过还无法实现。

现阶段深度学习取得了巨大突破,引领大家进入到新的未来。新的未来里面会不会是深度学习和其他人工智能、机器学习的方式共存的方式?我们并不知道,所以我们不要排斥这种观点,尤其不要认为现在就是深度学习这一种学习方式。未来应该是人类的学习能力、机器学习能力、深度学习能力和逻辑推理能力是共融共生的阶段,这可能是更加客观描述未来时代特征的一个方面。

智能时代之前的深度学习要靠数据的堆积去学习和驱动。但是现在的数据既不够大,也不够好。虽然我们有很多数据,但是并不算真正的大和好。大数据的概念并不是多,我们数据结构和数据来源没有形成万物互联的社会,物联网没有布局到,5G没有到位,可能数据不够那么多,不够那么好。支撑万物互联的基础架构恰恰是一个云计算的架构。所以倒着讲是智、大、物、云,正着去演绎是云、物、大、智。

如何理解人工智能


如何理解人工智能我总结了四点:首先,一定要应用。如果我们去学了“学会如何学习”的课程就会发现,现在最流行的方式是Problem-Based Learning,就是以问题为导向的学习,以实际解决问题方案的学习。未来是终身学习的时代,不存在大学毕业之后就不学习了。如何终身学习?一定要带着问题去学,这样学得越来越深入,学得越来越有用。人工智能也是一样的,它是一种学习的过程。学习不能为了学而学,一定是问题为导向的。

我的第二个观点就是,深度学习的发展不仅仅要靠数学的进步,不仅仅要靠计算机科学的进步,还要对人类自己的神经、脑神经、传输神经、感知神经的理解,才能知道是怎么回事。

现在我们每个人有基础的学习能力,机器学习也是一样,只是通过开放的接口开放学习的通用能力。未来每个人一定要在通用能力之上,掌握行业的学习能力,才能够真正为人类带来更大的福祉。

第四点就是要真正产生深度学习能力,我们需要有数据,需要有人才,还要有算法和算力。像微软这样专业公司可能会提供更强大的算法和算力,更多的公司需要在人才培养,数据收集上面下很大功夫,这样才能产生互动的促进作用。数据、人才、算法、算力这四者缺一不可。每一方面在未来都巨大的商机,正是因为我们即将进入智能社会,商机恰恰不是只在智能本身,而是各个方面。

没有专家的时代,每个人都要终身学习


这个时代是没有专家的时代,我们每个人都在学习。不存在输在起跑线上,因为每天都在新的起跑线,我们只要不放弃学习,不放弃自己,不要认为我到了某种年纪或某种地位,我就不去学了,也不要因为我是学文科或者我是学理科的我就不要再学其他的知识。

未来需要的是天天学习。因为这个伟大时代还没有来,我们最多是摸着大象的其中一部分,所以每个人都有可能成为最终摸到大象整体的那个人。


正是因为这个时代没有专家,同时也是没有所谓的公理的时代,每一个理论都有可能成为当时可行的理论,但是并不意味着能够成为永远的理论,永远成功的法则。我们要去学习,不要唯各种专家,不要唯新,更重要唯实,你自己去试,小马过河,水是深浅只有自己知道。

最后以比尔·盖茨先生的这段话作为结尾:“人们大都倾向于高估他在一年内所能完成的事情,但又容易低估他们坚持十年后能够取得的成就。”大家一定要明白,第一没有专家,第二没有起跑线,第三每天都在重新更新有新知识新理念出现,先不要放弃自己,同时把握最基本的对自己的自信和信念,认真学习。

精彩提问


Q:我之前也有一些关注,深度学习在反洗钱系统,包括金融诈骗有非常成功的运用,跟您请教一下类似于基金领域方面还有哪些比较成功的先例,在未来十年之内能够用上的应用技术?

韦青:现在大家发现人工智能在防欺诈金融领域有很优秀的使用了,未来有哪些领域能够更好利用现在的人工智能?虽然我们称之为是人工智能,它是机器学习的方法,而现在又是一种深度学习的方法。归根到底,它只是一种数学和算法对人的一种思维方式的模拟,对自然界模型的模拟和认知。只要能够通过数学方法,把自然界能够产生某种模型的模式识别出来,都是现阶段以深度学习为代表的机器智能最大发挥场景。

为什么现在人工智能在图形识别领域,视觉识别和听觉识别有很大进步,而在嗅觉识别和味觉识别,这些方面还没有很大进步,为什么?因为视觉和听觉信号的传播和识别的方式,恰恰能够被数学的矩阵方式所来描述,正是因为这样它就能够用数学的方式去表达出神经网络的方式能够进行学习。

在未来不管是五年还是十年,如果我们发现了某种数学表达方式能够形容味觉、嗅觉、触觉的话,人类这些功能也会被机器能力所代替,而且可以做得更好。其实不是说人工智能或者机器智能,什么做得更好,其实是数学能够更精确的表达人类某种产生的信号,哪个能够识别出来,哪就有非常美好的前景。

Q:5G时代,AI时代,从毕业生转为职场人,能立于不败之地的硬本领和素质有哪些?三点即可。


韦青:这个时代需要形成你自己的观点,你需要具备一种从现象抓本质的能力。学习是一种能力,学习有科学的方法。科学的方法不是我们通常意义上理解的某个人做事科学不科学,其实科学方法是一种方法论。学习方法还有一种苏格拉底提问法,或者丰田五问法。我觉得这个时代恰恰需要掌握科学的方法,比如丰田五问法和苏格拉底的提问法。因为这种学习方法是不迷信的,不唯专家,不唯前辈,不唯理论,只唯实。现在5G吹捧的很多,很少有人知道5G除了速度快以外,有另外两个真正能够引领万物互联的特征。第一个特征是寻址,地址的极度扩大,不仅能够寻IPV4,也能寻IPV6的地址,这样就能够帮助我们进入万物互联信息采集和传输时代。另外一个特点是低延时,低延时才能真正解决万物互联时代神经传播的原理。

5G并不一定是解决人工智能万物互联的唯一方法。中国在这方面有很多优势,我们恰恰是唯实的民族。广州、深圳的很多公司创新创业,不管技术是什么,而是看有没有用。科学方法另外一种解读,实践是检验真理的唯一标准,科学方法的前身就是实践论。真正悟透了科学的方法、苏格拉底提问法和丰田五问法,一定可以应变各种纷纭的说法、理论、见解。我认为到了以现在造词的速度来讲,2020年深度学习的概念就不流行了,一定会有一个我们现在没有想到的新词变得很流行。到了那个时候,我们是否要把好不容易学的深度学习理念丢掉去学习新的概念或方法,还是说它只是原来方法的变种。如果有科学的方法,苏格拉底的学习方法和丰田五问法,就能够让你辨别出什么是真实的知识,什么是暂时的虚幻。

Q:业界和学界有观点认为AI不会取代人类,只会让人类越来越聪明。同时我们看到很多企业家,比如说埃隆·马斯克特别担心AI成为独裁者,您更认同哪个观点?

青:首先以埃隆·马斯克的说法开始,他最早答案是Open AI,它背后的含义和现在世界经济论坛的方法是如出一辙的,是要解决数字鸿沟的问题。

马斯克的意思是这个新生事物非常强大,远超出我们人类能够想象的强大程度。拥有这种能力的人类将变成一种超人类,如果这种超能力被掌握在居心不良人类手中,就可能对不具备这种能力的人类产生压迫式的打击。

所以他的方法有两种,一种是不发展它,人类历史证明了不可行的,因为你不发展可以,有人会发展。另外一种方法我努力拥抱它,我让它变成公器,不是私器。你要把拥有巨大能力的工具变成公器,每个人都有,我要让它平民化。有一类观点认为一旦平民化之后,再厉害的能力和工具也会为广大人类产生福祉。这里面有一个隐忧,人类不能自己放弃自己,不能因为我是学文科的,我已经60岁了,我本来就是学计算机的,所以我不用学这个了,在我看来这就是放弃掉自己了。

埃隆·马斯克不认为人类能够把控住自己,他建议禁止研究人工智能。但他同时推出另外的方法就是Open AI,他把两种方案都执行了。一方面要管控,另外一方面让它开放,有责任感各大公司都在这么做。

人工智能行业门槛并不高,行业学着把各种算法全部开源了。现在真正的垄断或者鸿沟并不是产生在算法上,反而产生在数据上的。很多企业在这样做,但是很多个人没有明白这一点,没有努力拥抱这种变化,结果平白无故的担心我是否会被淘汰。人类会不会所谓的技术淘汰?

我认为也会也不会。当你主动放弃了自己,没有主动去拥抱这种技术,会被拥抱这种技术的人类淘汰,人不会被技术淘汰的,是被掌握了更高技术的人类淘汰了。通过这个高度去理解,埃隆·马斯克的观点与比尔·盖茨、霍金、世界经理论坛的各种企业家的观点如出一辙,最终核心点有两点:第一人工智能的能力非常强大,第二谁拥有它。

第二点谁拥有它,有悲观认知,有乐观认知。悲观认知认为由于人类的惰性,技术只能被那些积极主动、思维敏感的人拥有。很多企业家认识到了这一点,所以选择让技术平民化、普及化。——大数据文摘出品


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。


  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


登录查看更多
40

相关内容

机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】这一份最新216页的ppt概述《深度学习自然语言处理》,包括神经网络基础,词向量表示,序列句子表示,分类标注、生成句子,预训练。

成为VIP会员查看完整内容
0
111

【导读】辞九迎零,我们迎来2020,到下一个十年。在2019年机器学习领域继续快速发展,元学习、迁移学习、小样本学习、深度学习理论等取得很多进展。在此,专知小编整理这一年这些研究热点主题的综述进展,共十篇,了解当下,方能向前。

1、A guide to deep learning in healthcare(医疗深度学习技术指南)

斯坦福&谷歌Jeff Dean最新Nature论文:医疗深度学习技术指南(29页综述)

Google 斯坦福 Nature Medicine

作者:Andre Esteva, Alexandre Robicquet, Bharath Ramsundar, Volodymyr Kuleshov, Mark DePristo, Katherine Chou, Claire Cui, Greg Corrado, Sebastian Thrun & Jeff Dean

摘要:我们介绍了医疗保健的深度学习技术,重点讨论了计算机视觉、自然语言处理、强化学习和广义方法的深度学习。我们将描述这些计算技术如何影响医学的几个关键领域,并探讨如何构建端到端系统。我们对计算机视觉的讨论主要集中在医学成像上,我们描述了自然语言处理在电子健康记录数据等领域的应用。同样,在机器人辅助手术的背景下讨论了强化学习,并综述了基因组学的广义深度学习方法。

网址:

https://www.nature.com/articles/s41591-018-0316-z

2、Multimodal Machine Learning: A Survey and Taxonomy(多模态机器学习)

人工智能顶刊TPAMI2019最新《多模态机器学习综述》

CMU TPAMI

作者:Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency

摘要:我们对世界的体验是多模态的 - 我们看到物体,听到声音,感觉质地,闻到异味和味道。情态是指某种事物发生或经历的方式,并且当研究问题包括多种这样的形式时,研究问题被描述为多模式。为了使人工智能在理解我们周围的世界方面取得进展,它需要能够将这种多模态信号一起解释。多模态机器学习旨在构建可以处理和关联来自多种模态的信息的模型。这是一个充满活力的多学科领域,具有越来越重要的意义和非凡的潜力。本文不是关注特定的多模态应用,而是研究多模态机器学习本身的最新进展。我们超越了典型的早期和晚期融合分类,并确定了多模式机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的状况,并确定未来研究的方向。

网址:

http://www.zhuanzhi.ai/paper/2236c08ef0cd1bc87cae0f14cfbb9915

https://ieeexplore.ieee.org/document/8269806

3、Few-shot Learning: A Survey(小样本学习)

《小样本学习(Few-shot learning)》最新41页综述论文,来自港科大和第四范式

香港科大 第四范式

作者:Yaqing Wang,Quanming Yao

摘要:“机器会思考吗”和“机器能做人类做的事情吗”是推动人工智能发展的任务。尽管最近的人工智能在许多数据密集型应用中取得了成功,但它仍然缺乏从有限的数据示例学习和对新任务的快速泛化的能力。为了解决这个问题,我们必须求助于机器学习,它支持人工智能的科学研究。特别地,在这种情况下,有一个机器学习问题称为小样本学习(Few-Shot Learning,FSL)。该方法利用先验知识,可以快速地推广到有限监督经验的新任务中,通过推广和类比,模拟人类从少数例子中获取知识的能力。它被视为真正人工智能,是一种减少繁重的数据收集和计算成本高昂的培训的方法,也是罕见案例学习有效方式。随着FSL研究的广泛开展,我们对其进行了全面的综述。我们首先给出了FSL的正式定义。然后指出了FSL的核心问题,将问题从“如何解决FSL”转变为“如何处理核心问题”。因此,从FSL诞生到最近发表的作品都被归为一个统一的类别,并对不同类别的优缺点进行了深入的讨论。最后,我们从问题设置、技术、应用和理论等方面展望了FSL未来可能的发展方向,希望为初学者和有经验的研究者提供一些见解。

网址:

https://www.zhuanzhi.ai/paper/c7a2464c0865b9602a4103fb44659858

4、meta Learning: A Survey(元学习)

元学习(Meta-Learning) 综述及五篇顶会论文推荐

作者:Joaquin Vanschoren

摘要:元学习,或学习学习,是一门系统地观察不同机器学习方法如何在广泛的学习任务中执行的科学,然后从这种经验或元数据中学习,以比其他方法更快的速度学习新任务。这不仅极大地加快和改进了机器学习管道或神经体系结构的设计,还允许我们用以数据驱动方式学习的新方法取代手工设计的算法。在本文中,我们将概述这一迷人且不断发展的领域的最新进展。

网址:

http://www.zhuanzhi.ai/paper/dd60eaffea966331e199fa531bae7044

5、A Comprehensive Survey on Transfer Learning(迁移学习)

中科院发布最新迁移学习综述论文,带你全面了解40种迁移学习方法

作者:Fuzhen Zhuang, Zhiyuan Qi, Keyu Duan, Dongbo Xi, Yongchun Zhu, Hengshu Zhu, Senior Member, IEEE, Hui Xiong, Senior Member, IEEE, and Qing He

摘要:迁移学习的目的是通过迁移包含在不同但相关的源域中的知识来提高目标学习者在目标域上的学习表现。这样,可以减少对大量目标域数据的依赖,以构建目标学习者。由于其广泛的应用前景,迁移学习已经成为机器学习中一个热门和有前途的领域。虽然已经有一些关于迁移学习的有价值的和令人印象深刻的综述,但这些综述介绍的方法相对孤立,缺乏迁移学习的最新进展。随着迁移学习领域的迅速扩大,对相关研究进行全面的回顾既有必要也有挑战。本文试图将已有的迁移学习研究进行梳理使其系统化,并对迁移学习的机制和策略进行全面的归纳和解读,帮助读者更好地了解当前的研究现状和思路。与以往的文章不同,本文从数据和模型的角度对40多种具有代表性的迁移学习方法进行了综述。还简要介绍了迁移学习的应用。为了展示不同迁移学习模型的性能,我们使用了20种有代表性的迁移学习模型进行实验。这些模型是在三个不同的数据集上执行的,即Amazon Reviews,Reuters-21578和Office-31。实验结果表明,在实际应用中选择合适的迁移学习模型是非常重要的。。

网址:

https://arxiv.org/abs/1911.02685

https://www.zhuanzhi.ai/paper/021fc3dc3356e0089f0e845408cc3aa4

6、Multimodal Intelligence: Representation Learning, Information Fusion, and Applications(多模态智能论文综述:表示学习,信息融合与应用) 【IEEE Fellow何晓东&邓力】多模态智能论文综述:表示学习,信息融合与应用,259篇文献带你了解AI热点技术

京东

作者:Chao Zhang,Zichao Yang,Xiaodong He,Li Deng

【摘要】自2010年以来,深度学习已经使语音识别、图像识别和自然语言处理发生了革命性的变化,每种方法在输入信号中都只涉及一种模态。然而,人工智能的许多应用涉及到多种模态。因此,研究跨多种模态的建模和学习的更困难和更复杂的问题具有广泛的意义。本文对多模态智能的模型和学习方法进行了技术综述。视觉与自然语言的结合已成为计算机视觉和自然语言处理研究的一个重要领域。本文从学习多模态表示、多模态信号在不同层次上的融合以及多模态应用三个新角度对多模态深度学习的最新研究成果进行了综合分析。在多模态表示学习中,我们回顾了嵌入的关键概念,将多模态信号统一到同一个向量空间中,从而实现了多模态信号的交叉处理。我们还回顾了许多类型的嵌入的性质,构造和学习的一般下游任务。在多模态融合方面,本文着重介绍了用于集成单模态信号表示的特殊结构。在应用方面,涵盖了当前文献中广泛关注的选定领域,包括标题生成、文本到图像生成和可视化问题回答。我们相信这项综述可促进未来多模态智能的研究。

网址:

https://arxiv.org/abs/1911.03977

https://www.zhuanzhi.ai/paper/efe8f986342d215a8179d447624801ee

7、Object Detection in 20 Years: A Survey(目标检测)

密歇根大学40页《20年目标检测综述》最新论文,带你全面了解目标检测方法

作者:Zhengxia Zou (1), Zhenwei Shi (2), Yuhong Guo (3 and 4), Jieping Ye

摘要:目标检测作为计算机视觉中最基本、最具挑战性的问题之一,近年来受到了广泛的关注。它在过去二十年的发展可以说是计算机视觉历史的缩影。如果我们把今天的目标检测看作是深度学习力量下的一种技术美学,那么让时光倒流20年,我们将见证冷兵器时代的智慧。本文从目标检测技术发展的角度,对近四分之一世纪(20世纪90年代至2019年)的400余篇论文进行了广泛的回顾。本文涵盖了许多主题,包括历史上的里程碑检测器、检测数据集、度量、检测系统的基本构建模块、加速技术以及最新的检测方法。本文还综述了行人检测、人脸检测、文本检测等重要的检测应用,并对其面临的挑战以及近年来的技术进步进行了深入分析。

网址:

https://arxiv.org/abs/1905.05055

https://www.zhuanzhi.ai/paper/4d9c0fdcc5a0a2b796e44e214fc9cb02

8、A Survey of Techniques for Constructing Chinese Knowledge Graphs and Their Applications(中文知识图谱)

作者:Tianxing Wu, Guilin Qi ,*, Cheng Li and Meng Wang

摘要:随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

网址:

https://www.mdpi.com/2071-1050/10/9/3245

9、Advances and Open Problems in Federated Learning(联邦学习)

【重磅】联邦学习FL进展与开放问题万字综述论文,58位学者25家机构联合出品,105页pdf438篇文献

摘要:联邦学习(FL)是一种机器学习设置,在这种设置中,许多客户(例如移动设备或整个组织)在中央服务器(例如服务提供商)的协调下协作地训练模型,同时保持训练数据分散。FL体现了集中数据收集和最小化的原则,可以减轻由于传统的、集中的机器学习和数据科学方法所带来的许多系统隐私风险和成本。在FL研究爆炸性增长的推动下,本文讨论了近年来的进展,并提出了大量的开放问题和挑战。

网址:

https://arxiv.org/abs/1912.04977

10、Optimization for deep learning: theory and algorithms(深度学习优化理论算法)

【2019年末硬货】深度学习的最优化:理论和算法综述论文,60页pdf257篇文献

摘要:什么时候以及为什么能够成功地训练神经网络?本文概述了神经网络的优化算法和训练理论。首先,我们讨论了梯度爆炸/消失问题和更一般的不期望谱问题,然后讨论了实际的解决方案,包括仔细的初始化和归一化方法。其次,我们回顾了用于训练神经网络的一般优化方法,如SGD、自适应梯度方法和分布式方法,以及这些算法的现有理论结果。第三,我们回顾了现有的关于神经网络训练的全局问题的研究,包括局部极值的结果、模式连接、彩票假设和无限宽度分析。

网址:

https://www.zhuanzhi.ai/paper/2a5e7596942977067240c946ecd4bd47

成为VIP会员查看完整内容
0
196
小贴士
相关资讯
2019->2020必看的十篇「深度学习领域综述」论文
极市平台
16+阅读 · 2020年1月2日
【深度学习】深度学习的问题究竟在哪?
产业智能官
3+阅读 · 2019年8月30日
(免费精品课程分享)-PyTorch深度学习实战
深度学习与NLP
9+阅读 · 2018年10月28日
深度学习(deep learning)发展史
机器学习算法与Python学习
6+阅读 · 2018年3月19日
2017年深度学习总结:文本和语音应用
专知
3+阅读 · 2018年2月4日
深度学习2017成果展
论智
4+阅读 · 2017年12月26日
深度学习领域四个不可不知的重大突破
深度学习世界
4+阅读 · 2017年12月22日
【深度学习】神经网络和深度学习简史
产业智能官
7+阅读 · 2017年11月16日
相关VIP内容
专知会员服务
53+阅读 · 2020年6月14日
专知会员服务
111+阅读 · 2020年4月26日
Yann Lecun 纽约大学《深度学习(PyTorch)》课程(2020)PPT
专知会员服务
104+阅读 · 2020年3月16日
专知会员服务
126+阅读 · 2020年3月6日
机器翻译深度学习最新综述
专知会员服务
56+阅读 · 2020年2月20日
专知会员服务
196+阅读 · 2020年1月1日
开源书:PyTorch深度学习起步
专知会员服务
23+阅读 · 2019年10月11日
相关论文
Robust breast cancer detection in mammography and digital breast tomosynthesis using annotation-efficient deep learning approach
William Lotter,Abdul Rahman Diab,Bryan Haslam,Jiye G. Kim,Giorgia Grisot,Eric Wu,Kevin Wu,Jorge Onieva Onieva,Jerrold L. Boxerman,Meiyun Wang,Mack Bandler,Gopal Vijayaraghavan,A. Gregory Sorensen
9+阅读 · 2019年12月27日
Deep Co-Training for Semi-Supervised Image Segmentation
Jizong Peng,Guillermo Estrada,Marco Pedersoli,Christian Desrosiers
3+阅读 · 2019年10月30日
Simultaneous Segmentation and Recognition: Towards more accurate Ego Gesture Recognition
Bipedal Walking Robot using Deep Deterministic Policy Gradient
Arun Kumar,Navneet Paul,S N Omkar
3+阅读 · 2018年7月16日
Joachim D. Curtó,Irene C. Zarza,Fernando De La Torre,Irwin King,Michael R. Lyu
4+阅读 · 2018年5月10日
Bo Du,Shihan Cai,Chen Wu,Liangpei Zhang,Dacheng Tao
5+阅读 · 2018年4月25日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Rıza Alp Güler,Natalia Neverova,Iasonas Kokkinos
3+阅读 · 2018年2月1日
You Xie,Erik Franz,Mengyu Chu,Nils Thuerey
5+阅读 · 2018年1月29日
Quanshi Zhang,Ruiming Cao,Feng Shi,Ying Nian Wu,Song-Chun Zhu
8+阅读 · 2017年11月22日
Top