“深度学习之父”大谈AI:寒冬不会出现,论文评审机制有损创新

2018 年 12 月 15 日 人工智能学家

来源: AI科技大本营

整理:琥珀


近日《连线》杂志发表了一篇文章,记录了与“深度学习之父” Geoffrey Hinton 围绕人工智能伦理、技术、学术等领域的采访实录。当被问到如今人工智能是否将走进寒冬时,Hinton 的回答非常坚决:“不会有‘人工智能寒冬’。因为 AI 已经渗透到你的生活中了。在之前的寒冬中,AI 还不是你生活的一部分。但现在它是了。”


在 20 世纪 70 年代早期,一位名叫 Geoffrey Hinton(杰弗里·辛顿)的英国研究生开始构建简单的数学模型,以说明人类大脑中的神经元是如何在视觉上理解世界的。“人工神经网络”,正如其名,几十年来仍被视为一种不切实际的技术。但在 2012 年,Hinton 和他在多伦多大学的两名研究生 Alex Krizhevsky、Ilya Sutskever 通过人工神经网络来提高计算机识别照片中物体的准确性,他们设计的深层卷积神经网络 AlexNet,也一举夺得了当年 ImageNet LSVRC 的冠军。仅仅半年后,Google 公司收购了这三位研究人员创立的创业公司。至此,卷积神经网络(CNN)也由此将深度学习推进了新的历史阶段。


在此之前,人工智能不为多数人知晓,而今却已是硅谷炙手可热的话题。


在上周蒙特利尔举办的 G7 人工智能会议上,《连线》杂志采访了 Hinton,此次会议的主要参讲嘉宾来自世界领先的工业化经济体,他们共同讨论了鼓励人工智能发展的益处,以及如何减少失业和偏见学习算法的缺陷问题。


以下采访经过编辑整理如下:


Wired:加拿大总理 Justin Trudeau 在七国集团会议上表示,人工智能带来的道德挑战问题需要更好的得到解决。对此您怎么看?


Geoffery Hinton:我一直担心致命的自主武器可能会被滥用。我认为应该像《日内瓦公约》禁止化学武器那样禁止它们。即使不是每个人都签署这项协议,但它实际上扮演着的是一种道德象征。你会注意到谁没有签署。


Wired:据了解,有 4500 多名 Google 的员工签署了一封抗议五角大楼合约的信件,其中涉及了将机器学习应用于无人机图像。Google 声称这并非用于攻击性用途。您当时签署了这封信吗?


Geoffery Hinton:作为一名 Google 高管,我不认为这是我能公开投诉的地方,所以我私下会抱怨这个问题。我没有签署这封信,但我与 Google 的联合创始人谢尔盖·布林谈过。他说他对此也有点不太高兴,他们也不会追求这样的事情。


Wired:Google 的领导者决定完成但不续签合同。他们发布了一些有关使用人工智能的指导方针,其中包括不使用该技术制造武器的承诺。


Geoffery Hinton:我认为 Google 做出了正确的决定。会有各种各样的问题需要云计算解决,所以很难能划分出一个比较清晰的界限,从某种意义上这也是随机的。看到 Google 最后制定的底线我还是尤为高兴的。这种原则对我来说很有意义。


Wired:人工智能也可以在日常情况下出现道德问题。例如,当软件在用于社会服务或医疗保健中给出判断时,我们应该注意些什么?


Geoffery Hinton:我是一名试图将技术发挥作用的专家,不是社会政策方面的专家。在这方面,从我技术的角度来看,监管机构应该决定是否坚持:你可以解释你的 AI 系统是如何工作的。我认为这是一场彻底的灾难。


对于自己所做的大多事情,人们根本是无法解释的。当你聘请某人,你将取决于各种可以量化的事情进行判断,然后才是你的直觉。人们不清楚自己是如何完成这个决策的。如果你非要他们解释这个原因,那你就是在强迫他们编造一个故事。


神经网络同样也有类似的问题。当你训练神经网络时,它将学习十亿个数字,这些数字代表着它从训练数据中提取的知识。如果你输入一张图片,做出正确的判断如“这是一个行人”。但如果你问“为什么会这么想?”如果有任何简单的规则来判断图像是否包含行人,那么这个问题早就被解决了。


Wired:那我们怎么能知道何时能信任这些系统呢?


Geoffery Hinton:你应该根据系统的表现进行规范,即运行几组实验看看这个系统是否存在偏差。对于自动驾驶汽车,我想现在人们开始接受了这一概念。即使你不太了解自动驾驶汽车是如何做到这一点的,但如果事故发生的次数远远少于人类驾驶汽车的次数,那这是一件好事。我认为我们必须像对待人们那样去做:你只看到它们的表现,如果反复出现问题,那就说明它们不那么好了。


Wired:您之前提到,思考大脑的工作方式可以激发你对人工神经网络的研究。我们的大脑通过感觉器官突触连接的神经元网络获取信息;人工神经网络则通过数学神经元网络提供数据,并通过“权重”进行连接。在此前发表的一篇论文中,您和几位共同作者认为应该做更多的工作来解释大脑工作的学习算法。为什么?


链接:https://arxiv.org/abs/1807.04587


Geoffery Hinton:这套算法解决的问题与我们大多数神经网络有很大不同。人脑大约有 100 万亿个突触。人工神经网络拥有的数量通常至少小 1 万倍。人脑使用大量的突触从而尽可能多地从几个片段中学习。深度学习擅长在神经元之间使用更少的“连接”进行学习。我认为大脑并不关心将大量知识压缩到几个“连接”中,它关注的是通过大量“连接”快速提取知识。


Wired:我们如何构建功能更强大的机器学习系统?


Geoffery Hinton:我认为我们需要转向另一种计算。幸运的是,我这里就有一个。(这是一款来自英国初创公司 Graphcore 的原型芯片,用于加速机器学习、深度学习算法实现。)


几乎我们运行神经网络模型的所有计算机系统,甚至包括 Google 的特殊硬件,都使用 RAM 存储。从 RAM 中获取神经网络的权重需要耗费大量的计算资源,所以处理器可以帮忙解决。一旦每个系统都确保获得了权重,处理器就会不断计算。这是一项巨大的成本,也就是说你根本无法改变你为每个训练样本耗费的资源。


在 Graphcore 的芯片上,权重存储在处理器中的高速缓存中,而不是存储在 RAM 中,也不需要移动,因此,事情就变得比较简单了。可能我们会得到一个系统,比如一万亿个权重。这更像是人脑的规模。


Wired:最近人工智能和机器学习的兴趣和投资热潮意味着研究资金比以往任何时候都多。该领域的快速增长也是否带来了新的挑战?


Geoffery Hinton:社区面临的一个巨大挑战是,如果你想发表一篇机器学习的论文,那么论文中就一定要有划分了不同数据集的数据表格做支撑,还要有不同的方法,且方法必须看起来最优。如果不是这样的话,那么这篇论文有可能很难发表。我不认为这种方式鼓励了人们可以大胆思考。


如果你有一篇全新观点的论文,那么就不一定能有机会评审通过。因为一些年轻的评审员并不理解这篇论文观点。再或者,放在资深评审员面前,他又会因为评审了太多论文,一时意识不到这篇论文究竟是不是无稽之谈。任何有悖于大脑(常理)的事情都不会被接受。所以,我认为这非常糟糕。


我们应该做的,特别是在基础科学会议上,是诞生一个全新的想法。因为从长远来看,我们知道一个全新的想法会比一个细微的改进更有影响力。我认为现在出现这一本末倒置的原因,就是因为有了一大批年轻人和一小部分资深人士构成的评审队伍。


Wired:那么这会损害该领域的进展吗?


Geoffery Hinton:只需要等几年,这种不平衡将自行纠正。这也是暂时的。企业正忙着教育用户,大学正忙着教育学生,大学将最终聘请该领域更多的学者教授,一切将走向正规。


Wired:一些学者警告说,目前的炒作可能会像 20 世纪 80 年代那样进入“人工智能寒冬”,当时是用于研究进展不符合预期,而人们对 AI 的兴趣以及资金支持枯竭了。


Geoffery Hinton:不,不会有“人工智能寒冬”。因为 AI 已经渗透到你的生活中了。在之前的寒冬中,AI 还不是你生活的一部分。但现在它是了。


参考链接:https://www.wired.com/story/googles-ai-guru-computers-think-more-like-brains/


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。


  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”


登录查看更多
0

相关内容

2020图机器学习GNN的四大研究趋势,21篇论文下载
专知会员服务
135+阅读 · 2020年2月10日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
29+阅读 · 2019年11月21日
Hinton最新专访:别让AI解释自己,AI寒冬不会再来
GAN生成式对抗网络
3+阅读 · 2018年12月17日
浅析Geoffrey Hinton最近提出的Capsule计划
机器之心
4+阅读 · 2017年9月23日
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Neural Approaches to Conversational AI
Arxiv
8+阅读 · 2018年12月13日
Arxiv
9+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
6+阅读 · 2018年3月29日
Arxiv
21+阅读 · 2018年2月14日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
5+阅读 · 2017年9月8日
VIP会员
相关论文
Interpretable CNNs for Object Classification
Arxiv
20+阅读 · 2020年3月12日
Neural Approaches to Conversational AI
Arxiv
8+阅读 · 2018年12月13日
Arxiv
9+阅读 · 2018年10月24日
Arxiv
23+阅读 · 2018年10月1日
Arxiv
19+阅读 · 2018年6月27日
Arxiv
6+阅读 · 2018年3月29日
Arxiv
21+阅读 · 2018年2月14日
Arxiv
9+阅读 · 2018年2月4日
Arxiv
5+阅读 · 2017年9月8日
Top
微信扫码咨询专知VIP会员