成为VIP会员查看完整内容
VIP会员码认证
首页
主题
发现
会员
服务
注册
·
登录
0
告别调参炼丹,谷歌“权重无关”神经网络开源了!
2019 年 8 月 28 日
新智元
新智元报道
来源:Google AI
作者:Adam Gaier&David Ha 编辑:小芹
【新智元导读】
谷歌大脑备受关注的“权重无关神经网络”终于开源了!其关键思想是通过不再强调权重来搜索网络结构,仅使用随机共享的权重,也可以执行各种任务的神经网络。终于可以不用调参炼丹了吗?快来复现看看!
神经网络训练中 “权重” 有多重要不言而喻。但谷歌前段时间发表的研究表明,即使抛弃神经网络权重训练,使用随机共享权重,也可以执行各种任务。
他们提出一种新的神经网络结构的搜索方法——
权重无关神经网络
(Weight Agnostic Neural Networks,WANN)
,其关键思想是
通过不再强调权重来搜索网络结构
。
今天,该研究的两位作者、谷歌大脑学生研究员 Adam Gaier和研究科学家David Ha在Google AI博客上撰文,介绍了该研究的核心思想和重要细节,并宣布WANN的代码已经在GitHub上开源,以便让广泛的研究社区重现WANN实验。
开源地址:
https://github.com/google/brain-tokyo-workshop/tree/master/WANNRelease
告别调参炼丹,使用随机共享权重足矣!
当训练神经网络完成一项给定任务时,无论是图像分类还是强化学习,通常都需要调优与网络中每个连接相关的一组权重。另一种已经取得实质性进展的成功的神经网络创建方法是
神经架构搜索
,它利用人工设计的组件(如卷积网络组件或transformer blocks)来构建神经网络架构。
研究表明,利用这些组件构建的神经网络结构,如深度卷积网络,对图像处理任务具有很强的归纳偏差,甚至可以在权重随机初始化的情况下执行。虽然神经架构搜索提供了一些新的方法,可以为当前的任务域安排具有已知归纳偏差的手工工程组件,但在
自动发现具有此类归纳偏差的新神经网络架构
(用于不同的任务域)方面几乎没有进展。
我们可以用一个先天和后天的例子作为类比。正如生物学中某些从出生起就具有反捕食行为的物种一样,他们无需学习就能执行复杂的运动和感官任务,或许我们可以构建一个不需要训练就能很好地完成任务的神经网络。当然,这些自然物种(作为类比,人工神经网络)通过训练可以得到进一步的改善,但它们即使不学习也能执行任务的能力表明,它们包含使它们非常适合于这些任务的偏差。
在“权重无关神经网络”(WANN)论文中,我们提出了搜索具有这类偏差的网络的第一步:
即使使用随机共享的权重,也可以执行各种任务的神经网络架构
。
我们在这项工作中的动机是,在不学习任何权重参数的情况下,仅神经网络架构能在多大程度上编码给定任务的解决方案。通过探索这样的神经网络架构,我们提出了一种无需学习权重参数就能在其环境中运行良好的智能体。
此外,为了促进该领域的进步,我们还开放了源代码,以便更广泛的研究社区重现我们的WANN实验。
左图:一个手工设计的、完全连接的深度神经网络,有2760个权重连接。利用一种学习算法,我们可以求解2760个权重参数的集合,使该网络能够执行一个双足步行任务(BipedalWalker-v2)。
右图:一个权重无关的神经网络架构,只有44个连接,但同样能够执行双足步行任务。与完全连接网络不同的是, WANN仍然可以执行任务,而不需要训练每个连接的权重参数。实际上,为了简化训练,WANN被设计成在每个权重连接的值相同或共享时执行,甚至就算共享权重参数是随机采样的,也会起作用。
搜索权重无关神经网络
我们从一组最小的神经网络架构候选对象开始,每个候选对象只有很少的连接,并使用一个完善的拓扑搜索算法(NEAT),通过逐个地添加单个连接和单个节点来演化架构。
WANN背后的关键思想是通过不再强调权重来搜索架构。与传统的神经架构搜索方法不同,新架构的所有权重参数都需要使用学习算法进行训练,我们采用了一种更简单、更有效的方法。
在搜索过程中,首先在每次迭代中为所有候选架构分配一个共享权重值,然后进行优化,以便在更宽的共享权重值范围内执行良好。
用于搜索网络拓扑空间的运算符
左:
一个最小的网络拓扑结构,输入和输出仅部分连接。
中间:
网络的改变有三种方式:
(1)插入节点:
通过分割现有连接插入新节点。
(2)添加连接:
通过连接两个先前未连接的节点来添加一个新连接。
(3)更改激活:
重新分配隐藏节点的激活函数。
右:
可能的激活函数(线性,阶跃,正弦, 余弦,高斯,tanh, sigmoid,inverse,绝对值,ReLU)
除了探索一系列与权重无关的神经网络之外,重要的是还要寻找只需要复杂到它们所需的程度的网络架构。我们利用多目标优化技术( multi-objective optimization),同时对网络的性能和复杂度进行优化。
权重无关神经网络搜索的概述,及其相应的网络拓扑空间搜索算子。
训练WANN架构
与传统网络不同的是,我们可以通过简单地找到最佳的单个共享权重参数来训练WANN,从而最大限度地提高其性能。在下面的例子中,可以看到我们的架构(在某种程度上)使用恒定的权重来完成一个 swing-up cartpole 任务:
WANN在不同的权重参数下执行 swing-up cartpole 任务,也使用微调的权重参数。
正如我们在上面的图中看到的,虽然WANN可以使用一系列共享权重参数来执行其任务,但是其性能仍然无法与学习每个连接的权重的网络相比较。
如果我们想进一步提高它的性能,我们可以
使用WANN架构和最佳共享权重作为起点,使用学习算法微调每个连接的权重
,就像通常训练神经网络的方法一样。以网络架构的权重无关特性为出发点,通过学习微调网络的性能,可能有助于为理解动物如何学习提供有洞察力的类比。
通过在性能和网络简单性方面的多目标优化,我们的方法找到了一个简单的WANN,用于赛车任务,它不需要显式地训练网络的权重。
使用随机权重的网络架构不仅易于训练,还具有其他优势。例如,通过使用相同WANN架构的副本,但是为WANN的每个副本都分配不同的权重值,我们可以为同一任务创建多个不同模型的集合。这种集合通常比单个模型能获得更好的性能。下面是一个MNIST分类器处理随机权重的例子,可以说明这一点:
MNIST分类器进化为处理随机权重。
具有随机初始化的传统网络在 MNIST 上的精度约为 10%,但这种随机权重的特殊网络架构在 MNIST 上的精度 (> 80%) 明显优于随机初始化网络。
当使用一组WANNs,为每个WANN分配一个不同的共享权重时,精度提高到 > 90%。
即使不使用集成方法,也可以将网络中的权重值压缩到一个网络,从而使网络能够快速调整。快速调整权重的能力可能在持续的终身学习(lifelong learning)中很有用,在这种学习中,agent在整个生命周期中获得、适应和转移技能。这使得WANN特别适合利用 Baldwin效应, Baldwin效应是一种进化压力,即奖励那些倾向于学习有用行为的个体,而不会陷入“learning to learn”这个昂贵的计算陷阱。
结论
我们希望这项工作可以作为一个垫脚石,帮助发现新的基础神经网络组件,如卷积网络,其发现和应用已经在深度学习领域取得了令人难以置信的进展。自卷积神经网络被发现以来,研究界可用的计算资源显著增加。如果我们将这些资源投入到自动发现神经网络架构中,并希望实现网络架构的突破性改进,那么我们相信,使用新的构建块来搜索也是值得的。
论文地址:
https://weightagnostic.github.io/
开源传送门:
https://github.com/google/brain-tokyo-workshop/tree/master/WANNRelease
登录查看更多
点赞并收藏
0
暂时没有读者
0
权益说明
本文档仅做收录索引使用,若发现您的权益受到侵害,请立即联系客服(微信: zhuanzhi02,邮箱:bd@zhuanzhi.ai),我们会尽快为您处理
相关内容
神经网络
关注
5869
人工神经网络(Artificial Neural Network,即ANN ),是20世纪80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象, 建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。 最近十多年来,人工神经网络的研究工作不断深入,已经取得了很大的进展,其在模式识别、智能机器人、自动控制、预测估计、生物、医学、经济等领域已成功地解决了许多现代计算机难以解决的实际问题,表现出了良好的智能特性。
【ICML2020-伯克利】反直觉!大模型重压缩提升Transformer的训练和推理效率,47页ppt
专知会员服务
68+阅读 · 2020年7月1日
【ACL2020-MIT-韩松】用于高效自然语言处理的硬件感知Transformer
专知会员服务
22+阅读 · 2020年5月29日
紧凑的神经网络模型设计研究综述
专知会员服务
72+阅读 · 2020年5月21日
来自Fariz Darari博士的一份简明《神经网络与深度学习》的讲义,64页ppt
专知会员服务
90+阅读 · 2020年5月5日
【ICLR2020-MIT】元学习的好奇心算法,Meta-learning curiosity algorithms
专知会员服务
33+阅读 · 2020年3月13日
谷歌提出“T5” 新NLP模型,突破迁移学习局限,多基准测试达SOTA!
专知会员服务
40+阅读 · 2020年2月26日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf
专知会员服务
102+阅读 · 2020年2月4日
Google AI发布Meena-构建一个无所不聊的含26亿参数模型的聊天机器人
专知会员服务
53+阅读 · 2020年1月29日
【神经网络】怎样设计最优的卷积神经网络架构?卷积神经网络的训练过程
产业智能官
6+阅读 · 2019年8月8日
学界 | 神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练
AI研习社
6+阅读 · 2019年6月15日
真正的神经网络,敢于不学习权重
机器之心
6+阅读 · 2019年6月13日
谷歌提出新型卷积网络EfficientNet:推理速度提升5.1倍,参数减少88%(附论文&代码)
THU数据派
6+阅读 · 2019年6月9日
推理速度提升5.1倍,参数减少88%:谷歌提出新型卷积网络EfficientNet(附代码)
机器之心
6+阅读 · 2019年5月31日
神经网络中的权重初始化一览:从基础到Kaiming
大数据文摘
12+阅读 · 2019年4月18日
从零开始:教你如何训练神经网络
机器之心
5+阅读 · 2017年12月11日
入门 | 一文概览深度学习中的激活函数
深度学习世界
4+阅读 · 2017年11月3日
干货|浅谈神经网络中激活函数的设计
机器学习研究会
5+阅读 · 2017年10月28日
【对比】AI距离匹敌人类大脑还有多远?人工神经网络和生物神经网络最详细对比
GAN生成式对抗网络
6+阅读 · 2017年10月6日
DDTCDR: Deep Dual Transfer Cross Domain Recommendation
Arxiv
5+阅读 · 2019年10月11日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Challenges in Building Intelligent Open-domain Dialog Systems
Arxiv
20+阅读 · 2019年5月13日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Learning to Generate and Reconstruct 3D Meshes with only 2D Supervision
Arxiv
3+阅读 · 2018年11月15日
DSKG: A Deep Sequential Model for Knowledge Graph Completion
Arxiv
4+阅读 · 2018年10月30日
Zero-Shot Object Detection by Hybrid Region Embedding
Arxiv
19+阅读 · 2018年5月17日
Vision Meets Drones: A Challenge
Arxiv
6+阅读 · 2018年4月23日
Learning Deep Structured Multi-Scale Features using Attention-Gated CRFs for Contour Prediction
Arxiv
4+阅读 · 2018年1月1日
Distance-based Self-Attention Network for Natural Language Inference
Arxiv
10+阅读 · 2017年12月6日
VIP会员
自助开通(推荐)
客服开通
详情
相关主题
神经网络
调参
网络结构
Adam
Google AI
搜索
相关VIP内容
【ICML2020-伯克利】反直觉!大模型重压缩提升Transformer的训练和推理效率,47页ppt
专知会员服务
68+阅读 · 2020年7月1日
【ACL2020-MIT-韩松】用于高效自然语言处理的硬件感知Transformer
专知会员服务
22+阅读 · 2020年5月29日
紧凑的神经网络模型设计研究综述
专知会员服务
72+阅读 · 2020年5月21日
来自Fariz Darari博士的一份简明《神经网络与深度学习》的讲义,64页ppt
专知会员服务
90+阅读 · 2020年5月5日
【ICLR2020-MIT】元学习的好奇心算法,Meta-learning curiosity algorithms
专知会员服务
33+阅读 · 2020年3月13日
谷歌提出“T5” 新NLP模型,突破迁移学习局限,多基准测试达SOTA!
专知会员服务
40+阅读 · 2020年2月26日
麻省理工学院MIT-ICLR2020《神经网络能推断出什么?》
专知会员服务
50+阅读 · 2020年2月19日
【Google AI】开源NoisyStudent:自监督图像分类
专知会员服务
54+阅读 · 2020年2月18日
【2020新书】JavaScript神经网络在TensorFlow.js中的深度学习,561页pdf
专知会员服务
102+阅读 · 2020年2月4日
Google AI发布Meena-构建一个无所不聊的含26亿参数模型的聊天机器人
专知会员服务
53+阅读 · 2020年1月29日
热门VIP内容
开通专知VIP会员 享更多权益服务
《美国定向能武器供应链:保障未来之路》最新64页报告
《支持、理解和改进决策的因果推理方法》259页
电磁频谱战中实施人工智能
真主党用伊朗 "阿尔马斯 "导弹袭击以色列 "铁穹"关键雷达
相关资讯
【神经网络】怎样设计最优的卷积神经网络架构?卷积神经网络的训练过程
产业智能官
6+阅读 · 2019年8月8日
学界 | 神经网络的气宗与剑宗之争:先验强大的网络甚至不需要训练
AI研习社
6+阅读 · 2019年6月15日
真正的神经网络,敢于不学习权重
机器之心
6+阅读 · 2019年6月13日
谷歌提出新型卷积网络EfficientNet:推理速度提升5.1倍,参数减少88%(附论文&代码)
THU数据派
6+阅读 · 2019年6月9日
推理速度提升5.1倍,参数减少88%:谷歌提出新型卷积网络EfficientNet(附代码)
机器之心
6+阅读 · 2019年5月31日
神经网络中的权重初始化一览:从基础到Kaiming
大数据文摘
12+阅读 · 2019年4月18日
从零开始:教你如何训练神经网络
机器之心
5+阅读 · 2017年12月11日
入门 | 一文概览深度学习中的激活函数
深度学习世界
4+阅读 · 2017年11月3日
干货|浅谈神经网络中激活函数的设计
机器学习研究会
5+阅读 · 2017年10月28日
【对比】AI距离匹敌人类大脑还有多远?人工神经网络和生物神经网络最详细对比
GAN生成式对抗网络
6+阅读 · 2017年10月6日
相关论文
DDTCDR: Deep Dual Transfer Cross Domain Recommendation
Arxiv
5+阅读 · 2019年10月11日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Challenges in Building Intelligent Open-domain Dialog Systems
Arxiv
20+阅读 · 2019年5月13日
Universal Transformers
Arxiv
5+阅读 · 2019年3月5日
Learning to Generate and Reconstruct 3D Meshes with only 2D Supervision
Arxiv
3+阅读 · 2018年11月15日
DSKG: A Deep Sequential Model for Knowledge Graph Completion
Arxiv
4+阅读 · 2018年10月30日
Zero-Shot Object Detection by Hybrid Region Embedding
Arxiv
19+阅读 · 2018年5月17日
Vision Meets Drones: A Challenge
Arxiv
6+阅读 · 2018年4月23日
Learning Deep Structured Multi-Scale Features using Attention-Gated CRFs for Contour Prediction
Arxiv
4+阅读 · 2018年1月1日
Distance-based Self-Attention Network for Natural Language Inference
Arxiv
10+阅读 · 2017年12月6日
大家都在搜
卡尔曼
智能仓储
无人地面车辆
生成式人工智能
MIT博士论文
精益管理体系
无人艇
ads-b
李清照词作
谭铁牛院士深度解析:人工智能是天使还是魔鬼?(内含PPT)
Top
提示
微信扫码
咨询专知VIP会员与技术项目合作
(加微信请备注: "专知")
微信扫码咨询专知VIP会员
Top