【Google大脑】AutoML-Zero: 从无到有演化机器学习算法，Evolving Machine Learning

机器学习研究在模型结构和学习方法等多个方面都取得了进展。自动化这类研究的努力，即AutoML，也取得了重大进展。然而，这一进展主要集中在神经网络的架构上，它依赖于复杂的专家设计的层作为构建块——或者类似的限制性搜索空间。我们的目标是证明AutoML可以走得更远:今天，只要使用基本的数学运算作为构建块，就有可能自动发现完整的机器学习算法。我们通过引入一个新的框架来证明这一点，该框架通过一个通用的搜索空间来显著减少人类的偏见。尽管这个空间很大，进化搜索仍然可以发现通过反向传播训练的两层神经网络。这些简单的神经网络可以通过在感兴趣的任务上直接进化而被超越，例如CIFAR-10变体，现代技术出现在顶级算法中，例如双线性交互、标准化梯度和加权平均。此外，进化使算法适应不同的任务类型:例如，当可用的数据很少时，就会出现类似dropout的技术。我们相信，机器学习算法从无到有的初步成功为这一领域指明了一个有希望的新方向。

https://arxiv.org/abs/2003.03384

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“MLZ” 就可以获取《【Google大脑】AutoML-Zero: 从无到有演化机器学习算法，Evolving Machine Learning》论文专知下载链接

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源