【CVPR2020-Oral】用于深度网络的任务感知超参数

虽然深度神经网络在解决视觉识别任务方面很出色，但它们需要付出巨大的努力来找到超参数，以使其达到最佳工作状态。超参数优化(Hyperparameter Optimization, HPO)方法使寻找好的超参数的过程自动化，但是它们不适应给定的任务(与任务无关)，这使得它们的计算效率很低。为了减少HPO的时间，我们提出了一种任务感知超参数推荐系统HyperSTAR，这是一种任务感知的方法，用于暖启动深度神经网络的HPO。超星通过预测超参数在联合数据集超参数空间上的性能来对超参数进行排序和推荐。它以端到端方式直接从原始图像中学习数据集(任务)表示和性能预测器。当这些建议与现有的HPO方法集成时，可以使其具有任务意识并显著减少实现最佳性能所需的时间。我们在两种不同的网络架构下，对10个公开的大规模图像分类数据集进行了大量的实验，验证了HyperSTAR对配置的评估比现有方法少50%，从而获得最佳性能。我们进一步证明了HyperSTAR使Hyperband (HB)任务感知，实现了最佳的精度在25%的预算所需的vanilla HB和贝叶斯优化HB~(BOHB)。

https://arxiv.org/abs/2005.10524

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）

• 后台回复“HPOS” 可以获取《【CVPR2020-Oral】用于深度网络的任务感知超参数》专知下载链接索引

专知，专业可信的人工智能知识分发，让认知协作更快更好！欢迎注册登录专知www.zhuanzhi.ai，获取5000+AI主题干货知识资料！

欢迎微信扫一扫加入专知人工智能知识星球群，获取最新AI专业干货知识教程资料和与专家交流咨询！

点击“ 阅读原文 ”，了解使用 专知 ，查看获取5000+AI主题知识资源