这篇论文是关于从一系列动作中学习产生一个物体(比如分子图)的随机策略的问题,这样产生一个物体的概率与该物体的给定的正回报成正比。尽管标准收益最大化倾向于收敛于单个收益最大化序列,但在某些情况下,我们希望抽样不同的高收益解决方案集。例如,在黑箱函数优化中,当可能的轮数很少时,每个批次都有大量的查询,这些查询的批次应该是不同的,例如,在新分子的设计中。人们也可以把这看作是一个将能量函数近似转化为生成分布的问题。虽然MCMC方法可以实现这一点,但它们的成本很高,而且通常只执行局部勘探。相反,生成式策略在训练过程中摊销了搜索成本,并让位于快速生成。利用来自时态差分学习的见解,我们提出了GFlowNet,基于将生成过程视为流动网络的观点,使其有可能处理不同轨迹可能产生相同最终状态的棘手情况,例如,有许多方法顺序添加原子来生成一些分子图。我们将轨迹集转换为一个流,并将流一致性方程转换为一个学习目标,类似于将Bellman方程转换为时间差分方法。我们证明了所提出的目标的任何全局最小值都能产生一个从期望分布中采样的策略,并在一个有许多模式的奖励函数的简单域和一个分子合成任务上证明了GFlowNet改进的性能和多样性。

https://www.zhuanzhi.ai/paper/5c1b11900fd1921ccfb9edcf7aea84d4

成为VIP会员查看完整内容
10
0

相关内容

【NeurIPS 2021】 基于置信度校正的可信图神经网络
专知会员服务
16+阅读 · 2021年12月26日
NeurIPS 2021 | 通过动态图评分匹配预测分子构象
专知会员服务
11+阅读 · 2021年12月4日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
21+阅读 · 2021年11月22日
【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成
专知会员服务
11+阅读 · 2021年10月23日
专知会员服务
3+阅读 · 2021年9月20日
专知会员服务
20+阅读 · 2021年8月2日
专知会员服务
30+阅读 · 2021年7月1日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
18+阅读 · 2020年10月24日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
36+阅读 · 2020年7月4日
CMU论文解读:基于GAN和VAE的跨模态图像生成
PaperWeekly
7+阅读 · 2018年8月20日
深度 | 变分自编码器VAE面临的挑战与发展方向
机器之心
13+阅读 · 2018年3月21日
Arxiv
0+阅读 · 2月18日
Arxiv
3+阅读 · 2021年11月1日
Arxiv
4+阅读 · 2021年7月1日
Arxiv
5+阅读 · 2018年5月18日
小贴士
相关VIP内容
【NeurIPS 2021】 基于置信度校正的可信图神经网络
专知会员服务
16+阅读 · 2021年12月26日
NeurIPS 2021 | 通过动态图评分匹配预测分子构象
专知会员服务
11+阅读 · 2021年12月4日
【Yoshua Bengio最新一作论文】GFlowNet基础,GFlowNet Foundations
专知会员服务
21+阅读 · 2021年11月22日
【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成
专知会员服务
11+阅读 · 2021年10月23日
专知会员服务
3+阅读 · 2021年9月20日
专知会员服务
20+阅读 · 2021年8月2日
专知会员服务
30+阅读 · 2021年7月1日
【NeurIPS 2020 】神经网络结构生成优化
专知会员服务
18+阅读 · 2020年10月24日
【ICML2020-浙江大学】对抗性互信息的文本生成
专知会员服务
36+阅读 · 2020年7月4日
微信扫码咨询专知VIP会员