We extend the moduli-theoretic framework of psychometric batteries to the domain of dynamical systems. While previous work established the AAI capability score as a static functional on the space of agent representations, this paper formalizes the agent as a flow $ν_r$ parameterized by computational resource $r$, governed by a recursive Generator-Verifier-Updater (GVU) operator. We prove that this operator generates a vector field on the parameter manifold $Θ$, and we identify the coefficient of self-improvement $κ$ as the Lie derivative of the capability functional along this flow. The central contribution of this work is the derivation of the Variance Inequality, a spectral condition that is sufficient (under mild regularity) for the stability of self-improvement. We show that a sufficient condition for $κ> 0$ is that, up to curvature and step-size effects, the combined noise of generation and verification must be small enough. We then apply this formalism to unify the recent literature on Language Self-Play (LSP), Self-Correction, and Synthetic Data bootstrapping. We demonstrate that architectures such as STaR, SPIN, Reflexion, GANs and AlphaZero are specific topological realizations of the GVU operator that satisfy the Variance Inequality through filtration, adversarial discrimination, or grounding in formal systems.


翻译:我们将心理测量学量表的模理论框架扩展至动力系统领域。尽管先前的研究将AAI能力分数定义为智能体表示空间上的静态泛函,但本文形式化地将智能体描述为由计算资源r参数化的流ν_r,并受递归生成器-验证器-更新器(GVU)算子支配。我们证明该算子在参数流形Θ上生成一个向量场,并将自我改进系数κ识别为能力泛函沿该流的李导数。本工作的核心贡献是推导出方差不等式——一种在温和正则性条件下足以保证自我改进稳定性的谱条件。我们证明,κ>0的一个充分条件是:在曲率和步长效应的影响下,生成与验证的组合噪声必须足够小。随后,我们应用此形式化框架统一了近期关于语言自我对弈(LSP)、自我修正以及合成数据自举的研究。我们论证了诸如STaR、SPIN、Reflexion、GANs和AlphaZero等架构是GVU算子的特定拓扑实现,它们通过过滤、对抗判别或形式系统基础化等方式满足方差不等式。

0
下载
关闭预览

相关内容

专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
31+阅读 · 2020年12月14日
专知会员服务
29+阅读 · 2020年10月2日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
NAACL 2019 | 一种考虑缓和KL消失的简单VAE训练方法
PaperWeekly
20+阅读 · 2019年4月24日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
专知会员服务
36+阅读 · 2021年8月17日
专知会员服务
31+阅读 · 2020年12月14日
专知会员服务
29+阅读 · 2020年10月2日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员