Agentic systems built on large language models operate through recursive feedback loops, where each output becomes the next input. Yet the geometric behavior of these agentic loops (whether they converge, diverge, or exhibit more complex dynamics) remains poorly understood. This paper introduces a geometric framework for analyzing agentic trajectories in semantic embedding space, treating iterative transformations as discrete dynamical systems. We distinguish the artifact space, where linguistic transformations occur, from the embedding space, where geometric measurements are performed. Because cosine similarity is biased by embedding anisotropy, we introduce an isotonic calibration that eliminates systematic bias and aligns similarities with human semantic judgments while preserving high local stability. This enables rigorous measurement of trajectories, clusters and attractors. Through controlled experiments on singular agentic loops, we identify two fundamental regimes. A contractive rewriting loop converges toward a stable attractor with decreasing dispersion, while an exploratory summarize and negate loop produces unbounded divergence with no cluster formation. These regimes display qualitatively distinct geometric signatures of contraction and expansion. Our results show that prompt design directly governs the dynamical regime of an agentic loop, enabling systematic control of convergence, divergence and trajectory structure in iterative LLM transformations.


翻译:基于大语言模型构建的智能体系统通过递归反馈循环运行,其中每个输出成为下一个输入。然而,这些智能体循环的几何行为(无论它们是收敛、发散还是表现出更复杂的动态)仍然缺乏深入理解。本文提出了一种几何框架,用于分析语义嵌入空间中的智能体轨迹,将迭代变换视为离散动力系统。我们区分了发生语言变换的产物空间与执行几何测量的嵌入空间。由于余弦相似度受嵌入各向异性的影响,我们引入了一种等张校准方法,以消除系统偏差,并将相似度与人类语义判断对齐,同时保持较高的局部稳定性。这使得能够对轨迹、聚类和吸引子进行严格测量。通过对单一智能体循环的受控实验,我们识别出两种基本机制:收缩性重写循环朝着稳定吸引子收敛且离散度递减,而探索性总结与否定循环则产生无界发散且无聚类形成。这些机制展现出收缩与扩张在性质上截然不同的几何特征。我们的结果表明,提示设计直接决定了智能体循环的动态机制,从而能够系统控制迭代大语言模型变换中的收敛性、发散性及轨迹结构。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员