Infants acquire language with generalization from minimal experience, whereas large language models require billions of training tokens. What underlies efficient development in humans? We investigated this problem through experiments wherein robotic agents learn to perform actions associated with imperative sentences (e.g., push red cube) via curiosity-driven self-exploration. Our approach integrates active inference with reinforcement learning, enabling intrinsically motivated developmental learning. The simulations reveal key findings corresponding to observations in developmental psychology. i) Generalization improves drastically as the scale of compositional elements increases. ii) Curiosity improves learning through self-exploration. iii) Rote pairing of sentences and actions precedes compositional generalization. iv) Simpler actions develop before complex actions depending on them. v) Exception-handling induces U-shaped developmental performance, a pattern like representational redescription in child language learning. These results suggest that curiosity-driven active inference accounts for how intrinsically motivated sensorimotor-linguistic learning supports scalable compositional generalization and exception handling in humans and artificial agents.


翻译:婴儿仅需极少的经验即可实现语言的泛化习得,而大型语言模型则需要数十亿的训练标记。人类高效发展的内在机制是什么?我们通过实验研究了这一问题:机器人智能体通过好奇心驱动的自探索,学习执行与祈使句相关联的动作(例如“推动红色方块”)。我们的方法将主动推理与强化学习相结合,实现了内在动机驱动的发育式学习。仿真实验揭示了与发育心理学观察相对应的关键发现:i) 随着组合元素规模的增加,泛化能力显著提升;ii) 好奇心通过自探索促进学习;iii) 句子与动作的机械配对先于组合泛化出现;iv) 简单动作在依赖它们的复杂动作之前发展;v) 异常处理引发U型发育曲线,该模式类似于儿童语言学习中的表征重构现象。这些结果表明,好奇心驱动的主动推理机制能够解释内在动机驱动的感觉运动-语言学习如何支持人类与人工智能体实现可扩展的组合泛化与异常处理能力。

0
下载
关闭预览

相关内容

基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 12月16日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员