Recent advances in Large language models (LLMs) have demonstrated their promising capabilities of generating robot operation code to enable LLM-driven robots. To enhance the reliability of operation code generated by LLMs, corrective designs with feedback from the observation of executing code have been increasingly adopted in existing research. However, the code execution in these designs relies on either a physical experiment or a customized simulation environment, which limits their deployment due to the high configuration effort of the environment and the potential long execution time. In this paper, we explore the possibility of directly leveraging LLM to enable static simulation of robot operation code, and then leverage it to design a new reliable LLM-driven corrective robot operation code generation framework. Our framework configures the LLM as a static simulator with enhanced capabilities that reliably simulate robot code execution by interpreting actions, reasoning over state transitions, analyzing execution outcomes, and generating semantic observations that accurately capture trajectory dynamics. To validate the performance of our framework, we performed experiments on various operation tasks for different robots, including UAVs and small ground vehicles. The experiment results not only demonstrated the high accuracy of our static text-based simulation but also the reliable code generation of our LLM-driven corrective framework, which achieves a comparable performance with state-of-the-art research while does not rely on dynamic code execution using physical experiments or simulators.


翻译:近年来,大语言模型(LLMs)的进展已展现出其在生成机器人操作代码以驱动LLM控制机器人方面的潜力。为提高LLMs生成操作代码的可靠性,现有研究越来越多地采用基于代码执行观测反馈的校正设计。然而,这些设计中的代码执行依赖于物理实验或定制仿真环境,这因环境配置成本高及可能的长执行时间而限制了其部署。本文探讨了直接利用LLM实现机器人操作代码静态仿真的可行性,并借此设计了一种新型可靠的LLM驱动校正机器人操作代码生成框架。该框架将LLM配置为具备增强能力的静态仿真器,通过解释动作、推理状态转移、分析执行结果并生成准确捕捉轨迹动态的语义观测,可靠地模拟机器人代码执行。为验证框架性能,我们在多种机器人(包括无人机和小型地面车辆)的不同操作任务上进行了实验。实验结果不仅证明了我们基于静态文本仿真的高准确性,也验证了LLM驱动校正框架的可靠代码生成能力,其在实现与前沿研究相当性能的同时,无需依赖基于物理实验或仿真器的动态代码执行。

0
下载
关闭预览

相关内容

代码(Code)是专知网的一个重要知识资料文档板块,旨在整理收录论文源代码、复现代码,经典工程代码等,便于用户查阅下载使用。
专知会员服务
41+阅读 · 2021年6月19日
Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员