Vision-language-action (VLA) models have recently emerged as a powerful paradigm for building generalist robots. However, traditional VLA models that generate actions through flow matching (FM) typically rely on rigid and uniform time schedules, i.e., synchronous FM (SFM). Without action context awareness and asynchronous self-correction, SFM becomes unstable in long-horizon tasks, where a single action error can cascade into failure. In this work, we propose asynchronous flow matching VLA (AsyncVLA), a novel framework that introduces temporal flexibility in asynchronous FM (AFM) and enables self-correction in action generation. AsyncVLA breaks from the vanilla SFM in VLA models by generating the action tokens in a non-uniform time schedule with action context awareness. Besides, our method introduces the confidence rater to extract confidence of the initially generated actions, enabling the model to selectively refine inaccurate action tokens before execution. Moreover, we propose a unified training procedure for SFM and AFM that endows a single model with both modes, improving KV-cache utilization. Extensive experiments on robotic manipulation benchmarks demonstrate that AsyncVLA is data-efficient and exhibits self-correction ability. AsyncVLA achieves state-of-the-art results across general embodied evaluations due to its asynchronous generation in AFM. Our code is available at https://github.com/YuhuaJiang2002/AsyncVLA.


翻译:视觉-语言-动作(VLA)模型近年来已成为构建通用机器人的强大范式。然而,传统通过流匹配(FM)生成动作的VLA模型通常依赖于刚性和均匀的时间调度,即同步FM(SFM)。由于缺乏动作上下文感知和异步自校正能力,SFM在长时程任务中变得不稳定,单个动作误差可能级联导致失败。本文提出异步流匹配VLA(AsyncVLA),这是一种引入异步FM(AFM)中时间灵活性并实现动作生成自校正的新框架。AsyncVLA通过以非均匀时间调度生成动作令牌并具备动作上下文感知能力,突破了传统VLA模型中的标准SFM范式。此外,本方法引入置信度评估器来提取初始生成动作的置信度,使模型能够在执行前选择性修正不准确的动作令牌。进一步,我们提出了SFM与AFM的统一训练流程,使单一模型同时具备两种模式,提升了KV缓存利用率。在机器人操作基准上的大量实验表明,AsyncVLA具有数据高效性和自校正能力。得益于AFM中的异步生成机制,AsyncVLA在通用具身评估中取得了最先进的结果。代码发布于https://github.com/YuhuaJiang2002/AsyncVLA。

0
下载
关闭预览

相关内容

【CVPR2025】基于组合表示移植的图像编辑方法
专知会员服务
8+阅读 · 4月5日
VILA-U:一个融合视觉理解与生成的统一基础模型
专知会员服务
21+阅读 · 2024年9月9日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员