Multimodal large language models (MLLMs) show strong potential as judges. However, existing approaches face a fundamental trade-off: adapting MLLMs to output a single score misaligns with the generative nature of MLLMs and limits fine-grained requirement understanding, whereas autoregressively generating judging analyses is prohibitively slow in high-throughput settings. Observing that judgment reduces to verifying whether inputs satisfy a set of structured requirements, we propose YOFO, a template-conditioned method that judges all requirements in a single forward pass. Built on an autoregressive model, YOFO accepts a structured requirement template and, in one inference step, produces a binary yes/no decision for each requirement by reading the logits of the final token associated with that requirement. This design yields orders-of-magnitude speedups while preserving interpretability. Extensive experiments show that YOFO not only achieves state-of-the-art results on standard recommendation datasets, but also supports dependency-aware analysis-where subsequent judgments are conditioned on previous ones-and further benefits from post-hoc CoT.


翻译:多模态大语言模型(MLLMs)展现出作为评判者的强大潜力。然而,现有方法面临一个根本性的权衡:将MLLMs适配为输出单一分数,既与MLLMs的生成性质不匹配,又限制了对细粒度需求的理解;而通过自回归生成评判分析,在高吞吐量场景下则因速度过慢而难以实用。通过观察发现,评判本质上可归结为验证输入是否满足一组结构化需求。为此,我们提出了YOFO,一种基于模板条件化的方法,可在单次前向传播中完成对所有需求的评判。YOFO构建于自回归模型之上,接收一个结构化需求模板,并在一次推理步骤中,通过读取与每个需求关联的最终词元的逻辑值,为每个需求生成二元是/否判定。这一设计在保持可解释性的同时,实现了数量级的速度提升。大量实验表明,YOFO不仅在标准推荐数据集上取得了最先进的结果,还支持依赖感知分析——即后续评判可基于先前结果进行条件化处理,并能进一步受益于事后思维链(CoT)的增强。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员