大型语言模型(LLMs)在许多复杂任务中展示了令人印象深刻的进步,例如数学推理和程序合成。尽管取得了这些进展,LLMs有效利用工具、服务和应用程序的能力仍然有限。为了解决这一差距,我们首先介绍了Gorilla LLM,这是一个微调配方,通过调用API来增强LLMs使用工具的能力。Gorilla还引入了基于抽象语法树(AST)的度量来评估LLMs中的API幻觉。此外,认识到评估LLMs可能具有挑战性,我们开发了OpenFunctions,这是一个预训练模型,它不需要重新训练,而是依赖于检索增强生成(RAG)来显示相关API。该系统允许LLMs访问更新的函数和服务库,提高了它们的实用性,而无需不断的模型重训练。作为功能调用的补充,RAFT(检索增强微调)提供了一种配方,用于将新的特定领域知识嵌入模型中。通过训练LLMs从一组检索的文档中辨别和利用只有相关的信息,RAFT在各种领域内数据集的“开卷”设置中提高了准确性和可靠性。 最后,为了使LLMs生成的命令能够自主执行——这可能容易出错——Gorilla执行引擎(GoEx)是一个新颖的运行时系统,它通过动态解释用户意图并在执行中强制执行最小权限,并且还纳入了“撤销”和“损害限制”抽象来减轻风险。GoEx支持事后验证,允许用户在执行动作后验证动作的正确性,并撤销任何不希望的效果。GoEx使LLMs能够自主运行,显著减少了与它们自主行动相关的潜在风险。 我们相信,这些发展——Gorilla、OpenFunctions、RAFT和GoEx——对于解锁LLM代理与应用程序和服务交互的潜力至关重要。

成为VIP会员查看完整内容
27

相关内容

博士论文是由攻读博士学位的研究生所撰写的学术论文。它要求作者在博士生导师的指导下,选择自己能够把握和驾驭的潜在的研究方向,开辟新的研究领域。由此可见,这就对作者提出了较高要求,它要求作者必须在本学科的专业领域具备大量的理论知识,并对所学专业的理论知识有相当深入的理解和思考,同时还要具有相当水平的独立科学研究能力,能够为在学科领域提出独创性的见解和有价值的科研成果。因而,较之学士论文、硕士论文,博士论文具有更高的学术价值,对学科的发展具有重要的推动作用。
【伯克利博士论文】控制长篇大型语言模型输出
大型语言模型在软件工程:调查与待解决的问题
专知会员服务
69+阅读 · 2023年10月6日
专知会员服务
21+阅读 · 2021年10月8日
专知会员服务
14+阅读 · 2021年6月26日
【CVPR2020-北京大学】自适应间隔损失的提升小样本学习
专知会员服务
82+阅读 · 2020年6月9日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
MNIST入门:贝叶斯方法
Python程序员
22+阅读 · 2017年7月3日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
141+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
346+阅读 · 2023年3月31日
Arxiv
58+阅读 · 2023年3月26日
Arxiv
121+阅读 · 2023年3月24日
VIP会员
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员