关于异步计划的推理具有挑战性,因为它需要序列和并行计划来优化时间成本。大型语言模型(LLMs)能否在这项任务上取得成功?在这里,我们展示了第一个大规模研究来调查这个问题。我们发现,一组代表性的闭源和开源LLMs,包括GPT-4和LLaMA-2,在我们的AsyncHow基准测试中,如果没有提供关于任务解决过程的说明,表现很差。我们提出了一种名为“像图一样计划”(PLaG)的新技术,该技术将图与自然语言提示结合起来,并实现了最先进的结果。我们展示了尽管PLaG可以提升模型性能,但当任务复杂性增加时,LLMs仍然遭受剧烈退化,这突出了利用LLMs模拟数字设备的限制。我们将我们的研究视为使用LLMs作为高效自主代理的激动人心的一步。

成为VIP会员查看完整内容
20

相关内容

【ICML2023】无消息传递的transformer图归纳偏差
专知会员服务
24+阅读 · 2023年6月1日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【NAACL2022】信息提取前沿
专知会员服务
57+阅读 · 2022年7月11日
专知会员服务
31+阅读 · 2021年9月7日
专知会员服务
36+阅读 · 2021年6月19日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
31+阅读 · 2021年2月27日
专知会员服务
21+阅读 · 2021年2月6日
专知会员服务
41+阅读 · 2021年1月18日
专知会员服务
18+阅读 · 2020年10月13日
时空数据挖掘:综述
专知
22+阅读 · 2022年6月30日
ICLR'21 | GNN联邦学习的新基准
图与推荐
11+阅读 · 2021年11月15日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
17+阅读 · 2021年10月25日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
13+阅读 · 2020年8月22日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
346+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
22+阅读 · 2022年2月4日
Arxiv
38+阅读 · 2020年12月2日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
Arxiv
11+阅读 · 2018年5月21日
VIP会员
相关VIP内容
【ICML2023】无消息传递的transformer图归纳偏差
专知会员服务
24+阅读 · 2023年6月1日
【KDD2022】自监督超图Transformer推荐系统
专知会员服务
33+阅读 · 2022年8月1日
【NAACL2022】信息提取前沿
专知会员服务
57+阅读 · 2022年7月11日
专知会员服务
31+阅读 · 2021年9月7日
专知会员服务
36+阅读 · 2021年6月19日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
31+阅读 · 2021年2月27日
专知会员服务
21+阅读 · 2021年2月6日
专知会员服务
41+阅读 · 2021年1月18日
专知会员服务
18+阅读 · 2020年10月13日
相关资讯
时空数据挖掘:综述
专知
22+阅读 · 2022年6月30日
ICLR'21 | GNN联邦学习的新基准
图与推荐
11+阅读 · 2021年11月15日
【Tutorial】计算机视觉中的Transformer,98页ppt
专知
17+阅读 · 2021年10月25日
【ICML2021】因果匹配领域泛化
专知
11+阅读 · 2021年8月12日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
13+阅读 · 2020年8月22日
【KDD2020】图神经网络生成式预训练
专知
22+阅读 · 2020年7月3日
【ICML2020】对比多视角表示学习
专知
18+阅读 · 2020年6月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
图注意力网络
科技创新与创业
35+阅读 · 2017年11月22日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
相关论文
A Survey of Large Language Models
Arxiv
346+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
22+阅读 · 2022年2月4日
Arxiv
38+阅读 · 2020年12月2日
Heterogeneous Deep Graph Infomax
Arxiv
12+阅读 · 2019年11月19日
Exploring Visual Relationship for Image Captioning
Arxiv
14+阅读 · 2018年9月19日
Arxiv
11+阅读 · 2018年5月21日
微信扫码咨询专知VIP会员