Language is essentially a complex, intricate system of human expressions governed by grammatical rules. It poses a significant challenge to develop capable AI algorithms for comprehending and grasping a language. As a major approach, language modeling has been widely studied for language understanding and generation in the past two decades, evolving from statistical language models to neural language models. Recently, pre-trained language models (PLMs) have been proposed by pre-training Transformer models over large-scale corpora, showing strong capabilities in solving various NLP tasks. Since researchers have found that model scaling can lead to performance improvement, they further study the scaling effect by increasing the model size to an even larger size. Interestingly, when the parameter scale exceeds a certain level, these enlarged language models not only achieve a significant performance improvement but also show some special abilities that are not present in small-scale language models. To discriminate the difference in parameter scale, the research community has coined the term large language models (LLM) for the PLMs of significant size. Recently, the research on LLMs has been largely advanced by both academia and industry, and a remarkable progress is the launch of ChatGPT, which has attracted widespread attention from society. The technical evolution of LLMs has been making an important impact on the entire AI community, which would revolutionize the way how we develop and use AI algorithms. In this survey, we review the recent advances of LLMs by introducing the background, key findings, and mainstream techniques. In particular, we focus on four major aspects of LLMs, namely pre-training, adaptation tuning, utilization, and capacity evaluation. Besides, we also summarize the available resources for developing LLMs and discuss the remaining issues for future directions.


翻译:语言是人类表达的复杂而严密的系统,受语法规则支配。为理解和生成语言,开发能力强的人工智能算法存在挑战。语言建模是广泛研究语言理解和生成的方法,在过去二十年中从统计语言模型发展为神经网络语言模型。最近,研究人员通过对大规模语料库进行Transformer模型的预训练,提出了预训练语言模型,并在各种自然语言处理任务中显示出很强的能力。由于研究人员发现扩大模型规模可以提高性能,他们将模型大小增加到更大的尺寸来研究缩放效应。有趣的是,当参数规模超过一定水平时,这些扩大的语言模型不仅可以实现显著的性能提升,还具有一些小规模语言模型所没有的特殊能力。为了区分参数规模的差异,研究界为具有显著规模的预训练语言模型的特殊命名为大语言模型。近期,学术界和产业界对大语言模型的研究有了显著进展,其中一个引起广泛关注的是ChatGPT的推出。大语言模型的技术进步对整个人工智能社区产生了重要影响。它将彻底改变我们开发和使用人工智能算法的方式。在这篇综述文章中,我们通过介绍背景、关键发现和主流技术,回顾了近年来大语言模型的进展。尤其是,我们关注大语言模型的四个主要方面,即预训练、适应性调整、利用和容量评估。此外,我们还总结了开发大语言模型的可用资源,并讨论了未来方向的剩余问题。

278
下载
关闭预览

相关内容

「知识增强预训练语言模型」最新研究综述
专知会员服务
57+阅读 · 2022年11月18日
最新《Transformers模型》教程,64页ppt
专知会员服务
267+阅读 · 2020年11月26日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
论文浅尝 | Language Models (Mostly) Know What They Know
开放知识图谱
0+阅读 · 2022年11月18日
Hierarchically Structured Meta-learning
CreateAMind
22+阅读 · 2019年5月22日
自然语言处理常识推理综述论文,60页pdf
专知
68+阅读 · 2019年4月4日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
15+阅读 · 2018年12月24日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【推荐】深度学习目标检测全面综述
机器学习研究会
21+阅读 · 2017年9月13日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Understanding HTML with Large Language Models
Arxiv
0+阅读 · 2023年5月19日
Arxiv
27+阅读 · 2022年12月20日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
16+阅读 · 2019年4月5日
VIP会员
相关VIP内容
「知识增强预训练语言模型」最新研究综述
专知会员服务
57+阅读 · 2022年11月18日
最新《Transformers模型》教程,64页ppt
专知会员服务
267+阅读 · 2020年11月26日
临床自然语言处理中的嵌入综述,SECNLP: A survey of embeddings
相关论文
Understanding HTML with Large Language Models
Arxiv
0+阅读 · 2023年5月19日
Arxiv
27+阅读 · 2022年12月20日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
15+阅读 · 2019年6月25日
Arxiv
16+阅读 · 2019年4月5日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
6+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员