在2023年3月,我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本,包含了83页的正文内容,并收录了900余篇参考文献。该综述文章旨在系统地梳理大语言模型的研究进展与核心技术,讨论了大量的相关工作。自大语言模型综述的预印本上线以来,受到了不少读者的关注。

自英文综述文章上线后,陆续有读者询问是否有对应的中文版本。为此,我们于2023年8月发布了该综述的中文翻译版。为了更好地提供大模型技术的中文参考资料,我们于2023年12月底继续启动了中文书的编写工作,并且于近日完成初稿。与英文综述文章的定位不同,中文版书籍更注重为大模型技术的入门读者提供讲解,为此我们在内容上进行了大幅度的更新与重组,力图展现一个整体的大模型技术框架和路线图。本书适用于具有深度学习基础的高年级本科生以及低年级研究生使用,可以作为一本入门级的技术书籍。

中文书项目链接:

https://llmbook-zh.github.io/

中文书下载链接1:

****https://github.com/LLMBook-zh/LLMBook-zh.github.io/blob/main/LLMBook.pdf

中文书下载链接2:

********http://aibox.ruc.edu.cn/zws/index.htm

全书章节组织:

一、背景与基础知识

第一章 引言(大模型发展历程、重要技术概览) 第二章 基础介绍(Scaling Law、GPT系列模型发展历程) 第三章 大模型资源(开源模型、数据、代码库) 二、预训练

第四章 数据准备(数据收集、清洗、配比、课程方法) 第五章 模型架构(Transformer 结构、大模型主流架构、细节改进) 第六章 模型预训练(预训练任务、优化参数设置、并行训练方法) 三、微调与对齐

第七章 指令微调(指令数据收集与合成方法、指令微调策略与作用) 第八章 人类对齐(3H标准、RLHF算法、非RL算法) 四、大模型使用

第九章 解码与部署(解码生成算法、解码加速算法、模型压缩算法) 第十章 提示学习(基础提示方法、上下文学习、思维链) 第十一章 规划与智能体(复杂规划方法、智能体搭建方法) 五、评测与应用

第十二章 评测(评测指标与方法、基础与高级能力评测、评测体系) 第十三章 应用(概览研究领域与专业领域的应用)

大语言模型发展时间线

LLaMA 系列模型的衍生工作进化图

在本书撰写过程中,我们收到了来自许多同行的大量修改意见,在此一并表示感谢,希望大家一如既往支持与关注我们的大模型中文书,您的支持与反馈将是我们前行最大的动力。本书的初版仅是一个起点,我们计划在网上持续进行内容的更新和完善,并特别欢迎读者提出宝贵的批评与建议,也会同步在网站上对于提出宝贵建议的读者进行致谢。如果您有任何意见、评论以及建议,请通过GitHub的Issue页面(https://github.com/LLMBook-zh/LLMBook-zh.github.io/issues)或邮箱进行反馈。

为了更好地整理和传播大模型技术的最新进展与技术体系,我们为读者提供了以下配套资源,供读者在阅读本书时进行参考和使用。

**大模型代码工具库:**我们开发了一个全面的代码工具库LLMBox,专门用于开发和实现大语言模型,其基于统一化的训练流程和全面的模型评估框架。LLMBox旨在成为训练和利用大语言模型的一站式解决方案,其内部集成了大量实用的功能,实现了训练和利用阶段高度的灵活性和效率。工具库链接:https://github.com/RUCAIBox/LLMBox。

**

**

**YuLan大模型:**YuLan系列模型是中国人民大学高瓴人工智能学院师生共同开发的支持聊天的大语言模型(名字“玉兰”取自中国人民大学校花)。最新版本从头完成了整个预训练过程,并采用课程学习技术基于中英文双语数据进行有监督微调,包括高质量指令和人类偏好数据。模型链接:https://github.com/RUC-GSAI/YuLan-Chat。

**

**

本书各章节的主要负责人和参与人名单如下:

第三章的负责人是闵映乾和杨晨,参与人有李军毅、周昆; * 第四章的负责人是张君杰、侯宇蓬和周昆; * 第五章的负责人是董梓灿,参与人有田震和唐天一; * 第六章的负责人是唐天一和陈昱硕; * 第七章的负责人是唐天一,参与人有成晓雪; * 第八章的负责人是李军毅和陈志朋; * 第九章的负责人是陈昱硕、刘沛羽和唐天一,参与人有周昆; * 第十章的负责人是李军毅、汤昕宇和都一凡; * 第十一章的负责人是任瑞阳和蒋锦昊,参与人有李军毅; * 第十二章的负责人是张北辰和周昆,参与人有张高玮; * 第十三章的负责人是周昆,参与人(按拼音字母排序)有蒋锦昊、李依凡、刘子康、孙文奇、王禹淏、徐澜玲、杨锦霞和郑博文。

同时感谢其他所有参与本书编写、校对的同学和老师们。

成为VIP会员查看完整内容
102

在过去的二十年中,数字孪生(DTs)已成为工业生产和日常生活未来发展的智能代表。本综合手册包括超过50章节,由100多位贡献者撰写,解释了DTs的概念、架构、设计规范和应用场景。 作为一个过程、产品或服务的虚拟模型,以匹配虚拟与现实世界,DTs通过使用模拟来允许数据分析和系统监控。这一快速增长的技术近年来已被广泛研究和开发。以集中化、完整性和动态性为特点,它是推动创新和性能的成本效益选择。许多领域已看到其在工业生产、医疗保健、智慧城市、交通和物流中的适应和实施。如西门子、特斯拉、ANSYS和通用电气等世界著名企业已建立智能工厂并引领数字生产,迈向工业4.0。 本书旨在为该领域的技术人员、相关专业的学生和学者以及对智能工业制造感兴趣的普通读者提供DTs的深入理解和参考。

关于作者 吕智汉博士是瑞典乌普萨拉大学游戏设计系副教授。他同时是IEEE高级会员、英国计算机学会会员、ACM杰出演讲者、斯坦福大学科学影响排名终身前2%的科学家、玛丽·居里学者、Clarivate高被引科学家和Elsevier高被引中国研究者。他已发表300篇学术论文,其中包括90多篇IEEE/ACM Transactions论文。他是《物联网与网络物理系统》(KeAi出版)的主编,同时是多个期刊的副主编,包括ACM TOMM、IEEE TITS、IEEE TNSM、IEEE TCSS、IEEE TNSE和IEEE CEM。他已审阅400篇论文。他已获得来自中国、欧洲和IEEE的20多个奖项。他已为欧洲和中国的大学和公司做过80多次邀请报告。他在国际会议上发表了20次主旨演讲。

成为VIP会员查看完整内容
56

《算法基础》第五版提供了算法设计、算法复杂度分析和计算复杂性的均衡介绍。适合具有大学代数和离散结构背景的计算机科学学生使用。该教材使用标准英语和简单符号来最大化数学概念的可访问性和用户友好性。它包括具体实例和复习基本数学概念的附录,旨在加强理论解释,促进学习和记忆。书中使用 C++ 和 Java 伪代码帮助学生更好地理解复杂的算法。一个关于数值算法的章节涵盖了基础数论、用于求最大公约数的欧几里得算法、模算术、解决模线性方程的算法、计算模幂的算法以及一个判断一个数是否为素数的新多项式时间算法。更新的第五版新增了一个关于遗传算法和遗传编程的章节,包括解决旅行商问题的近似解、一个人工蚂蚁沿食物路径导航的算法以及金融交易的应用。教材还特别更新了练习和实例,并改善了教师资源,包括完整的解决方案、教师手册和 PowerPoint 讲座大纲。关于作者理查德·尼奥波利坦(Richard Neapolitan)的研究兴趣包括概率统计、人工智能、认知科学以及概率建模在医学、生物学和金融等领域的应用。尼奥波利坦博士在全球范围内举办讲座和研讨会,包括澳大利亚和匈牙利。他关于因果学习的在线教程已经被观看超过10,000次,并获得五星级评价(参见http://videolectures.net/kdd/)。尼奥波利坦博士是一位多产的作者,其作品在不确定性推理领域广泛使用且享有盛誉。他已出版六本书,包括1989年的开创性贝叶斯网络文本《专家系统中的概率推理》;此教科书《算法基础》(1996年、1998年、2003年、2011年、2013年),已被翻译成多种语言,是全球最广泛使用的算法教材之一;2004年的《学习贝叶斯网络》;2007年的《金融和营销信息学的概率方法》;2009年的《生物信息学的概率方法》;以及2012年的《当代人工智能》。他的教科书写作方法具有创新性;他的书籍以易于理解复杂概念而闻名,同时保持严谨和引人深思。

成为VIP会员查看完整内容
37
登陆后查看更多精品内容
VIP会员
本周荟萃主题
区块链
区块链(Blockchain)是由节点参与的分布式数据库系统,它的特点是不可更改,不可伪造,也可以将其理解为账簿系统(ledger)。它是比特币的一个重要概念,完整比特币区块链的副本,记录了其代币(token)的每一笔交易。通过这些信息,我们可以找到每一个地址,在历史上任何一点所拥有的价值。
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
计算机网络
计算机网络( Computer Networks )指将地理位置不同的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
微信扫码咨询专知VIP会员