在2023年3月，我们发表了大语言模型综述文章《A Survey of Large Language Models》。这篇综述文章已经更新到第13个版本，包含了83页的正文内容，并收录了900余篇参考文献。该综述文章旨在系统地梳理大语言模型的研究进展与核心技术，讨论了大量的相关工作。自大语言模型综述的预印本上线以来，受到了不少读者的关注。
自英文综述文章上线后，陆续有读者询问是否有对应的中文版本。为此，我们于2023年8月发布了该综述的中文翻译版。为了更好地提供大模型技术的中文参考资料，我们于2023年12月底继续启动了中文书的编写工作，并且于近日完成初稿。与英文综述文章的定位不同，中文版书籍更注重为大模型技术的入门读者提供讲解，为此我们在内容上进行了大幅度的更新与重组，力图展现一个整体的大模型技术框架和路线图。本书适用于具有深度学习基础的高年级本科生以及低年级研究生使用，可以作为一本入门级的技术书籍。
中文书项目链接：
中文书下载链接1：
****https://github.com/LLMBook-zh/LLMBook-zh.github.io/blob/main/LLMBook.pdf
中文书下载链接2：
********http://aibox.ruc.edu.cn/zws/index.htm
全书章节组织：
一、背景与基础知识
第一章 引言（大模型发展历程、重要技术概览） 第二章 基础介绍（Scaling Law、GPT系列模型发展历程） 第三章 大模型资源（开源模型、数据、代码库） 二、预训练
第四章 数据准备（数据收集、清洗、配比、课程方法） 第五章 模型架构（Transformer 结构、大模型主流架构、细节改进） 第六章 模型预训练（预训练任务、优化参数设置、并行训练方法） 三、微调与对齐
第七章 指令微调（指令数据收集与合成方法、指令微调策略与作用） 第八章 人类对齐（3H标准、RLHF算法、非RL算法） 四、大模型使用
第九章 解码与部署（解码生成算法、解码加速算法、模型压缩算法） 第十章 提示学习（基础提示方法、上下文学习、思维链） 第十一章 规划与智能体（复杂规划方法、智能体搭建方法） 五、评测与应用
第十二章 评测（评测指标与方法、基础与高级能力评测、评测体系） 第十三章 应用（概览研究领域与专业领域的应用）
大语言模型发展时间线
LLaMA 系列模型的衍生工作进化图
在本书撰写过程中，我们收到了来自许多同行的大量修改意见，在此一并表示感谢，希望大家一如既往支持与关注我们的大模型中文书，您的支持与反馈将是我们前行最大的动力。本书的初版仅是一个起点，我们计划在网上持续进行内容的更新和完善，并特别欢迎读者提出宝贵的批评与建议，也会同步在网站上对于提出宝贵建议的读者进行致谢。如果您有任何意见、评论以及建议，请通过GitHub的Issue页面（https://github.com/LLMBook-zh/LLMBook-zh.github.io/issues）或邮箱进行反馈。
为了更好地整理和传播大模型技术的最新进展与技术体系，我们为读者提供了以下配套资源，供读者在阅读本书时进行参考和使用。
**大模型代码工具库：**我们开发了一个全面的代码工具库LLMBox，专门用于开发和实现大语言模型，其基于统一化的训练流程和全面的模型评估框架。LLMBox旨在成为训练和利用大语言模型的一站式解决方案，其内部集成了大量实用的功能，实现了训练和利用阶段高度的灵活性和效率。工具库链接：https://github.com/RUCAIBox/LLMBox。
**
**
**YuLan大模型：**YuLan系列模型是中国人民大学高瓴人工智能学院师生共同开发的支持聊天的大语言模型（名字“玉兰”取自中国人民大学校花）。最新版本从头完成了整个预训练过程，并采用课程学习技术基于中英文双语数据进行有监督微调，包括高质量指令和人类偏好数据。模型链接：https://github.com/RUC-GSAI/YuLan-Chat。
**
**
本书各章节的主要负责人和参与人名单如下：
第三章的负责人是闵映乾和杨晨，参与人有李军毅、周昆； * 第四章的负责人是张君杰、侯宇蓬和周昆； * 第五章的负责人是董梓灿，参与人有田震和唐天一； * 第六章的负责人是唐天一和陈昱硕； * 第七章的负责人是唐天一，参与人有成晓雪； * 第八章的负责人是李军毅和陈志朋； * 第九章的负责人是陈昱硕、刘沛羽和唐天一，参与人有周昆； * 第十章的负责人是李军毅、汤昕宇和都一凡； * 第十一章的负责人是任瑞阳和蒋锦昊，参与人有李军毅； * 第十二章的负责人是张北辰和周昆，参与人有张高玮； * 第十三章的负责人是周昆，参与人（按拼音字母排序）有蒋锦昊、李依凡、刘子康、孙文奇、王禹淏、徐澜玲、杨锦霞和郑博文。
同时感谢其他所有参与本书编写、校对的同学和老师们。
【书籍】大语言模型
在过去的二十年中，数字孪生（DTs）已成为工业生产和日常生活未来发展的智能代表。本综合手册包括超过50章节，由100多位贡献者撰写，解释了DTs的概念、架构、设计规范和应用场景。 作为一个过程、产品或服务的虚拟模型，以匹配虚拟与现实世界，DTs通过使用模拟来允许数据分析和系统监控。这一快速增长的技术近年来已被广泛研究和开发。以集中化、完整性和动态性为特点，它是推动创新和性能的成本效益选择。许多领域已看到其在工业生产、医疗保健、智慧城市、交通和物流中的适应和实施。如西门子、特斯拉、ANSYS和通用电气等世界著名企业已建立智能工厂并引领数字生产，迈向工业4.0。 本书旨在为该领域的技术人员、相关专业的学生和学者以及对智能工业制造感兴趣的普通读者提供DTs的深入理解和参考。
关于作者 吕智汉博士是瑞典乌普萨拉大学游戏设计系副教授。他同时是IEEE高级会员、英国计算机学会会员、ACM杰出演讲者、斯坦福大学科学影响排名终身前2%的科学家、玛丽·居里学者、Clarivate高被引科学家和Elsevier高被引中国研究者。他已发表300篇学术论文，其中包括90多篇IEEE/ACM Transactions论文。他是《物联网与网络物理系统》（KeAi出版）的主编，同时是多个期刊的副主编，包括ACM TOMM、IEEE TITS、IEEE TNSM、IEEE TCSS、IEEE TNSE和IEEE CEM。他已审阅400篇论文。他已获得来自中国、欧洲和IEEE的20多个奖项。他已为欧洲和中国的大学和公司做过80多次邀请报告。他在国际会议上发表了20次主旨演讲。
《算法基础》第五版提供了算法设计、算法复杂度分析和计算复杂性的均衡介绍。适合具有大学代数和离散结构背景的计算机科学学生使用。该教材使用标准英语和简单符号来最大化数学概念的可访问性和用户友好性。它包括具体实例和复习基本数学概念的附录，旨在加强理论解释，促进学习和记忆。书中使用 C++ 和 Java 伪代码帮助学生更好地理解复杂的算法。一个关于数值算法的章节涵盖了基础数论、用于求最大公约数的欧几里得算法、模算术、解决模线性方程的算法、计算模幂的算法以及一个判断一个数是否为素数的新多项式时间算法。更新的第五版新增了一个关于遗传算法和遗传编程的章节，包括解决旅行商问题的近似解、一个人工蚂蚁沿食物路径导航的算法以及金融交易的应用。教材还特别更新了练习和实例，并改善了教师资源，包括完整的解决方案、教师手册和 PowerPoint 讲座大纲。关于作者理查德·尼奥波利坦（Richard Neapolitan）的研究兴趣包括概率统计、人工智能、认知科学以及概率建模在医学、生物学和金融等领域的应用。尼奥波利坦博士在全球范围内举办讲座和研讨会，包括澳大利亚和匈牙利。他关于因果学习的在线教程已经被观看超过10,000次，并获得五星级评价（参见http://videolectures.net/kdd/）。尼奥波利坦博士是一位多产的作者，其作品在不确定性推理领域广泛使用且享有盛誉。他已出版六本书，包括1989年的开创性贝叶斯网络文本《专家系统中的概率推理》；此教科书《算法基础》（1996年、1998年、2003年、2011年、2013年），已被翻译成多种语言，是全球最广泛使用的算法教材之一；2004年的《学习贝叶斯网络》；2007年的《金融和营销信息学的概率方法》；2009年的《生物信息学的概率方法》；以及2012年的《当代人工智能》。他的教科书写作方法具有创新性；他的书籍以易于理解复杂概念而闻名，同时保持严谨和引人深思。
深度学习“黑匣子”之探索。这本全面且详尽的指南揭示了深度学习模型背后的数学和架构概念，使您能够更有效地定制、维护和解释它们。在《深度学习的数学和架构》一书中，您将找到：
- 数学、理论与编程原则并重
- 深度学习的线性代数、向量微积分和多变量统计
- 神经网络的结构
- 使用Python和PyTorch实现深度学习架构
- 故障排除表现不佳的模型
- 可下载的Jupyter笔记本中的工作代码样本
深度学习模型背后的数学范式通常始于难以阅读的学术论文，使工程师对这些模型的实际功能一无所知。《深度学习的数学和架构》一书弥合了理论与实践之间的鸿沟，将深度学习的数学与Python和PyTorch的实际实现并列展示。由深度学习专家Krishnendu Chaudhury撰写，您将窥视“黑匣子”内部，理解您的代码如何工作，并学会如何将前沿研究转化为实际应用。 序言作者：Prith Banerjee。 购买纸质书包括从Manning出版社免费获取PDF、Kindle和ePub格式的电子书。 关于技术 探索黑匣子内部的秘密！在使用深度学习时，您需要选择正确的模型，训练它，预处理您的数据，评估性能和准确性，并处理部署解决方案的输出中的不确定性和变异性。本书将系统地引导您了解作为工作数据科学家所需的核心数学概念：向量微积分、线性代数和贝叶斯推断，都是从深度学习的角度出发。 关于本书 《深度学习的数学和架构》教授深度学习模型的数学、理论和编程原则，并将它们并列展示，然后通过带注释的Python代码将它们付诸实践。您将从代数、微积分和统计学一路进展到采用最新研究成果的前沿DL架构。 书中内容
- 神经网络的核心设计原则
- 使用Python和PyTorch实现深度学习
- 规范化和优化表现不佳的模型
关于读者 读者需要了解Python及代数和微积分的基础知识。 关于作者 Krishnendu Chaudhury是AI初创公司Drishti Technologies的联合创始人兼首席技术官。他此前在Google和Adobe各工作了十年。 目录
- 机器学习和深度学习概述
- 机器学习中的向量、矩阵和张量
- 分类器和向量微积分
- 机器学习中的线性代数工具
- 机器学习中的概率分布
- 机器学习中的贝叶斯工具
- 函数近似：神经网络如何模拟世界
- 训练神经网络：前向传播和反向传播
- 损失、优化和规范化
- 神经网络中的卷积
- 用于图像分类和对象检测的神经网络
- 流形、同胚和神经网络
- 全贝叶斯模型参数估计
- 潜在空间和生成建模，自编码器和变分自编码器 A 附录
书籍描述不只是谈论人工智能，而是构建它：您的大语言模型（LLMs）应用开发指南 主要特性
- 探索自然语言处理（NLP）基础和大语言模型基本原理，包括基础知识、挑战和模型类型。
- 学习数据处理和预处理技术，以实现高效的数据管理。
- 了解神经网络概述，包括神经网络基础、循环神经网络（RNNs）、卷积神经网络（CNNs）和变压器模型。
- 利用大语言模型的策略和示例。
描述通过强大的大语言模型（LLMs）改变您的业务景观。本书为您提供实用的见解，指导您从构思、设计到实施有影响力的LLM驱动的应用程序。 本书探讨了NLP的基础知识，如应用、演变、组件和语言模型。它教授数据预处理、神经网络和特定架构如RNNs、CNNs和变压器。它解决了训练挑战，介绍了如生成对抗网络（GANs）、元学习的高级技术，并引入了如GPT-3和BERT的顶级LLM模型。它还涵盖了提示工程。最后，它展示了LLM的应用，并强调了负责任的开发和部署。 有了这本书作为您的指南，您将能够导航不断发展的LLM技术景观，通过最新的进展和行业最佳实践保持领先地位。 你将学到什么
- 掌握自然语言处理（NLP）应用的基础。
- 探索变换器等先进架构及其应用。
- 掌握有效训练大语言模型的技术。
- 实施高级策略，如元学习和自监督学习。
- 学习构建自定义语言模型应用的实际步骤。
这本书适合谁本书适合那些希望精通大语言模型的人，包括经验丰富的研究人员、数据科学家、开发人员和自然语言处理（NLP）领域的从业者。 目录
- 自然语言处理的基础
- 语言模型简介
- 语言建模的数据收集和预处理
- 语言建模中的神经网络
- 语言建模的神经网络架构
- 用于语言建模的变换器模型
- 训练大语言模型
- 语言建模的高级技术
- 顶级大语言模型
- 构建首个LLM应用
- LLMs的应用
- 伦理考虑
- 提示工程
- LLMs及其影响的未来
关于作者Sanket Subhash Khandare是一位充满活力和有影响力的技术执行官，拥有超过18年的产品领导和企业家精神经验。值得注意的是，他一直在领导各种人工智能倡议，主要是在大语言模型（LLMs）方面，同时优先考虑真正的客户价值而非仅将AI集成到解决方案中。他在通过创新的基于SaaS的产品扩大技术公司规模、推动高速增长方面有着良好的记录。
微信扫码咨询专知VIP会员