本教程全面介绍了大型语言模型(LLMs)的基本概念、构建过程和应用实例,涵盖了以下几个方面:

  1. LLMs的基本概念
  • 定义及区别:介绍了LLMs、语言模型(LM)和预训练语言模型(PLM)之间的区别,强调了LLMs的多用途和涌现能力。
  • 语言模型的目标:包括困惑度(perplexity)等指标的定义和计算方法。
  1. LLMs的构建过程
  • 数据准备:强调了数据源的选择、数据清洗和分词的重要性。
  • 预训练:讨论了大规模数据预训练的过程和成本。
  • 微调与对齐:介绍了指令微调、强化学习人类反馈(RLHF)等技术,讨论了模型对齐与人类价值的关系。
  1. 流行的LLM实现概述
  • 对多个著名的LLM模型(如GPT-4、Llama等)进行比较,分析它们的架构、参数规模和训练成本。
  • 介绍了开源模型和封闭模型在研究和部署中的选择和考虑因素。
  1. 高级话题的快速采样
  • 高效推理与服务:探讨了内存管理和推理效率的改进方法。
  • 外部知识的使用:包括检索增强生成(RAG)和工具使用等技术。
  • 多LLM代理:讨论了多个LLM协作解决复杂任务的未来方向。
  • 负责任的AI:涵盖了可靠性、公平性、问责性、隐私和安全等广泛话题。 本教程通过详细的理论讲解和实践案例,帮助参与者理解LLMs的基本原理和前沿进展,并为未来的研究和应用提供了明确的指导和资源支持。

成为VIP会员查看完整内容
59

相关内容

《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
金融领域大型语言模型综述(FinLLMs)
专知会员服务
64+阅读 · 2月6日
【EMNLP2023教程】自然语言生成,249页ppt
专知会员服务
58+阅读 · 2023年12月9日
【EMNLP2023教程】自然语言处理可视化,200页ppt
专知会员服务
50+阅读 · 2023年12月6日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
大语言模型简明指南
专知会员服务
135+阅读 · 2023年7月29日
UIUC-Gargi《增强型语言模型》,64页ppt与视频
专知会员服务
34+阅读 · 2023年5月12日
专知会员服务
116+阅读 · 2020年12月9日
专知会员服务
34+阅读 · 2020年10月29日
【2023新书】机器学习集成方法,354页pdf
专知
36+阅读 · 2023年4月11日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
【资源】机器学习算法工程师手册(PDF下载)
机器学习算法与Python学习
38+阅读 · 2018年10月14日
NLP自然语言处理(二)——基础文本分析
乐享数据DataScientists
12+阅读 · 2017年2月7日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 7月12日
A Survey of Large Language Models
Arxiv
361+阅读 · 2023年3月31日
Arxiv
60+阅读 · 2023年3月26日
VIP会员
相关VIP内容
《大型语言模型持续学习》综述
专知会员服务
60+阅读 · 4月26日
金融领域大型语言模型综述(FinLLMs)
专知会员服务
64+阅读 · 2月6日
【EMNLP2023教程】自然语言生成,249页ppt
专知会员服务
58+阅读 · 2023年12月9日
【EMNLP2023教程】自然语言处理可视化,200页ppt
专知会员服务
50+阅读 · 2023年12月6日
KnowledGPT:基于知识库的检索和存储访问增强大型语言模型
大语言模型简明指南
专知会员服务
135+阅读 · 2023年7月29日
UIUC-Gargi《增强型语言模型》,64页ppt与视频
专知会员服务
34+阅读 · 2023年5月12日
专知会员服务
116+阅读 · 2020年12月9日
专知会员服务
34+阅读 · 2020年10月29日
相关资讯
【2023新书】机器学习集成方法,354页pdf
专知
36+阅读 · 2023年4月11日
初学者系列:Deep FM详解
专知
108+阅读 · 2019年8月26日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
【资源】机器学习算法工程师手册(PDF下载)
机器学习算法与Python学习
38+阅读 · 2018年10月14日
NLP自然语言处理(二)——基础文本分析
乐享数据DataScientists
12+阅读 · 2017年2月7日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
10+阅读 · 2015年7月1日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员