这是一门面向高阶研究的课程，主要讲授大语言模型（Large Language Models, LLMs）的基础知识，包括语言模型的架构设计与训练框架，以及 LLM 的能力、应用场景与相关问题。课程将结合最新研究动态，讲解并讨论关于大语言模型的前沿论文。 先修课程要求：学生需具备机器学习相关知识背景（如已修 CSE 417T/517A）。
成为VIP会员查看完整内容
Course Overview
Language Model Architectures
Prompting and In-Context Learning
Language Model Instruction Tuning
Language Model Reasoning (I)
Language Model Reasoning (II)
Language Model Calibration
LLM Hallucination and Solutions
Retrieval Augmentation Generation
Reinforcement Learning with Human Feedback
Efficient Fine-Tuning
Efficient Inference
Long-Context Language Models
Code Language Models
Multimodal Language Models
Language Models as Agents
Language Models and Knowledge Graphs
Language Models for Specialized Domains
Evaluation of Language Models
Detection of LLM Generation
Language Model Bias
Language Model Privacy & Security
相关内容
大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。2023年，大语言模型及其在人工智能领域的应用已成为全球科技研究的热点，其在规模上的增长尤为引人注目，参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处，更加深入地理解人类语言的复杂性。在过去的一年里，大语言模型在吸纳新知识、分解复杂任务以及图文对齐等多方面都有显著提升。随着技术的不断成熟，它将不断拓展其应用范围，为人类提供更加智能化和个性化的服务，进一步改善人们的生活和生产方式。
Arxiv
79+阅读 · 2023年4月4日
Arxiv
142+阅读 · 2023年3月29日
相关VIP内容
相关资讯
相关论文
Arxiv
79+阅读 · 2023年4月4日
Arxiv
142+阅读 · 2023年3月29日
微信扫码咨询专知VIP会员