2019斯坦福CS224n深度学习自然语言处理课程视频和相关资料分享

2019 年 3 月 16 日 AINLP
2019斯坦福CS224n深度学习自然语言处理课程视频和相关资料分享

斯坦福大学2019年新一季的CS224n深度学习自然语言处理课程(CS224n: Natural Language Processing with Deep Learning-Stanford/Winter 2019)1月份已经开课,不过视频资源一直没有对外放出,直到前几天官方在油管上更新了前5节视频:CS224n: Natural Language Processing with Deep Learning | Winter 2019。

这门自然语言处理课程是值得每个NLPer学习的NLP课程,由 Christopher Manning 大神坐镇主讲,面向斯坦福大学的学生,在斯坦福大学已经讲授很多年。此次2019年新课,有很多更新,除了增加一些新内容外,最大的一点大概是代码由Tensorflow迁移到PyTorch:

这几年,由于深度学习、人工智能的概念的普及和推广,NLP作为AI领域的一颗明珠也逐渐广为人知,很多同学由此进入这个领域或者转行进入这个领域。Manning大神在第一堂课的视频开头之处给学生找位子(大概还有很多同学站着),同时开玩笑的说他在斯坦福大学讲授自然语言处理课程的第一个十年,平均每次选课的学生大约只有45个。

这门课程的主要目标是希望学生:能学到现代深度学习相关知识,特别是和NLP相关的一些知识点;能从宏观上了解人类语言以及理解和产生人类语言的难度;能理解和用代码(PyTorch)实习NLP中的一些主要问题和任务,例如词义理解、依存句法分析、机器翻译、问答系统等。

关于课程视频,目前官方只放出了前5节课程视频,我下载了一份放到了百度网盘里,感兴趣的同学可以关注AINLP,回复"cs224n"获取,这份视频会持续更新,直到完整版,欢迎关注:


以下是相关slides和其他阅读材料的相关链接,可以直接从官网下载:

http://web.stanford.edu/class/cs224n/index.html

DATE DESCRIPTION COURSE MATERIALS EVENTS DEADLINES
Tue Jan 8 Introduction and Word Vectors
[slides] [notes]
Gensim word vectors example:
[zip] [preview]
Suggested Readings:


  1. Word2Vec Tutorial - The Skip-Gram Model

  2. Efficient Estimation of Word Representations in Vector Space(original word2vec paper)

  3. Distributed Representations of Words and Phrases and their Compositionality (negative sampling paper)

Assignment 1 out
[zip] [preview]

Thu Jan 10 Word Vectors 2 and Word Senses
[slides] [notes]
Suggested Readings:


  1. GloVe: Global Vectors for Word Representation (original GloVe paper)

  2. Improving Distributional Similarity with Lessons Learned from Word Embeddings

  3. Evaluation methods for unsupervised word embeddings

Additional Readings:

  1. A Latent Variable Model Approach to PMI-based Word Embeddings

  2. Linear Algebraic Structure of Word Senses, with Applications to Polysemy

  3. On the Dimensionality of Word Embedding.



Fri Jan 11 Python review session
[slides]
1:30 - 2:50pm
Skilling Auditorium [map]


Tue Jan 15 Word Window Classification, Neural Networks, and Matrix Calculus
[slides] [matrix calculus notes]
[notes (lectures 3 and 4)]
Suggested Readings:


  1. CS231n notes on backprop

  2. Review of differential calculus

Additional Readings:

  1. Natural Language Processing (Almost) from Scratch

Assignment 2 out
[zip] [handout]
Assignment 1 due
Thu Jan 17 Backpropagation and Computation Graphs
[slides]
[notes (lectures 3 and 4)]
Suggested Readings:


  1. CS231n notes on network architectures

  2. Learning Representations by Backpropagating Errors

  3. Derivatives, Backpropagation, and Vectorization

  4. Yes you should understand backprop



Tue Jan 22 Linguistic Structure: Dependency Parsing
[slides]
[scrawled-on slides]
[notes]
Suggested Readings:


  1. Incrementality in Deterministic Dependency Parsing

  2. A Fast and Accurate Dependency Parser using Neural Networks

  3. Dependency Parsing

  4. Globally Normalized Transition-Based Neural Networks

  5. Universal Stanford Dependencies: A cross-linguistic typology

  6. Universal Dependencies website

Assignment 3 out
[zip] [handout]
Assignment 2 due
Thu Jan 24 The probability of a sentence? Recurrent Neural Networks and Language Models
[slides]
[notes (lectures 6 and 7)]
Suggested Readings:


  1. N-gram Language Models (textbook chapter)

  2. The Unreasonable Effectiveness of Recurrent Neural Networks(blog post overview)

  3. Sequence Modeling: Recurrent and Recursive Neural Nets(Sections 10.1 and 10.2)

  4. On Chomsky and the Two Cultures of Statistical Learning



Tue Jan 29 Vanishing Gradients and Fancy RNNs
[slides] [notes (lectures 6 and 7)]
Suggested Readings:


  1. Sequence Modeling: Recurrent and Recursive Neural Nets(Sections 10.3, 10.5, 10.7-10.12)

  2. Learning long-term dependencies with gradient descent is difficult (one of the original vanishing gradient papers)

  3. On the difficulty of training Recurrent Neural Networks (proof of vanishing gradient problem)

  4. Vanishing Gradients Jupyter Notebook (demo for feedforward networks)

  5. Understanding LSTM Networks (blog post overview)

Assignment 4 out
[zip] [handout] [Azure Guide] [Practical Guide to VMs]
Assignment 3 due
Thu Jan 31 Machine Translation, Seq2Seq and Attention
[slides] [notes]
Suggested Readings:


  1. Statistical Machine Translation slides, CS224n 2015 (lectures 2/3/4)

  2. Statistical Machine Translation (book by Philipp Koehn)

  3. BLEU (original paper)

  4. Sequence to Sequence Learning with Neural Networks (original seq2seq NMT paper)

  5. Sequence Transduction with Recurrent Neural Networks (early seq2seq speech recognition paper)

  6. Neural Machine Translation by Jointly Learning to Align and Translate (original seq2seq+attention paper)

  7. Attention and Augmented Recurrent Neural Networks (blog post overview)

  8. Massive Exploration of Neural Machine Translation Architectures(practical advice for hyperparameter choices)



Tue Feb 5 Practical Tips for Final Projects
[slides][notes]
Suggested Readings:


  1. Practical Methodology (Deep Learning book chapter)



Thu Feb 7 Question Answering and the Default Final Project
[slides]

Project Proposal out
[instructions]


Default Final Project out[handout] [github repo]

Assignment 4 due
Tue Feb 12 ConvNets for NLP
[slides]
Suggested Readings:


  1. Convolutional Neural Networks for Sentence Classification

  2. A Convolutional Neural Network for Modelling Sentences



Thu Feb 14 Information from parts of words: Subword Models
[slides]

Assignment 5 out
[zip (requires Stanford login)] [handout]
Project Proposal due
Tue Feb 19 Modeling contexts of use: Contextual Representations and Pretraining
[slides]
Suggested readings:


  1. Smith, Noah A. Contextual Word Representations: A Contextual Introduction. (Published just in time for this lecture!)



Thu Feb 21 Transformers and Self-Attention For Generative Models
(guest lecture by Ashish Vaswaniand Anna Huang)
[slides]
Suggested readings:


  1. Attention is all you need

  2. Image Transformer

  3. Music Transformer: Generating music with long-term structure



Fri Feb 22

Project Milestone out
[instructions]
Assignment 5 due
Tue Feb 26 Natural Language Generation
[slides]



Thu Feb 28 Reference in Language and Coreference Resolution
[slides]



Tue Mar 5 Multitask Learning: A general model for NLP? (guest lecture by Richard Socher)
[slides]


Project Milestone due
Thu Mar 7 Constituency Parsing and Tree Recursive Neural Networks
[slides]
Suggested Readings:


  1. Parsing with Compositional Vector Grammars.

  2. Constituency Parsing with a Self-Attentive Encoder



Tue Mar 12 Safety, Bias, and Fairness (guest lecture by Margaret Mitchell)
[slides]



Thu Mar 14 Future of NLP + Deep Learning
[slides]



Sun Mar 17


Final Project Report due[instructions]
Wed Mar 20 Final project poster session
[details]
5:15 - 8:30pm
McCaw Hall at the Alumni Center [map]

Project Poster/Video due[instructions]

点击阅读原文可直达原文链接,下载更方便。


登录查看更多
7

相关内容

斯坦福大学(StanfordUniversity)位于加利福尼亚州,临近旧金山,占地35平方公里,是美国面积第二大的大学。它被公认为世界上最杰出的大学之一,相比美国东部的常春藤盟校,特别是哈佛大学、耶鲁大学,斯坦福大学虽然历史较短,但无论是学术水准还是其他方面都能与常春藤名校相抗衡。斯坦福大学企业管理研究所和法学院在美国是数一数二的,美国最高法院的9个大法官,有6个是从斯坦福大学的法学院毕业的。

最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

成为VIP会员查看完整内容
0
45

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

课程链接:http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

  • Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

  • Michael A. Nielsen. Neural Networks and Deep Learning

  • Eugene Charniak. Introduction to Deep Learning

5. 主讲:Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授,斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物,在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法,包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》(Manning and Schütze 1999)和《信息检索》(Manning,Raghavan and Schütze,2008)两本领先的教科书,还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow,AAAI Fellow,ACL Fellow,也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年,他在澳大利亚国立大学获得学士学位,在斯坦福大学获得博士学位。在回到斯坦福大学之前,他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人,负责斯坦福大学CoreNLP软件的开发。

个人主页:https://nlp.stanford.edu/~manning/

6. 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

 Gensim字矢量示例(Gensim word vectors example)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

PPT下载链接:https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码:re2l

成为VIP会员查看完整内容
0
42
小贴士
相关论文
Heterogeneous Deep Graph Infomax
Yuxiang Ren,Bo Liu,Chao Huang,Peng Dai,Liefeng Bo,Jiawei Zhang
6+阅读 · 2019年11月19日
Sheng Shen,Zhen Dong,Jiayu Ye,Linjian Ma,Zhewei Yao,Amir Gholami,Michael W. Mahoney,Kurt Keutzer
3+阅读 · 2019年9月12日
Liang Yao,Chengsheng Mao,Yuan Luo
4+阅读 · 2019年9月11日
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
3+阅读 · 2019年8月22日
Rui Zhu,Chenglin Li,Di Niu,Hongwen Zhang,Husam Kinawi
4+阅读 · 2018年12月11日
Attend More Times for Image Captioning
Jiajun Du,Yu Qin,Hongtao Lu,Yonghua Zhang
3+阅读 · 2018年12月8日
Image Captioning based on Deep Reinforcement Learning
Haichao Shi,Peng Li,Bo Wang,Zhenyu Wang
4+阅读 · 2018年9月13日
Antoine J. -P. Tixier
8+阅读 · 2018年8月30日
Qiuyuan Huang,Li Deng,Dapeng Wu,Chang Liu,Xiaodong He
6+阅读 · 2018年2月20日
Diksha Khurana,Aditya Koli,Kiran Khatter,Sukhdev Singh
4+阅读 · 2017年8月17日
Top