斯坦福CS224n《基于深度学习的NLP》课程更新,C.Manning主讲

2019 年 1 月 6 日 新智元
斯坦福CS224n《基于深度学习的NLP》课程更新,C.Manning主讲



  新智元报道  



来源:Stanford


编辑:大明

【新智元导读】斯坦福大学官方公布cs224n课程《基于深度学习的自然语言处理》详细安排,主讲人为斯坦福大学人工智能实验室主任,著名计算机科学家Christopher Manning教授,1月份课程阅读材料已公布。本课程自2017  年起开设,2017年该课程视频已公开放出。

近日,斯坦福大学官网公布了2019年度冬季cs224n课程:基于深度学习的自然语言处理的课程安排。本课程主讲人为斯坦福大学人工智能实验室主任,著名计算机科学家Christopher Manning教授。



授课时间和地点:太平洋标准时间每周二/周四,下午4:30-5:50,NVIDIA Auditorium。


本课程从第二周开始,设定数小时的每周辅导时间,包括远程网络辅导,具体时间和地点待定。注册学生的讲座视频届时将在网上公开放出。

 

公开讲座视频:课程完成后,计划在YouTube上公开发布视频。请耐心等待,因为准备视频以供发布需要一些时间。与此同时,2017年冬季课程视频已在YouTube上公开发布。


cs224n官网链接:

http://web.stanford.edu/class/cs224n/index.html


2017年本课程视频观看地址(油管):

https://www.youtube.com/playlist?list=PL3FW7Lu3i5Jsnh1rnUwq_TcylNr7EkRe6

 

资格审核:一般来说,如果是斯坦福社区(本校注册学生、教职员工/教师)的成员,我们很高兴您可以参加讲座。如果课程太满,位置不足,会要求本校注册学生参加。由于申请人数众多,我们无法评估任何未正式报名参加课程的学生的作业或项目。


课程内容


这门课程是讲什么的?

 

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能技术的关键部分。 NLP的应用无处不在,因为人们的交流都要使用语言:在网络搜索、广告、电子邮件、客户服务,语言翻译、医学报告等应用都离不开语言。


近年来,深度学习方法在许多不同的NLP任务中已经具备了极高的性能,这些方法使用单个端到端神经模型,不需要传统的、针对特定的功能的项目。

 

在本课程中,学生将深入了解NLP深度学习的前沿研究现状。通过讲座、作业和期末项目,学习设计、实施和理解构建神经网络模型所需的技能。今年,CS224n将首次使用PyTorch而不是TensorFlow。

 

往年课程资源


本课程于2017开始开设,是之前CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程的合并,官网上有过去几年相关课程的官网链接和学生项目报告,可供参考。



先修课程/知识要求


精通Python

所有类分配都将使用Python(NumPy和PyTorch)。


本教程可能对那些不熟悉Python和/或NumPy的人有用。如果你有很多编程经验,但使用的不同的语言(例如C / C ++ / Matlab / Java / Javascript)也是没问题的。

 

大学微积分、线性代数(例如MATH 51,CME 100)

学生应该习惯于使用多变量导数,并理解矩阵/向量符号和运算。

 

基本概率和统计(例如CS 109或同等课程)

学生应了解概率基础知识、高斯分布、均值、标准差等。

 

具备一定机器学习的基础(例如CS 221或CS 229)

我们将制定成本函数,采用衍生工具并通过梯度下降进行优化。如果学生已经掌握基本的机器学习/深度学习知识,那么理解本课程将会更容易,但这一点不做强制要求,不掌握这些知识也可以上CS224n这门课。

 

这里给出了一些参考资源。

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning


课程表与授课内容已公布,附1月课程阅读材料


目前CS224n的2019年度课程表已经公布,授课时间从1月8日至3月14日,每周二和周四授课。其中1月份课程的建议阅读材料已经给出。

 

按照时间顺序,1月份授课主题分别为:

 

词向量、反向传播、神经网络、依存句法分析、递归神经网络和语言模型、梯度消失和RNN、机器翻译、Seq2Seq和注意力。


更多信息和资源,可访问斯坦福cs224n官网链接:

http://web.stanford.edu/class/cs224n/index.html


【加入社群】


新智元 AI 技术 + 产业社群招募中,欢迎对 AI 技术 + 产业落地感兴趣的同学,加小助手微信号:aiera2015_2  入群;通过审核后我们将邀请进群,加入社群后务必修改群备注(姓名 - 公司 - 职位;专业群审核较严,敬请谅解)。

登录查看更多
3

相关内容

计算机科学(Computer Science, CS)是系统性研究信息与计算的理论基础以及它们在计算机系统中如何实现与应用的实用技术的学科。 它通常被形容为对那些创造、描述以及转换信息的算法处理的系统研究。计算机科学包含很多分支领域;其中一些,比如计算机图形学强调特定结果的计算,而另外一些,比如计算复杂性理论是学习计算问题的性质。还有一些领域专注于挑战怎样实现计算。比如程序设计语言理论学习描述计算的方法,而程序设计是应用特定的程序设计语言解决特定的计算问题,人机交互则是专注于挑战怎样使计算机和计算变得有用、可用,以及随时随地为 所用。 现代计算机科学( Computer Science)包含理论计算机科学和应用计算机科学两大分支。

最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

成为VIP会员查看完整内容
0
63

【导读】本文为大家带来了一份斯坦福大学的最新课程CS224n——自然语言处理与深度学习,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。

近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。本课程使用Pytorch 进行教学。

1. 课程介绍(Description)

自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络搜索、广告、电子邮件、客户服务、语言翻译、虚拟代理、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了非常高的性能,使用不需要传统的、特定于任务的特征工程的单个端到端神经模型。在本课程中,学生将深入了解NLP深度学习的前沿研究。通过讲座、作业和期末专题,学生将学习设计、实施和理解自己的神经网络模型所需的必要技能。作为去年的试点,CS224n将在今年使用Pytorch进行教学。

课程链接:http://web.stanford.edu/class/cs224n/

2. 之前的课程(Previous offerings)

本课程于2017年由早期的CS224n(自然语言处理)和CS224d(自然语言处理与深度学习)课程合并而成。下面你可以找到存档的网站和学生项目报告。

CS224n Websites: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 / Autumn 2014 / Autumn 2013 / Autumn 2012 / Autumn 2011 / Winter 2011 / Spring 2010 / Spring 2009 / Spring 2008 / Spring 2007 / Spring 2006 / Spring 2005 / Spring 2004 / Spring 2003 / Spring 2002 / Spring 2000

CS224n Lecture Videos: Winter 2019 / Winter 2017 CS224n Reports: Winter 2019 / Winter 2018 / Winter 2017 / Autumn 2015 and earlier

CS224d Reports: Spring 2016 / Spring 2015

3. 预备知识(Prerequisites)

1)精通Python

所有的课堂作业都将使用Python(使用NumPy和PyTorch)。如果您需要提醒自己使用Python,或者您对NumPy不是很熟悉,则可以参加第1周的Python复习(在时间表中列出)。如果你有丰富的编程经验,但使用不同的语言(如C/ c++ /Matlab/Java/Javascript),你可能会很好。

2)大学微积分,线性代数(如MATH 51, CME 100)

你应该能够熟练地进行(多变量)求导,理解矩阵/向量符号和运算。

3)基本概率及统计(例如CS 109 或同等课程)

你应该了解基本的概率,高斯分布,均值,标准差等。

4)机器学习的基础(例如CS 221或CS 229)

我们将阐述成本函数,求导数,用梯度下降法进行优化。如果你已经有了基本的机器学习和/或深度学习的知识,课程将会更容易;但是,没有它也可以使用CS224n。在网页、书籍和视频形式中,有很多关于ML的介绍。哈尔·道姆(Hal Daume)正在开设的机器学习课程是一种很好的入门方式。阅读那本书的前5章将是很好的背景知识。知道前7章会更好!

4. 参考书籍(Reference Texts)

所有这些都可以在网上免费阅读:

  • Dan Jurafsky and James H. Martin. Speech and Language Processing (3rd ed. draft)

  • Jacob Eisenstein. Natural Language Processing

  • Yoav Goldberg. A Primer on Neural Network Models for Natural Language Processing

  • Ian Goodfellow, Yoshua Bengio, and Aaron Courville. Deep Learning

  • Delip Rao and Brian McMahan. Natural Language Processing with PyTorch. (requires Stanford login)

如果你没有神经网络方面的背景知识,但无论如何还是想要学习这门课程,你可能会发现这些书中的一本对你提供更多的背景知识很有帮助:

  • Michael A. Nielsen. Neural Networks and Deep Learning

  • Eugene Charniak. Introduction to Deep Learning

5. 主讲:Christopher Manning

克里斯托弗·曼宁(Christopher Manning)是斯坦福大学(Stanford University)计算机科学和语言学系机器学习教授,斯坦福大学人工智能实验室(SAIL)主任。他的研究目标是能够智能处理、理解和生成人类语言材料的计算机。曼宁是将深度学习应用于自然语言处理领域的领军人物,在树递归神经网络、词向量手套模型、情感分析、神经网络依赖分析、神经机器翻译、问答和深度语言理解等领域都有著名的研究成果。他还专注于解析、自然语言推理和多语言处理的计算语言方法,包括斯坦福依赖关系和通用依赖关系的主要开发者。曼宁与人合著了《自然语言处理的统计方法》(Manning and Schütze 1999)和《信息检索》(Manning,Raghavan and Schütze,2008)两本领先的教科书,还合著了关于能性和复杂谓词的语言学专著。他是ACM Fellow,AAAI Fellow,ACL Fellow,也是前ACL主席(2015)。他的研究曾获得ACL、Coling、EMNLP和CHI最佳论文奖。1994年,他在澳大利亚国立大学获得学士学位,在斯坦福大学获得博士学位。在回到斯坦福大学之前,他曾在卡内基梅隆大学和悉尼大学担任教职。他是斯坦福NLP小组的创始人,负责斯坦福大学CoreNLP软件的开发。

个人主页:https://nlp.stanford.edu/~manning/

6. 课程安排

01: 介绍和词向量(Introduction and Word Vectors)

 Gensim字矢量示例(Gensim word vectors example)

02:单词向量2和单词意义(Word Vectors 2 and Word Senses)

03:Python复习课(Python review session)

04:词窗口分类、神经网络和矩阵演算(Word Window Classification, Neural Networks, and Matrix Calculus)

05:反向传播和计算图(Backpropagation and Computation Graphs)

06:语言结构:依存分析(Linguistic Structure: Dependency Parsing)

07:一个句子的概率?递归神经网络和语言模型(The probability of a sentence? Recurrent Neural Networks and Language Models)

08:消失的梯度和花哨的RNNs (Vanishing Gradients and Fancy RNNs)

09:机器翻译,Seq2Seq and Attention (Machine Translation, Seq2Seq and Attention)

10:最终项目的实用技巧(Practical Tips for Final Projects)

11:问答和默认的最终项目(Question Answering and the Default Final Project)

12:NLP的ConvNets(ConvNets for NLP)

13:部分单词(子单词模型)和转换器结构的信息(部分单词(子单词模型)和转换器结构的信息)

14:上下文单词表示(Contextual Word Representations)

15:使用的建模上下文:上下文表示和预训练(Modeling contexts of use: Contextual Representations and Pretraining)

16:自然语言生成(Natural Language Generation)

17:语言参考和共指解析(Reference in Language and Coreference Resolution)

18:AI中的公平和包容(Fairness and Inclusion in AI)

19:选区解析和树递归神经网络(Constituency Parsing and Tree Recursive Neural Networks)

20:NLP以及深度学习的未来(NLP+深度学习的未来)

PPT下载链接:https://pan.baidu.com/s/1opTmkGfaRHF-xBRHGtUIRw 提取码:re2l

成为VIP会员查看完整内容
0
54
小贴士
相关论文
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
15+阅读 · 2019年9月17日
Question Generation by Transformers
Kettip Kriangchaivech,Artit Wangperawong
3+阅读 · 2019年9月14日
Ashutosh Adhikari,Achyudh Ram,Raphael Tang,Jimmy Lin
3+阅读 · 2019年8月22日
X-BERT: eXtreme Multi-label Text Classification with BERT
Wei-Cheng Chang,Hsiang-Fu Yu,Kai Zhong,Yiming Yang,Inderjit Dhillon
11+阅读 · 2019年7月4日
Yiming Cui,Wanxiang Che,Ting Liu,Bing Qin,Ziqing Yang,Shijin Wang,Guoping Hu
11+阅读 · 2019年6月19日
Tianyi Zhang,Varsha Kishore,Felix Wu,Kilian Q. Weinberger,Yoav Artzi
5+阅读 · 2019年4月21日
Chinese Word Segmentation: Another Decade Review (2007-2017)
Hai Zhao,Deng Cai,Changning Huang,Chunyu Kit
4+阅读 · 2019年1月18日
Music Transformer
Cheng-Zhi Anna Huang,Ashish Vaswani,Jakob Uszkoreit,Noam Shazeer,Ian Simon,Curtis Hawthorne,Andrew M. Dai,Matthew D. Hoffman,Monica Dinculescu,Douglas Eck
4+阅读 · 2018年12月12日
Antoine J. -P. Tixier
10+阅读 · 2018年8月30日
Seyed Sajad Mousavi,Michael Schukat,Enda Howley
12+阅读 · 2018年6月23日
Top