CMU 神经网络 NLP 更新 | 第三讲：词向量和词模型

AI 研习社获得官方授权，汉化翻译卡耐基梅隆大学的11-747神经网络自然语言处理（2019春季），今天上线第三讲！

我们先来一睹为快——

第三讲

词向量和词模型

  新课预告

如果你关注NLP领域，怎能错过这一课程：《CS224n 斯坦福深度自然语言处理》，不久前斯坦福大学在官方的油管频道上已经上传了最新版本的CS224n2019年课程。

  课程介绍

该课程是CMU语言技术学院和计算机学院联合开课，主要内容是教学生如何用神经网络做自然语言处理。神经网络对于语言建模任务而言，可以称得上是提供了一种强大的新工具，与此同时，神经网络能够改进诸多任务中的最新技术，将过去不容易解决的问题变得轻松简单。

本课程将首先简要介绍神经网络，然后花费大部分课程的时间，向大家演示——如何将神经网络应用于自然语言问题。每次课程都将讨论到自然语言中的特定问题或现象，向大家描述建模之所以很难的原因，并且演示一些能够解决该问题的模型。在此过程中，本课程还会涵盖的话题有——在创建神经网络模型中效果不错的各类技术，包括处理可变大小和结构化的句子，有效处理大数据，半监督和无监督学习，结构化预测等。

  先修要求

学生必须了解 11-711“NLP算法”或同等学力课程知识、如果你没有学过11-711，我希望你有足够的NLP背景，能够完成相关任务（例如关于n-gram语言建模，CKY解析和单词对齐）。

  课程大纲

第一讲：课程介绍 & 使用神经网络做自然语言处理的原因

第二讲：简单练习 ：预测句子中的下一个单词

第三讲：词向量和词模型

第四讲：针对语言的卷积神经网络

第五讲：语句或语言建模的循环神经网络

第六讲：条件生成

第七讲：注意力机制

第八讲：语句和上下文词语的表示

第九讲：调试用于自然语言处理的神经网络

第十讲：使用局部独立假设的结构化预测  

第十一讲：强化学习

第十二讲：使用局部独立假设的结构化预测 

第十三讲：模型解读 

第十四讲：潜在随机变量 

第十五讲：文本的对抗方法 

第十六讲：基于转换的句法分析模型

第十七讲：使用动态规划的句法分析 

第十八讲：神经语义分析 

第十九讲：无监督和半监督结构学习 

第二十讲：对话模型 

第二十一讲：文档级模型 

第二十二讲：知识图谱学习 

第二十三讲：使用神经网络的机器阅读 

第二十四讲：多任务多语言学习模型 

第二十五讲：高阶搜索算法

  译者评价

挺好的，延伸性强，会讲每个知识点的应用要点，并探讨最新的paper在相关问题上的进展。CMU的教授是挺生猛的，需要学生的素质也高。

@孙稚昊 

是一个不错的补充吧。我目前也在youtube上看，感觉课程内容资源都挺丰富的。一些细节讲的也不错，和之前的cs224n互相补充我觉得挺好的。

@卢嘉杰 

老师讲解非常详细，深入浅出，NLP那个导论 我觉得授课的老师 重在让学生 通过兴趣自我驱动 结合授课完成相关的作业 

 @胡瑛皓

卡耐基梅隆大学出品，必属精品。老师的知识面非常广，同时也非常前沿。

@吴说

课件很不错，覆盖面广，同时也包含了很多深入研读的资料；课程层次清晰，不懂深度学习的学起来也不会太困难；

@孙昊

  课程截图

点击阅读原文，查看 AI 第一高校 CMU 的「神经网络 NLP」课，中英字幕独家上线！