NLP学习新资料:旧金山大学2019夏季自然语言处理课程

2019 年 6 月 11 日 AINLP

推荐一份NLP学习新资料:旧金山大学自然语言处理课程,这门课程将于2019年夏季在旧金山大学数据科学硕士课程中讲授。该课程采用Python教学,使用Jupyter Notebooks,将用到sklearn,nltk,pytorch和fastai。


Github链接,点击阅读原文可直达:

https://github.com/fastai/course-nlp





This course is being taught in the University of San Francisco's Masters of Science in Data Science program, summer 2019. The course is taught in Python with Jupyter Notebooks, using libraries such as sklearn, nltk, pytorch, and fastai.


Table of Contents

The following topics will be covered:

1. What is NLP?

  • A changing field

  • Resources

  • Tools

  • Python libraries

  • Example applications

  • Ethics issues

2. Topic Modeling with NMF and SVD

  • Stop words, stemming, & lemmatization

  • Term-document matrix

  • Topic Frequency-Inverse Document Frequency (TF-IDF)

  • Singular Value Decomposition (SVD)

  • Non-negative Matrix Factorization (NMF)

  • Truncated SVD, Randomized SVD

3. Sentiment classification with Naive Bayes, Logistic regression, and ngrams

  • Sparse matrix storage

  • Counters

  • the fastai library

  • Naive Bayes

  • Logistic regression

  • Ngrams

  • Logistic regression with Naive Bayes features, with trigrams

4. Regex (and re-visiting tokenization)

5. Language modeling & sentiment classification with deep learning

  • Language model

  • Transfer learning

  • Sentiment classification

6. Translation with RNNs

  • Review Embeddings

  • Bleu metric

  • Teacher Forcing

  • Bidirectional

  • Attention

7. Translation with the Transformer architecture

  • Transformer Model

  • Multi-head attention

  • Masking

  • Label smoothing

8. Bias & ethics in NLP

  • bias in word embeddings

  • types of bias

  • attention economy

  • drowning in fraudulent/fake info

Why is this course taught in a weird order?

This course is structured with a top-down teaching method, which is different from how most math courses operate. Typically, in a bottom-up approach, you first learn all the separate components you will be using, and then you gradually build them up into more complex structures. The problems with this are that students often lose motivation, don't have a sense of the "big picture", and don't know what they'll need.

Harvard Professor David Perkins has a book, Making Learning Whole in which he uses baseball as an analogy. We don't require kids to memorize all the rules of baseball and understand all the technical details before we let them play the game. Rather, they start playing with a just general sense of it, and then gradually learn more rules/details as time goes on.

If you took the fast.ai deep learning course, that is what we used. You can hear more about my teaching philosophy in this blog post or this talk I gave at the San Francisco Machine Learning meetup.

All that to say, don't worry if you don't understand everything at first! You're not supposed to. We will start using some "black boxes" and then we'll dig into the lower level details later.

To start, focus on what things DO, not what they ARE.



登录查看更多
8

相关内容

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
93+阅读 · 2020年2月8日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
112+阅读 · 2020年1月15日
专知会员服务
112+阅读 · 2019年12月24日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
81+阅读 · 2019年12月11日
【机器学习课程】Google机器学习速成课程
专知会员服务
161+阅读 · 2019年12月2日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
免费自然语言处理(NLP)课程及教材分享
深度学习与NLP
29+阅读 · 2019年1月18日
在NLP中深度学习模型何时需要树形结构?
全球人工智能
5+阅读 · 2018年3月29日
机器学习线性代数速查
机器学习研究会
18+阅读 · 2018年2月25日
Python机器学习教程资料/代码
机器学习研究会
8+阅读 · 2018年2月22日
【资源】15个在线机器学习课程和教程
专知
8+阅读 · 2017年12月22日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Revealing the Dark Secrets of BERT
Arxiv
4+阅读 · 2019年9月11日
Arxiv
6+阅读 · 2019年7月11日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
23+阅读 · 2017年3月9日
VIP会员
相关VIP内容
【教程】自然语言处理中的迁移学习原理,41 页PPT
专知会员服务
93+阅读 · 2020年2月8日
【斯坦福新课】CS234:强化学习,附课程PPT下载
专知会员服务
112+阅读 · 2020年1月15日
专知会员服务
112+阅读 · 2019年12月24日
【课程推荐】普林斯顿陈丹琦COS 484: 自然语言处理课程
专知会员服务
81+阅读 · 2019年12月11日
【机器学习课程】Google机器学习速成课程
专知会员服务
161+阅读 · 2019年12月2日
强化学习最新教程,17页pdf
专知会员服务
166+阅读 · 2019年10月11日
相关资讯
免费自然语言处理(NLP)课程及教材分享
深度学习与NLP
29+阅读 · 2019年1月18日
在NLP中深度学习模型何时需要树形结构?
全球人工智能
5+阅读 · 2018年3月29日
机器学习线性代数速查
机器学习研究会
18+阅读 · 2018年2月25日
Python机器学习教程资料/代码
机器学习研究会
8+阅读 · 2018年2月22日
【资源】15个在线机器学习课程和教程
专知
8+阅读 · 2017年12月22日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关论文
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Revealing the Dark Secrets of BERT
Arxiv
4+阅读 · 2019年9月11日
Arxiv
6+阅读 · 2019年7月11日
Embedding Logical Queries on Knowledge Graphs
Arxiv
3+阅读 · 2019年2月19日
Conditional BERT Contextual Augmentation
Arxiv
8+阅读 · 2018年12月17日
Arxiv
21+阅读 · 2018年8月30日
Arxiv
23+阅读 · 2017年3月9日
Top
微信扫码咨询专知VIP会员