干货 | 谷歌2019最火NLP模型Bert应用详解

2019 年 4 月 3 日 全球人工智能
干货 | 谷歌2019最火NLP模型Bert应用详解

Q:为什么2019年的NLP会这么的骚!

A:因为在过去的一年 NLP 领域为人工智能行业带来了以下突破性进展:


1. 迁移学习在 NLP 的成功应用;

2. ELMo (Embeddings from Language Models),改进了 word2vec 或 GloVe 等Context-Free的Embedding模型。

3. GPT(Generative Pretrained Model),BERT (Bidirectional Encoder Representations from Transformers),MT-DNN(Multi-Task DNN)、GPT-2等基于上下文的预训练NLP模型不断刷新各项NLP任务State-of-Art的榜单。

4. 贪心学院开设了免费的NLP系列公开课!



小编本周联合贪心学院放大招~

本周我们将在公开课中,

首次为大家讲述2019年NLP领域最火的模型Bert!


Google团队在2018年发布了撼动自然语言处理(NLP)领域的Bert模型。在模型开源后的短短几个月时间里,已经有学者表示Bert为人工智能的发展带来了里程碑式的意义。


然而Bert是否是被吹的神乎其神?它可以被应用在哪些场景?它又有着怎么样的局限性?想要理解Bert模型,首先我们需要把attention和transformer的原理讲清楚。


这节公开课,我们将已经从Bert的诞生开始,带你扒一扒学完就可以去面试Google的Bert模型。



  AI系列公开课



详解2019年最火的NLP模型【Bert】:

Self-Attention, Transformer以及Bert



内容介绍



  1. Bert模型应用场景介绍

  2. 自然语言处理中的预训练:ELMO & Bert

  3. RNN/LSTM模型介绍与梯度问题

  4. 从LSTM到Transformer, Self-Attention

  5. OpenAI & Transformer-Encoder, Bert

  6. Bert的模型训练与多场景应用




主讲人介绍



李文哲

贪心科技创始人兼CEO


美国南加州大学博士,曾任凡普金科(爱钱进)首席科学家,美国亚马逊/高盛高级工程师,AI量化投资公司首席科学家兼投资总监。在AAAI, KDD, AISTATS等顶会上发表过15篇以上论文,其中3篇获得Best Paper Award,累计数百次引用。

扫码人有点多,小姐姐忙不过来

请直接添加微信号:tx900180


每期公开课具体主题由学员投票决定



   AI系列公开课一


如何搭建一个聊天机器人

 -各类架构剖析及实现



内容介绍


  1. 聊天机器人的种类与评估

  2. 基于检索的方法论

  3. 基于模式匹配的方法论

  4. 基于意图识别的方法论

  5. 基于端到端的方法论


  AI系列公开课二



如何给文章自动生成摘要

(Text Summarization)



内容介绍



  1. 是自动生成摘要?

  2. 主要的应用场景

  3. 基于抽取式的方法(Extractive)

  4. 实战案例:利用抽取式方法编写简单的Summarizer

  5. 基于生成式的方法(Abstractive)



  AI系列公开课三



信息抽取领域中的利器

 -命名实体识别技术与应用



内容介绍



  1. 什么是命名实体识别?

  2. 命名实体的应用场景

  3. 从文章中识别实体

  4. 案例:简历中提取实体

  5. 基于自身的场景训练命名实体识别器





   AI系列公开课四



作为一名AI从业者,你不得不知道的三个概念:

MLE,MAP和贝叶斯估计



内容介绍


  1. 用一个例子来形象地说明三者之间的区别

  2. 详谈MLE与MAP

  3. Ridge Regression与LASSO

  4. 不同先验概率与正则关系

  5. 贝叶斯估计的挑战

  6. 浅谈蒙特卡洛算法




更多NLP公开课等你来听.....


  • 文本的表示:从词袋模型到词向量

  • 机器学习中的 MLE vs MAP vs 贝叶斯估计

  • 零基础搭建简单的问答系统

  • 怎么用知识图谱做金融风控系统

  • 利用端到端的学习搭建无人驾驶系统

  • 搭建一个简单的目标检测系统

  • 可解释性:深入浅出深度学习中的可视化

  • 一小时弄清楚什么是卷积神经网络

  • 特征工程:细聊风控中的特征工程技术

  • 自适应系统的核心:Knowledge Tracing

  • 利用Seq2Seq模型来构建机器翻译系统

  • 一个小时弄清凸优化技术以及其应用场景

  • 零基础入门双曲空间中的图嵌入

  • 主题模型LDA的详解

  • 从本质理解深度学习为什么需要“深”?

  • AI领域的研究怎么做,怎么高效发论文?

  • 公司怎么转型AI,需要什么样的AI人才?

  • 自动化代码的生成、批改、代码嵌入

  • 推荐系统中的常见算法介绍

  • 随机梯度下降法中的收敛理论

  • SGD, Adagrad, Adam算法的详细比较

  • 一小时实现图像中的风格迁移

  • 一小时实现语音中的情绪识别

  • 图嵌入算法详解以及引用

  • 自适应系统所涉及到的技术要点

  • 用目标检测和跟踪算法分析英雄联盟视频

  • 一小时用Keras搭建人脸识别系统

  • Google的最新作品BERT模型详解以及实现

  • 一小时实现机器自动写代码系统

  • (持续更新中。。)


如果数学,编程,PYTHON语言这些基础,你一点都没有,恭喜你,你将收获这四门公开课98%的营养精华!这波稳赚~



报名方式

扫描海报二维码小姐姐加你进群
参加免费NLP公开课

扫码人有点多,小姐姐忙不过来

请直接添加微信号:tx900180


公开课导师阵容


李文哲: 美国南加州大学博士,曾任凡普金科(爱钱进)首席科学家,美国亚马逊/高盛高级工程师,AI量化投资公司首席科学家兼投资总监。在AAAI, KDD, AISTATS等顶会上发表过15篇以上论文,其中3篇获得Best Paper Award,累计数百次引用。


袁源美国新泽西理工博士,美国微软和美国亚马逊的资深推荐专家和技术负责人、主导多款核心推荐系统的研发,是人工智能、分布式系统、云计算方面的专家。拥有14年人工智能、推荐系统、自然语言处理、数字图像和视频处理项目经验。在AI会议上发表过20篇以上论文。

蓝振忠:美国卡耐基梅龙大学博士。现任Google科学家,曾任美国智能监控公司的首席科学家, 对视频和多媒体的智能分析有深入研究。他曾代表卡耐基梅隆大学在美国国家标准总局(NIST)举办的视频智能分析大赛中连续多年进入前三。先后在NIPS、CVPR、ICCV、IJCAI、ICDM等国际顶级会议上发表过25篇以上的论文,论文引用次数上千。


史源:美国南加州大学博士,美国AI基金创始人,拥有10多年人工智能领域相关研发和研究经历。卡耐基梅隆大学访问学者,先后在 ICML、AAAI、IJCAI、ICDM等国际顶级会议上发表数篇论文,引用次数高达1000。


周景阳:曾任百度资深工程师,国美和凡普金科的技术负责人。是技术领域、数据分析、知识图谱、视觉等领域的专家。


葛瀚骋美国Texas A&M大学博士,美国亚马逊Alexa部门资深科学家,负责Alexa的智能化以及个性化的研发与应用,曾任职于美国ebay以及NEC北美实验室。主要的研究涉及到Tensor、社交分析、推荐系统等领域,在KDD、AAAI、SIGIR、RecSys等国际顶级会议上发表15篇以上的论文,数百次的引用。


Q: 如何参与之后的公开课?


扫描下面二维码(或海报)小姐姐拉你进群
加入免费AI公开课

扫码人有点多,小姐姐忙不过来

请直接添加微信号:tx900180


晒一下好评




我们是谁?: 我们是一家专注于人工智能领域的在线教育公司,由一群有情怀的硅谷科学家来创办。我们提供最专业的AI课程以及每周4-5期的免费AI类公开课。关注此公众号(“贪心科技AI”)可以获得相关的信息。

登录查看更多
7

相关内容

BERT全称Bidirectional Encoder Representations from Transformers,是预训练语言表示的方法,可以在大型文本语料库(如维基百科)上训练通用的“语言理解”模型,然后将该模型用于下游NLP任务,比如机器翻译、问答。
小贴士
相关资讯
一文详解Google最新NLP模型XLNet
PaperWeekly
16+阅读 · 2019年7月1日
【干货】BERT模型的标准调优和花式调优
新智元
9+阅读 · 2019年4月26日
美国AI科学家的100堂NLP公开课~
深度学习与NLP
4+阅读 · 2019年3月18日
3分钟看懂史上最强NLP模型BERT
机器学习算法与Python学习
6+阅读 · 2019年2月27日
详解谷歌最强NLP模型BERT(理论+实战)
AI100
9+阅读 · 2019年1月18日
从 Word Embedding 到 Bert:一起肢解 Bert!
人工智能头条
15+阅读 · 2018年12月11日
博客 | 谷歌最强 NLP 模型 BERT 解读
AI研习社
4+阅读 · 2018年10月28日
详细解读谷歌新模型 BERT 为什么嗨翻 AI 圈
人工智能头条
10+阅读 · 2018年10月25日
谷歌最强 NLP 模型 BERT 解读
雷锋网
6+阅读 · 2018年10月23日
解读谷歌最强NLP模型BERT:模型、数据和训练
未来产业促进会
5+阅读 · 2018年10月20日
相关论文
Heterogeneous Graph Transformer
Ziniu Hu,Yuxiao Dong,Kuansan Wang,Yizhou Sun
17+阅读 · 2020年3月3日
Eric Wallace,Yizhong Wang,Sujian Li,Sameer Singh,Matt Gardner
5+阅读 · 2019年9月17日
K-BERT: Enabling Language Representation with Knowledge Graph
Weijie Liu,Peng Zhou,Zhe Zhao,Zhiruo Wang,Qi Ju,Haotang Deng,Ping Wang
15+阅读 · 2019年9月17日
Sheng Shen,Zhen Dong,Jiayu Ye,Linjian Ma,Zhewei Yao,Amir Gholami,Michael W. Mahoney,Kurt Keutzer
3+阅读 · 2019年9月12日
A Simple BERT-Based Approach for Lexical Simplification
Jipeng Qiang,Yun Li,Yi Zhu,Yunhao Yuan
5+阅读 · 2019年7月16日
Jacob Devlin,Ming-Wei Chang,Kenton Lee,Kristina Toutanova
9+阅读 · 2019年5月24日
Tianyi Zhang,Varsha Kishore,Felix Wu,Kilian Q. Weinberger,Yoav Artzi
5+阅读 · 2019年4月21日
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Jinhyuk Lee,Wonjin Yoon,Sungdong Kim,Donghyeon Kim,Sunkyu Kim,Chan Ho So,Jaewoo Kang
5+阅读 · 2019年2月3日
Conditional BERT Contextual Augmentation
Xing Wu,Shangwen Lv,Liangjun Zang,Jizhong Han,Songlin Hu
8+阅读 · 2018年12月17日
Music Transformer
Cheng-Zhi Anna Huang,Ashish Vaswani,Jakob Uszkoreit,Noam Shazeer,Ian Simon,Curtis Hawthorne,Andrew M. Dai,Matthew D. Hoffman,Monica Dinculescu,Douglas Eck
4+阅读 · 2018年12月12日
Top