【O'Reilly TensorFlow World 2019】使用transformer架构的自然语言处理（Natural language processing using transformer architectures），Kiwisoft的机器学习顾问Aurelien Geron

报告主题：Natural language processing using transformer architectures

报告摘要：

无论是否需要自动判断用户评论的观点、总结长文档、翻译文本还是构建聊天机器人，都需要最佳的语言模型。在2018年，几乎每一个NLP基准都被新的基于变压器的架构所击垮，取代了长期存在的基于递归神经网络的架构。简而言之，如果你喜欢NLP，你需要变形金刚。但是要使用transformer，您需要知道它们是什么，基于transformer的架构是什么样子的，以及如何在项目中实现它们。

Aurélien Géron深入复发性神经网络及其限制,transformer的发明,注意力机制,transformer架构,subword标记使用SentencePiece, 自我监督预训练-从巨大的corpor、语言模型,、BERT,、GPT学习和如何使用这些语言在你的项目中使用TensorFlow模型。

邀请嘉宾：

Aurélien Géron是Kiwisoft的机器学习顾问，也是畅销书《与Scikit-Learn、Keras和TensorFlow一起进行机器学习》的作者。此前，他曾领导YouTube的视频分类团队，是Wifirst的创始人和首席技术官，并在多个领域担任顾问:金融(摩根大楼和法国兴业银行)、国防(加拿大国防部)和医疗(输血)。他还出版了一些技术书籍(关于c++、WiFi和互联网架构)，他是巴黎多芬大学的讲师。