【导读】来自东北大学自然语言处理实验室 · 小牛翻译的肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu)撰写的《机器翻译:统计建模与深度学习方法》,这是一个教程,目的是对机器翻译的统计建模和深度学习方法进行较为系统的介绍。其内容被编纂成书,可以供计算机相关专业高年级本科生及研究生学习之用,亦可作为自然语言处理,特别是机器翻译相关研究人员的参考资料。本书用tex编写,所有源代码均已开放。

作者:肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu) 单位:东北大学自然语言处理实验室 (NEUNLPLab) / 小牛翻译 (NiuTrans Research) 顾问:姚天顺 (Tianshun Yao) 王宝库 (Baoku Wang) 网站:https://opensource.niutrans.com/mtbook/index.html GitHub:https://github.com/NiuTrans/MTBook

让计算机进行自然语言的翻译是人类长期的梦想,也是人工智能的终极目标之一。自上世纪九十年代起,机器翻译迈入了基于统计建模的时代,发展到今天,深度学习等机器学习方法已经在机器翻译中得到了大量的应用,取得了令人瞩目的进步。

在这个时代背景下,对机器翻译的模型、方法和实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面回顾了近三十年内机器翻译的技术发展历程,并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中,笔者力求用朴实的语言和简洁的实例阐述机器翻译的基本模型和方法,同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用,也可以作为自然语言处理,特别是机器翻译领域相关研究人员的参考资料。

本书共分为七个章节,章节的顺序参考了机器翻译技术发展的时间脉络,同时兼顾了机器翻译知识体系的内在逻辑。各章节的主要内容包括:

  • 第一章:机器翻译简介
  • 第二章:词法、语法及统计建模基础
  • 第三章:基于词的机器翻译模型
  • 第四章:基于短语和句法的机器翻译模型
  • 第五章:人工神经网络和神经语言建模
  • 第六章:神经机器翻译模型
  • 第七章:神经机器翻译实战参加一次比赛

其中,第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍,分别建立了两个机器翻译范式的基础知识体系——统计机器翻译和神经机器翻译。统计机器翻译部分(第三、四章)涉及早期的基于单词的翻译模型,以及本世纪初流行的基于短语和句法的翻译模型。神经机器翻译(第六、七章)代表了当今机器翻译的前沿,内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别的,第七章对一些最新的神经机器翻译方法进行了讨论,为相关科学问题的研究和实用系统的开发提供了可落地的思路。图1展示了本书各个章节及核心概念之间的关系。

用最简单的方式阐述机器翻译的基本思想是笔者所期望达到的目标。但是,书中不可避免会使用一些形式化定义和算法的抽象描述,因此,笔者尽所能通过图例进行解释(本书共320张插图)。不过,本书所包含的内容较为广泛,难免会有疏漏,望读者海涵,并指出不当之处。

目录内容:

Part I 机器翻译基础

机器翻译简介 1.1 机器翻译的概念 1.2 机器翻译简史 1.3 机器翻译现状 1.4 机器翻译方法 1.5 翻译质量评价 1.6 机器翻译应用 1.7 开源项目与评测 1.8 推荐学习资源

词法、语法及统计建模基础 2.1 问题概述 2.2 概率论基础 2.3 中文分词 2.4 n-gram 语言模型 2.5 句法分析(短语结构分析) 2.6 小结及深入阅读

Part II 统计机器翻译 基于词的机器翻译模型 3.1 什么是基于词的翻译模型 3.2 构建一个简单的机器翻译系统 3.3 基于词的翻译建模 3.4 IBM 模型 1-2 3.5 IBM 模型 3-5 及隐马尔可夫模型 3.6 问题分析 3.7 小结及深入阅读

基于短语和句法的机器翻译模型 4.1 翻译中的结构信息 4.2 基于短语的翻译模型 4.3 基于层次短语的模型 4.4 基于语言学句法的模型 4.5 小结及深入阅读

Part III 神经机器翻译 人工神经网络和神经语言建模 5.1 深度学习与人工神经网络 5.2 神经网络基础 5.3 神经网络的张量实现 5.4 神经网络的参数训练 5.5 神经语言模型 5.6 小结及深入阅读

神经机器翻译模型

6.1 神经机器翻译的发展简史 6.2 编码器-解码器框架 6.3 基于循环神经网络的翻译模型及注意力机制 6.4 Transformer 6.5 序列到序列问题及应用 6.6 小结及深入阅读

神经机器翻译实战 —— 参加一次比赛 7.1 神经机器翻译并不简单 7.2 数据处理 7.3 建模与训练 7.4 推断 7.5 进阶技术 7.6 小结及深入阅读

Part IV 附录

附录 A:基准数据集和评价工具 附录 B:IBM模型3-5训练方法

参考文献

成为VIP会员查看完整内容
0
55

相关内容

机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

题目: 基于深度学习的主题模型研究

摘要: 主题模型作为一个发展二十余年的研究问题,一直是篇章级别文本语义理解的重要工具.主题模型善于从一组文档中抽取出若干组关键词来表达该文档集的核心思想,因而也为文本分类、信息检索、自动摘要、文本生成、情感分析等其他文本分析任务提供重要支撑.虽然基于三层贝叶斯网络的传统概率主题模型在过去十余年已被充分研究,但随着深度学习技术在自然语言处理领域的广泛应用,结合深度学习思想与方法的主题模型焕发出新的生机.研究如何整合深度学习的先进技术,构建更加准确高效的文本生成模型成为基于深度学习主题建模的主要任务.本文首先概述并对比了传统主题模型中四个经典的概率主题模型与两个稀疏约束的主题模型.接着对近几年基于深度学习的主题模型研究进展进行综述,分析其与传统模型的联系、区别与优势,并对其中的主要研究方向和进展进行归纳、分析与比较.此外,本文还介绍了主题模型常用公开数据集及评测指标.最后,总结了主题模型现有技术的特点,并分析与展望了基于深度学习的主题模型的未来发展趋势。

成为VIP会员查看完整内容
0
12

主题: Deep Learning with Python

摘要: 《 Python深度学习》第二版全面介绍了使用Python和强大的Keras库进行的深度学习领域。 由Keras的创建者Google AI研究人员FrançoisChollet撰写,此修订版已更新了新章节,新工具和最新研究中的尖端技术。 读者将通过实际示例和直观的说明来加深理解,这些示例使深度学习的复杂性易于理解。

成为VIP会员查看完整内容
0
17

Google AI研究科学家Jacob Eisenstein 博士的自然语言处理领域新书《Introduction to Natural Language Processing》由MIT出版社在10月份发行。在该教材最新版PDF 在 GitHub 上开放。这本书的内容主要分为四大章节,即 NLP 中监督与无监等学习问题、序列与解析树等自然语言的建模方式、语篇语义的理解,以及后这些技术最在信息抽取、机器翻译和文本生成等具体任务中的应用。整本开放书共四部分,19章,587页pdf,是了解最新自然语言处理进展的不可多得的教材。

这本书的主要章节如下可分为四部分:

  • 学习:这一章节介绍了一套机器学习工具,它也是整本教科书对不同问题建模的基础。由于重点在于介绍机器学习,因此我们使用的语言任务都非常简单,即以词袋文本分类为模型示例。第四章介绍了一些更具语言意义的文本分类应用。

  • 序列与树:这一章节将自然语言作为结构化的数据进行处理,它描述了语言用序列和树进行表示的方法,以及这些表示所添加的限制。第 9 章介绍了有限状态自动机(finite state automata)。

  • 语义:本章节从广泛的角度看待基于文本表达和计算语义的努力,包括形式逻辑和神经词嵌入等方面。

  • 应用:最后一章介绍了三种自然语言处理中最重要的应用:信息抽取、机器翻译和文本生成。我们不仅将了解使用前面章节技术所构建的知名系统,同时还会理解神经网络注意力机制等前沿问题。

成为VIP会员查看完整内容
0
81

斯坦福《统计学习要素》一直是机器学习领域公认经典的教材,是一本在机器学习、统计推理和模式识别领域有影响力和被广泛研究的书。而这本书一直没有得到中文翻译。近期由szcf-weiya博士整理翻译的The Elements of Statistical Learning (ESL)的中文翻译、代码实现及其习题解答公开,非常值得学习!

目录

  • 第一章:导言
  • 第二章:监督学习的综述
  • 第三章:回归的线性方法(新:LAR算法和lasso的一般化)
  • 第四章:分类的线性方法(新:逻辑斯蒂回归的lasso轨迹)
  • 第五章:基本的扩展和正则化(新:RKHS的补充说明)RKHS(再生核希尔伯特空间)
  • 第六章:核光滑方法
  • 第七章:模型评估与选择(新:交叉验证的长处与陷阱)
  • 第八章:模型推论与平均
  • 第九章:补充的模型、树以及相关的方法
  • 第十章:Boosting和Additive Trees(新:生态学的新例子,一些材料分到了16章)
  • 第十一章:神经网络(新:贝叶斯神经网络和2003年神经信息处理系统进展大会(NIPS)的挑战)
  • 第十二章:支持向量机和灵活的判别式(新:SVM分类器的路径算法)
  • 第十三章:原型方法和邻近算法
  • 第十四章:非监督学习(新:谱聚类,核PCA,离散PCA,非负矩阵分解原型分析,非线性降维,谷歌pagerank算法,ICA的一个直接方法)
  • 第十五章:随机森林
  • 第十六章:实例学习
  • 第十七章:无向图模型
  • 第十八章:高维问题

项目链接https://esl.hohoweiya.xyz/

成为VIP会员查看完整内容
0
72

本书由Keras之父、现任Google人工智能研究员的弗朗索瓦•肖莱(François Chollet)执笔,详尽介绍了用Python和Keras进行深度学习的探索实践,涉及计算机视觉、自然语言处理、生成式模型等应用。书中包含30多个代码示例,步骤讲解详细透彻。由于本书立足于人工智能的可达性和大众化,读者无须具备机器学习相关背景知识即可展开阅读。在学习完本书后,读者将具备搭建自己的深度学习环境、建立图像识别模型、生成图像和文字等能力。

第一部分 深度学习基础

  • 第1章 什么是深度学习  2
  • 第2章 神经网络的数学基础  20
  • 第3章 神经网络入门  43
  • 第4章 机器学习基础  74

第二部分 深度学习实践

  • 第5章 深度学习用于计算机视觉  94
  • 第6章 深度学习用于文本和序列  147
  • 第7章 高级的深度学习最佳实践  196
  • 第8章 生成式深度学习  226
  • 第9章 总结  265
成为VIP会员查看完整内容
《Python深度学习》2018中文版.pdf
1
147
Top