2012年,我回到清华大学语音语言技术中心(CSLT)任教,继续关于语音和语言信息处理领域的研究。在这些研究中,机器学习是基础工具,掌握机器学习方法和学会敲代码一样,属于基本功。因此,不论是在授课还是在研究中,我们一向重视向学生传授机器学习的基础知识。

当前关于机器学习方面的资料非常丰富:Andrew NG在Coursera上的机器学习教程、Bishop的《模式识别与机器学习》和周志华老师的《机器学习》都是非常好的基础教材;Goodfellow等人的《深度学习》是学习深度学习技术的首选资料;MIT、斯坦福等名校的公开课也非常有价值;一些主要会议的Tutorial、Keynote也都可以在网上搜索到。然而,在教学过程中,我深感这些资料专业性强,入门不易。一方面可能是由于语言障碍,另一方面是因为机器学习覆盖面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词和算法面前产生畏难情绪,导致半途而废。

2016年7月到8月,我在CSLT组织了一次关于机器学习的内部暑期研讨班,主要目的不是细致讨论各种具体算法,而是将各种看似高深的方法有机组织起来,告诉学生们每种方法的基本思路、基本用法及与其它技术的关联,帮助其走入机器学习的宏伟殿堂。除了我讲以外,还有冯洋、王彩霞、王卯宁三位老师,分别讲述图模型、核方法和遗传算法。研讨班取得了意想不到的效果,很多学生不仅掌握了基础知识和基本方法,对这些方法与具体应用研究的结合也有了更深刻的理解,为在本领域的深入研究打下了基础。

本书的主体内容是基于该研讨班形成的总结性资料,从2016年8月开始整理,历经数次大规模修正,直到2019年1月定稿。全书共分十一章,内容如下: 第一章:介绍机器学习研究的总体思路,发展历史与关键问题; 第二章:介绍线性模型,包括线性预测模型,线性分类模型和线性高斯概率模型; 第三章:介绍神经网络的基础知识、基础结构和训练方法; 第四章:介绍深度神经网络的基础方法和最新进展; 第五章:介绍核方法,特别是支持向量机模型; 第六章:介绍图模型的基本概念和基于图模型的学习和推理方法; 第七章:介绍非监督学习方法,特别是各种聚类方法和流形学习; 第八章:介绍非参数非贝斯模型,重点关注高斯过程和狄利克雷过程; 第九章:介绍遗传算法、遗传编程、群体学习等演化学习方法; 第十章:介绍强化学习,包括基础算法及近年来兴起的深度强化学习方法; 第十一章:介绍各种数值优化方法。

基于作者的研究背景,这本书很难说是机器学习领域的专业著作,而是一本学习笔记,是从一个机器学习技术使用者角度对机器学习知识的一次总结,并加入作者在本领域研究中的一些经验和体会。与其说是一本专业著作,不如说是一本科普读物,用简洁的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后,我们会发现这是个多么让人激动人心的领域,每天都有新的知识、新的思路、新的方法产生,每天都有令人振奋的成果。我们希望这本书可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣,在这片异彩纷呈的海域上找到属于自己的那颗贝壳。

本书的出版凝聚了很多人的心血。冯洋、王卯宁、王彩霞、邢超、李蓝天、汤志远、张纪袁、李敖东、刘艾婷、白紫薇、罗航、石颖、林靖伊、汪洋、张安迪、陈怿详等老师和同学对本书资料进行了整理,并形成了初始版本。张淼同学对全书进行了校对。蔡云麒博士对全部引用和图片做了整理。张雪薇、林靖伊、蔡佳音、景鑫、富豪、何丹、于嘉威、齐诏娣、吴嘉瑶、张阳、姜修齐、刘逸博、张镭镧等同学参与了文字整理工作。

感谢朱小燕老师为本书做序并提出了很多中肯建议。感谢苏红亮、戴海生、利节、黄伟明等老师对部分章节的审读和建设性意见。感谢语音语言中心的郑方、周强及其他老师,中心宽松的治学环境是本书得以完成的前提。感谢清华大学出版社的刘翰鹏老师为本书出版所做的大量工作。

感谢我的家人,他们为我承担了学术以外的所有生活压力,没有他们的支持,就没有本书的出版。

由于作者在知识和经验上的局限性,书中难免会出现各种错误和疏漏,敬请各位读者批评指正。

--王东,清华园 2020年12月

http://166.111.134.19:7777/mlbook/

成为VIP会员查看完整内容
0
40

相关内容

这是为未来的科学家和工程师准备的微积分介绍的第二卷。第二卷是第一卷的延续,包括第六到第十二章。第六章介绍了向量、向量运算、向量的微分与积分及其应用。第七章研究了以向量形式表示的曲线和曲面,并研究了与这些形式相关的向量运算。此外,还研究了用矢量表示法表示密度、表面积和体积元素的方法。方向导数是与其他向量运算及其属性一起定义的,因为这些额外的向量使我们能够找到具有多个变量的函数的最大值和最小值。第八章研究标量场和向量场以及涉及这些量的运算。详细研究了高斯散度定理、斯托克斯定理和平面上的格林定理及其相关应用。第九章介绍了来自科学和工程选定领域的向量的应用。第十章介绍了矩阵演算和差分演算。第十一章介绍了概率论和统计学。第十章和第十一章之所以出现,是因为在当今社会,技术发展正趋向于一个数字化的世界,学生们应该接触到一些运算性的微积分,这是为了理解这些技术所需要的。第十二章是作为一个后续想法,介绍那些对数学的一些更高级的领域感兴趣的人。

如果你是微积分的初学者,那么一定要确保你有适当的代数和三角的背景材料。如果你有不明白的地方,不要害怕向你的老师提问。去图书馆找一些其他的微积分书,从不同的角度来介绍这门学科。在因特网上,人们可以找到许多微积分的帮助。在因特网上,人们还可以找到许多关于微积分应用的说明。这些额外的学习辅助将向你展示在不同的微积分科目上有多种方法,应该有助于你的分析和推理技能的发展。

http://www.math.odu.edu/~jhh/Volume-2.PDF

成为VIP会员查看完整内容
0
25

来自深度学习数学夏季学校2020的第二节课:深度神经网络,介绍了深度学习历史、神经网络等知识点。

成为VIP会员查看完整内容
0
27

由汤志远、李蓝天、王东组织撰写的《语音识别基本法》一书近日将由电子工业出版社出版。CSLT公众号“清语赋”将顺序刊载该书的全部章节。该书以语音识别为基础任务,介绍了语音识别的 基础原理、主流方法、Kaldi的实现,同时给出若干深入探讨的话题,包括去噪,关键词检出、领域自适应等。最后,该书还对语音识别的相关任务做了总结性介绍,包括说话人识别、语种识别、 情绪识别、语音合成等。该书面向对语音信号处理技术感兴趣的入门级读者。通过该书,读者不仅可以掌握语音识别的基础内容,而且可以了解语音信息处理的相关领域进展,取得实践知识。

地址:

http://cslt.riit.tsinghua.edu.cn/news.php?title=News-2020-07-10-1

成为VIP会员查看完整内容
0
51

当前关于机器学习方面的资料非常丰富:Andrew NG在Coursera上的机器学习教程、Bishop的《机器学习与模式识别》 和周志华老师的《机器学习》都是非常好的基础教材;Goodfellow等人的《深度学习》是学习深度学习技术的首选资料;MIT、斯坦福等名校的公开课也非常有价值;一些主要会议的Tutorial、keynote也都可以在网上搜索到。然而,在对学生们进行培训的过程中, 我深感这些资料专业性很强,但入门不易。一方面可能是由于语言障碍,另一个主要原因在于机器学习覆盖 面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词,无穷无尽的 算法面前产生畏难情绪,导致半途而废。

本书的主体内容是基于该研讨班形成的总结性资料。基于作者的研究背景,这本书很难说 是机器学习领域的专业著作,而是一本学习笔记,是从一个机器学习 技术使用者角度对机器学习知识的一次总结,并加入我们在本领域研究中的一些经验和发现。与其说是一本教材,不如说是一本科普读物, 用轻松活泼的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后,我们会发现这是个多么让人激动人心的 领域,每天都有新的知识、新的思路、新的方法产生,每天都有令人振奋的成果。我们希望这本书 可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣,在这片异彩纷呈的海域上找到 属于自己的那颗贝壳。

强烈推荐给所有初学机器学习的人,里面有: 书籍的pdf 课堂视频 课堂slides 各种延伸阅读 MIT等世界名校的slides 学生的学习笔记等

成为VIP会员查看完整内容
0
80

语义表示是自然语言处理的基础,我们需要将原始文本数据中的有用信息转换为计算机能够理解的语义表示,才能实现各种自然语言处理应用。表示学习旨在从大规模数据中自动学习数据的语义特征表示,并支持机器学习进一步用于数据训练和预测。以深度学习为代表的表示学习技术,能够灵活地建立对大规模文本、音频、图像、视频等无结构数据的语义表示,显著提升语音识别、图像处理和自然语言处理的性能,近年来引发了人工智能的新浪潮。本书是第一本完整介绍自然语言处理表示学习技术的著作。书中全面介绍了表示学习技术在自然语言处理领域的最新进展,对相关理论、方法和应用进行了深入介绍,并展望了未来的重要研究方向。

本书全面介绍了自然语言处理表示学习技术的理论、方法和应用,内容包括三大部分:第一部分介绍了单词、短语、句子和文档等不同粒度语言单元的表示学习技术;第二部分介绍了与自然语言密切相关的世界知识、语言知识、复杂网络和跨模态数据的表示学习技术;第三部分整理了相关开放资源与工具,并探讨了面向自然语言处理的表示学习技术面临的重要挑战和未来研究方向。本书对于自然语言处理和人工智能基础研究具有一定的参考意义,既适合专业人士了解自然语言处理和表示学习的前沿热点,也适合机器学习、信息检索、数据挖掘、社会网络分析、语义Web等其他相关领域学者和学生作为参考读物。

成为VIP会员查看完整内容
0
112

内容概要:

在复杂的实际应用中,图是有用的数据结构,例如对物理系统进行建模,学习分子指纹,控制交通网络以及在社交网络中推荐朋友。但是,这些任务需要处理包含元素之间的丰富关系信息且无法通过传统深度学习模型(例如卷积神经网络(CNN)或递归神经网络(RNN))妥善处理的非欧氏图数据。图中的节点通常包含有用的特征信息,这些信息在大多数无监督的表示学习方法(例如,网络嵌入方法)中无法很好地解决。图神经网络(GNN)被提出来结合特征信息和图结构,以通过特征传播和聚集学习更好的图表示。由于其令人信服的性能和高解释性,GNN最近已成为一种广泛应用的图分析工具。

本书全面介绍了图神经网络的基本概念,模型和应用。首先介绍了vanilla GNN模型。然后介绍了vanilla模型的几种变体,例如图卷积网络,图递归网络,图注意力网络,图残差网络和一些通用框架。还包括不同图类型的变体和高级训练方法。对于GNN的应用,该书分为结构,非结构和其他场景,然后介绍了解决这些任务的几种典型模型。最后,最后几章提供了GNN的开放资源以及一些未来方向的展望。

本书组织如下。在第1章中进行了概述之后,在第2章中介绍了数学和图论的一些基本知识。在第3章中介绍了神经网络的基础,然后在第4章中简要介绍了香草GNN。四种类型的模型分别在第5、6、7和8章中介绍。在第9章和第10章中介绍了不同图类型和高级训练方法的其他变体。然后在第11章中提出了几种通用的GNN框架。第12、13和14章介绍了GNN在结构场景,非结构场景和其他场景中的应用。最后,我们在第15章提供了一些开放资源,并在第16章总结了这本书。

作者:

刘知远,清华大学计算机系自然语言处理实验室, 副教授。2006年获得清华大学计算机科学与技术系学士学位,2011年获得博士学位。他的研究兴趣是自然语言处理和社会计算。在IJCAI、AAAI、ACL、EMNLP等国际期刊和会议上发表论文60余篇。

http://nlp.csai.tsinghua.edu.cn/~lzy/index_cn.html

周界是清华大学计算机科学与技术系硕士二年级学生。他于2016年获得清华大学学士学位。他的研究兴趣包括图形神经网络和自然语言处理。

图书目录:

  • 前言
  • 致谢
  • 第一章: 引言
  • 第二章: 数学和图的基础知识
  • 第三章: 神经网络的基础知识
  • 第四章: Vanilla 图神经网络
  • 第五章: 图卷积网络
  • 第六章: 图递归网络
  • 第七章: 图注意力网络
  • 第八章 : 图残差网络
  • 第九章: 同图形型的变体
  • 第十章: 高级训练方法的变体
  • 第十一章: 一般框架
  • 第十二章: 应用——结构场景
  • 第十三章: 应用——非结构性场景
  • 第十四章: 应用——其他场景
  • 第十五章: 开放资源
  • 第十六章: 结论
  • 参考书目
成为VIP会员查看完整内容
0
211

近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。

成为VIP会员查看完整内容
0
33

神经网络与深度学习,复旦大学邱锡鹏老师。近年来,以机器学习、知识图谱为代表的人工智能技术逐渐变得普及。从车牌识别、人脸识别、语音识别、智能问答、推荐系统到自动驾驶,人们在日常生活中都可能有意无意地使用到了人工智能技术。这些技术的背后都离不开人工智能领域研究者们的长期努力。特别是最近这几年,得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富,越来越多的人开始关注这一个“崭新”的研究领域:深度学习。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。但是由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。

本课程主要介绍神经网络与深度学习中的基础知识、主要模型(前馈网络、卷积网络、循环网络等)以及在计算机视觉、自然语言处理等领域的应用。

本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理,知其然还要知其所以然。全书共 15 章。第 1 章是绪论,介绍人工智能、机器学习、深度学习的概要,使读者对相关知识进行全面的了解。第2、3章介绍机器学习的基础知识。第4、5、6章分别讲述三种主要的神经网络模型:前馈神经 网络、卷积神经网络和循环神经网络。第7章介绍神经网络的优化与正则化方法。第8章介绍神经网络中的注意力机制和外部记忆。第9章简要介绍一些无监督学习方法。第10章介绍一些模型独立的机器学习方法:集成学习、自训练、协同训练多任务学习、迁移学习、终身学习、元学习等,这些都是目前深度学习的难点和热点问题。第11章介绍概率图模型的基本概念,为后面的章节进行铺垫。第12章介绍两种早期的深度学习模型:玻尔兹曼机和深度信念网络。第13章介绍最近两年发展十分迅速的深度生成模型:变分自编码器和生成对抗网络。第14章介绍深度强化学习的知识。第15章介绍应用十分广泛的序列生成模型。

  • 绪论
  • 机器学习概述
  • 线性模型
  • 前馈神经网络
  • 卷积神经网络
  • 循环神经网络
  • 网络优化与正则化
  • 注意力机制与外部记忆
  • 无监督学习
  • 模型独立的学习方式
  • 概率图模型
  • 深度信念网络
  • 深度生成模型
  • 深度强化学习
  • 序列生成模型 一个过时版本:词嵌入与语言模型
  • 数学基础
成为VIP会员查看完整内容
0
50
小贴士
相关VIP内容
专知会员服务
25+阅读 · 2020年11月5日
专知会员服务
27+阅读 · 2020年8月19日
专知会员服务
51+阅读 · 2020年7月29日
专知会员服务
80+阅读 · 2020年7月27日
专知会员服务
112+阅读 · 2020年7月11日
专知会员服务
69+阅读 · 2020年6月27日
【新书】图神经网络导论,清华大学刘知远老师著作
专知会员服务
211+阅读 · 2020年6月12日
复旦大学邱锡鹏老师《神经网络与深度学习》书册最新版
神经网络与深度学习,复旦大学邱锡鹏老师
专知会员服务
50+阅读 · 2019年9月24日
相关论文
Kosuke Imai,Zhichao Jiang
0+阅读 · 1月14日
Alberto García-González,Antonio Huerta,Sergio Zlotnik,Pedro Díez
0+阅读 · 1月13日
Szu-Chi Chung,Cheng-Yu Hung,Huei-Lun Siao,Hung-Yi Wu,Wei-Hau Chang,I-Ping Tu
0+阅读 · 1月12日
Ti-Yen Lan,Nicolas Boumal,Amit Singer
0+阅读 · 1月10日
Shuhan Chen,Xiuli Tan,Ben Wang,Xuelong Hu
8+阅读 · 2019年4月15日
Chaoxu Guo,Bin Fan,Jie Gu,Qian Zhang,Shiming Xiang,Veronique Prinet,Chunhong Pan
3+阅读 · 2019年3月21日
Joaquin Vanschoren
103+阅读 · 2018年10月8日
Ngoc-Trung Tran,Tuan-Anh Bui,Ngai-Man Cheung
9+阅读 · 2018年3月23日
Top