【导读】可解释性是当下机器学习研究特点之一。最近,来自复旦大学的研究生朱明超,将业界《Interpretable Machine Learning》(可解释机器学习)翻译成了中文。

可解释机器学习:打开黑盒之谜(238页书籍下载)

这本书最初是由德国慕尼黑大学博士Christoph Molnar耗时两年完成的,长达250页,是仅有的一本系统介绍可解释性机器学习的书籍。

这本书最初是由Christoph Molnar耗时两年完成的《Interpretable Machine Learning》,长达250页,在公开至今该书得到密切关注,这是在可解释性领域可以找到的仅有的一本书。

这本书由复旦大学朱明超完成它的翻译和校正工作,目前已经开源放到GitHub网页上,《可解释的机器学习》。作者Christoph Molnar 在其后也发到了推特上。

“可解释”是这本书的核心论题。作者Molnar认为,可解释性在机器学习甚至日常生活中都是相当重要的一个问题。建议机器学习从业者、数据科学家、统计学家和任何对使机器学习模型可解释的人阅读本书。

Molnar表示,虽然数据集与黑盒机器学习解决了很多问题,但这不是最好的使用姿势,现在模型本身代替了数据成为了信息的来源,但可解释性可以提取模型捕捉到的额外信息。当我们的日常生活中全都是机器和算法时,也需要可解释性来增加社会的接受度。毕竟要是连科学家都研究不透“黑盒”,怎样让普通人完全信任模型做出的决策呢?

这本书的重点是机器学习的可解释性。你将学习简单的、可解释的模型,如线性回归、决策树和决策规则等。后面几章重点介绍了解释黑盒模型的模型无关的一般方法,如特征重要性和累积局部效应,以及用 Shapley 值和 LIME 解释单个实例预测。

对各种解释方法进行了深入的解释和批判性的讨论。它们是如何工作的?优点和缺点是什么?如何解释它们的输出?本书将使你能够选择并正确应用最适合你的机器学习项目的解释方法。你阅读本书后,内化知识还使你能够更好地理解和评估arxiv.org上发表的有关可解释性的新论文。

这本书中用许多平实的语言,结合各类现实生活中的例子介绍了相关的概念,还配了参考链接可以进一步学习了解。

《可解释的机器学习》该书总共包含 7 章内容。章节目录如下:

  • 第一章:前言
  • 第二章:可解释性
  • 第三章:数据集
  • 第四章:可解释的模型
  • 第五章:模型无关方法
  • 第六章:基于样本的解释
  • 第七章:水晶球

传送门 GitHub:https://github.com/MingchaoZhu/InterpretableMLBook

成为VIP会员查看完整内容
0
146
自然语言处理( Natural Language Processing, NLP )

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】现在搞AI研究写论文,其中论文里的框架图模型图很是考验你画图的能力,不费一番心思功夫,怎能画出一个入得Reviewer法眼的图,论文也不大好中,很是发愁。好消息来了,elvis介绍了有个ML visual的利器,提供一份32页的PPT模型图素材,你在上面可以直接使用画出你要的机器学习深度学习模型图,再也不用担心画图了!

ML Visuals是一个新的协作项目,通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可,但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到),那就太好了。

地址:

https://github.com/dair-ai/ml-visuals

怎么使用ML Visual?

下载这份MLvisual PPT,在上面的模板编辑你要的就行。

要添加您自己的自定义图形,只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本,并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果,并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分),这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外,提供一个简短的视觉描述,以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限,请单击上面“仅查看”工具栏下的“请求编辑访问”选项,或者通过ellfae@gmail.com发送电子邮件给我。

从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。

如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法,我们可以帮助。只要在这里打开一个问题,我们将尽我们最大的努力,以赶上视觉。谢谢。

在我们的Slack小组中,有任何关于这个项目的问题都可以问我们。

成为VIP会员查看完整内容
0
91

【导读】来自东北大学自然语言处理实验室 · 小牛翻译的肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu)撰写的《机器翻译:统计建模与深度学习方法》,这是一个教程,目的是对机器翻译的统计建模和深度学习方法进行较为系统的介绍。其内容被编纂成书,可以供计算机相关专业高年级本科生及研究生学习之用,亦可作为自然语言处理,特别是机器翻译相关研究人员的参考资料。本书用tex编写,所有源代码均已开放。

作者:肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu) 单位:东北大学自然语言处理实验室 (NEUNLPLab) / 小牛翻译 (NiuTrans Research) 顾问:姚天顺 (Tianshun Yao) 王宝库 (Baoku Wang) 网站:https://opensource.niutrans.com/mtbook/index.html GitHub:https://github.com/NiuTrans/MTBook

让计算机进行自然语言的翻译是人类长期的梦想,也是人工智能的终极目标之一。自上世纪九十年代起,机器翻译迈入了基于统计建模的时代,发展到今天,深度学习等机器学习方法已经在机器翻译中得到了大量的应用,取得了令人瞩目的进步。

在这个时代背景下,对机器翻译的模型、方法和实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面回顾了近三十年内机器翻译的技术发展历程,并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中,笔者力求用朴实的语言和简洁的实例阐述机器翻译的基本模型和方法,同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用,也可以作为自然语言处理,特别是机器翻译领域相关研究人员的参考资料。

本书共分为七个章节,章节的顺序参考了机器翻译技术发展的时间脉络,同时兼顾了机器翻译知识体系的内在逻辑。各章节的主要内容包括:

  • 第一章:机器翻译简介
  • 第二章:词法、语法及统计建模基础
  • 第三章:基于词的机器翻译模型
  • 第四章:基于短语和句法的机器翻译模型
  • 第五章:人工神经网络和神经语言建模
  • 第六章:神经机器翻译模型
  • 第七章:神经机器翻译实战参加一次比赛

其中,第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍,分别建立了两个机器翻译范式的基础知识体系——统计机器翻译和神经机器翻译。统计机器翻译部分(第三、四章)涉及早期的基于单词的翻译模型,以及本世纪初流行的基于短语和句法的翻译模型。神经机器翻译(第六、七章)代表了当今机器翻译的前沿,内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别的,第七章对一些最新的神经机器翻译方法进行了讨论,为相关科学问题的研究和实用系统的开发提供了可落地的思路。图1展示了本书各个章节及核心概念之间的关系。

用最简单的方式阐述机器翻译的基本思想是笔者所期望达到的目标。但是,书中不可避免会使用一些形式化定义和算法的抽象描述,因此,笔者尽所能通过图例进行解释(本书共320张插图)。不过,本书所包含的内容较为广泛,难免会有疏漏,望读者海涵,并指出不当之处。

目录内容:

Part I 机器翻译基础

机器翻译简介 1.1 机器翻译的概念 1.2 机器翻译简史 1.3 机器翻译现状 1.4 机器翻译方法 1.5 翻译质量评价 1.6 机器翻译应用 1.7 开源项目与评测 1.8 推荐学习资源

词法、语法及统计建模基础 2.1 问题概述 2.2 概率论基础 2.3 中文分词 2.4 n-gram 语言模型 2.5 句法分析(短语结构分析) 2.6 小结及深入阅读

Part II 统计机器翻译 基于词的机器翻译模型 3.1 什么是基于词的翻译模型 3.2 构建一个简单的机器翻译系统 3.3 基于词的翻译建模 3.4 IBM 模型 1-2 3.5 IBM 模型 3-5 及隐马尔可夫模型 3.6 问题分析 3.7 小结及深入阅读

基于短语和句法的机器翻译模型 4.1 翻译中的结构信息 4.2 基于短语的翻译模型 4.3 基于层次短语的模型 4.4 基于语言学句法的模型 4.5 小结及深入阅读

Part III 神经机器翻译 人工神经网络和神经语言建模 5.1 深度学习与人工神经网络 5.2 神经网络基础 5.3 神经网络的张量实现 5.4 神经网络的参数训练 5.5 神经语言模型 5.6 小结及深入阅读

神经机器翻译模型

6.1 神经机器翻译的发展简史 6.2 编码器-解码器框架 6.3 基于循环神经网络的翻译模型及注意力机制 6.4 Transformer 6.5 序列到序列问题及应用 6.6 小结及深入阅读

神经机器翻译实战 —— 参加一次比赛 7.1 神经机器翻译并不简单 7.2 数据处理 7.3 建模与训练 7.4 推断 7.5 进阶技术 7.6 小结及深入阅读

Part IV 附录

附录 A:基准数据集和评价工具 附录 B:IBM模型3-5训练方法

参考文献

成为VIP会员查看完整内容
0
49

【导读】Thomas Kipf是阿姆斯特丹大学博士生,是GCN作者。最近他毕业博士论文公布了,《深度学习图结构表示》178页pdf阐述图卷积神经网络等机制与应用,包括作者一系列原创图深度学习工作,有GCN、GAE等,是研究该领域不可缺少的文献。

阿姆斯特丹大学机器学习专业四年级的博士生,导师Max Welling教授。我的主要兴趣是学习结构化数据和结构化表示/计算。这包括推理、(多主体)强化学习和结构化的深层生成模型。

https://tkipf.github.io/

《深度学习图结构表示》

地址:

https://dare.uva.nl/search?identifier=1b63b965-24c4-4bcd-aabb-b849056fa76d

在这篇论文中,我们提出了利用图结构表示进行深度学习的新方法。所提出的方法主要基于以图的形式构造基于神经网络的模型的表示和计算的主题,这使得在使用显式和隐式模块结构学习数据时可以改进泛化。

我们的贡献如下:

  • 我们提出图卷积神经网络 graph convolutional networks (GCNs) (Kipf and Welling, 2017;第3章) 用于图结构数据中节点的半监督分类。GCNs是一种图神经网络,它在图中执行参数化的消息传递操作,建模为谱图卷积的一阶近似。在发布时,GCNs在许多无向图数据集的节点级分类任务中取得了最先进的性能。

  • 我们提出图自编码器(GAEs) (Kipf and Welling, 2016;第四章)用于图形结构数据中的无监督学习和链接预测。GAEs利用一种基于图神经网络的编码器和一种基于成对评分函数重构图中的链接的解码器。我们进一步提出了一个模型变量作为概率生成模型,该模型使用变量推理进行训练,我们将其命名为变量GAE。在没有节点标签的情况下,GAEs和变分GAEs特别适合于图数据的表示学习。

  • 我们提出了关系型GCNs (Schlichtkrull and Kipf等,2018;第5章)将GCN模型扩展到具有多种边缘类型的有向关系图。关系GCNs非常适合于对关系数据进行建模,我们演示了一个应用于知识库中的半监督实体分类。

  • 我们提出了神经关系推理(NRI) (Kipf and Fetaya等,2018; 第六章)用于交互系统中潜在关系结构的发现。NRI将图神经网络与图中边缘类型的概率潜在变量模型相结合。我们将NRI应用于相互作用的动力学系统,如物理中的多粒子系统。

  • 我们提出组合模仿学习和执行(CompILE) (Kipf等,2019;第7章),一个序列行为数据的结构发现模型。CompILE使用一种新的可微序列分割机制来发现和自动编码有意义的行为子序列或子程序。潜代码可以被执行和重新组合以产生新的行为。

  • 我们提出了对比训练的结构化世界模型(C-SWMs) (Kipf等,2020; 第8章)从无监督的原始像素观测中学习环境的目标分解模型。C-SWMs使用图神经网络以图的形式构造环境的表示,其中节点表示对象,边表示在动作影响下的成对关系或交互。C-SWMs在没有像素损耗的情况下使用对比学习进行训练,非常适合于具有组成结构的环境的学习模型。

Thomas Kipf论文列表:

  • Thomas N. Kipf and Max Welling (2017). "Semi-Supervised Classification with Graph Convolutional Networks." In: International Conference on Learning Representations (ICLR).

  • Thomas N. Kipf and Max Welling (2016). "Variational Graph Auto-Encoders." In: NeurIPS Workshop on Bayesian Deep Learning.

  • Michael Schlichtkrull*, Thomas N. Kipf*, Peter Bloem, Rianne van den Berg, Ivan Titov and Max Welling (2018). "Modeling Relational Data with Graph Convolutional Networks." In: European Semantic Web Conference (ESWC).

  • Thomas Kipf*, Ethan Fetaya*, Kuan-ChiehWang, MaxWelling and Richard Zemel (2018). "Neural Relational Inference for Interacting Systems." In: International Conference on Machine Learning (ICML).

  • Thomas Kipf, Yujia Li, Hanjun Dai, Vinicius Zambaldi, Alvaro Sanchez- Gonzalez, Edward Grefenstette, Pushmeet Kohli and Peter Battaglia (2019). "CompILE: Compositional Imitation Learning and Execution." In: International Conference on Machine Learning (ICML).

  • Thomas Kipf, Elise van der Pol and Max Welling (2020). "Contrastive Learning of Structured World Models." In: International Conference on Learning Representations (ICLR).

成为VIP会员查看完整内容
0
65

摘要:过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别等领域成功应用。然而,传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以图数据的形式存在。将卷积神经网络迁移到图数据分析处理中的核心在于图卷积算子的构建和图池化算子的构建。本文对图卷积神经网络进行综述,首先介绍了图卷积神经网络的背景并梳理了两类经典方法——谱方法和空间方法,图数据上平移不变性的缺失给图卷积算子的定义带来困难,谱方法借助卷积定理在谱域定义图卷积,而空间方法通过在节点域定义节点相关性来实现图卷积;进而,本文介绍了图卷积神经网络的最新进展,这其中包括如何利用图卷积神经网络建模图上的复杂信息,如异质连接、高阶连接等,以及如何在大规模图上实现图卷积神经网络;此外,本文介绍了图卷积神经网络的相关应用,包括推荐系统领域,交通预测领域等;最后本文对图卷积神经网络的发展趋势进行了总结和展望。

成为VIP会员查看完整内容
0
51

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
54

数据科学和人工智能是令人着迷的计算领域。微软在这些新技术上下了很大的赌注,但我们也知道,数据科学家都是训练有素的专业人士,并不是每个软件开发人员都能创建和维护复杂的数据模型,执行线性代数或购买昂贵的GPU设备来运行这些模型。这正是我们创造认知服务的原因。这套服务提供了预训练模型,您可以使用开箱即用的模型来执行视觉、语音、知识、搜索和语言方面的操作。在本次会议上,微软的云开发者倡导者Laurent Bugnion将向您展示如何使用认知服务增强应用程序的高级功能,如何使用自己的数据细化训练过的模型,以及如何将认知服务与其他Azure服务集成以实现任务自动化。

成为VIP会员查看完整内容
0
42

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
40

算法与理论是计算机科学的核心领域之一。随着大数据时代的来临,传统的算法理论已经不能很好地解决人工智能、 物联网、工业制造等领域所遇到的实际问题。本门课程主要介绍基于大数据的新型算法技术,如随机采样、数据降维、数据压缩、分布式计算、 流数据计算、聚类、分类、随机优化等,以及相关的理论和数学技巧,如概率计算方法、vc维、通信复杂度、机器学习、深度学习理论等。作为一门理论方向课程,帮助学生掌握解决大数据问题所需的理论和算法工具,为相关领域的工程实践打好基础。

课程简介ppt (pdf) 主成分分析 (pdf) JL-变换 (pdf) LSH(局部敏感哈希) (pdf) Product Quantization (pdf) VC-dimension (pdf) 聚类 (pdf) 分类 (pdf) Gilbert Algorithm (pdf) MaxCut (pdf)

成为VIP会员查看完整内容
1
45

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
37

近年来,人们对学习图结构数据表示的兴趣大增。基于标记数据的可用性,图表示学习方法一般分为三大类。第一种是网络嵌入(如浅层图嵌入或图自动编码器),它侧重于学习关系结构的无监督表示。第二种是图正则化神经网络,它利用图来增加半监督学习的正则化目标的神经网络损失。第三种是图神经网络,目的是学习具有任意结构的离散拓扑上的可微函数。然而,尽管这些领域很受欢迎,但在统一这三种范式方面的工作却少得惊人。在这里,我们的目标是弥合图神经网络、网络嵌入和图正则化模型之间的差距。我们提出了图结构数据表示学习方法的一个综合分类,旨在统一几个不同的工作主体。具体来说,我们提出了一个图编码解码器模型(GRAPHEDM),它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和图表示的非监督学习(如DeepWalk、node2vec等)归纳为一个统一的方法。为了说明这种方法的一般性,我们将30多个现有方法放入这个框架中。我们相信,这种统一的观点既为理解这些方法背后的直觉提供了坚实的基础,也使该领域的未来研究成为可能。

概述

学习复杂结构化数据的表示是一项具有挑战性的任务。在过去的十年中,针对特定类型的结构化数据开发了许多成功的模型,包括定义在离散欧几里德域上的数据。例如,序列数据,如文本或视频,可以通过递归神经网络建模,它可以捕捉序列信息,产生高效的表示,如机器翻译和语音识别任务。还有卷积神经网络(convolutional neural networks, CNNs),它根据移位不变性等结构先验参数化神经网络,在图像分类或语音识别等模式识别任务中取得了前所未有的表现。这些主要的成功仅限于具有简单关系结构的特定类型的数据(例如,顺序数据或遵循规则模式的数据)。

在许多设置中,数据几乎不是规则的: 通常会出现复杂的关系结构,从该结构中提取信息是理解对象之间如何交互的关键。图是一种通用的数据结构,它可以表示复杂的关系数据(由节点和边组成),并出现在多个领域,如社交网络、计算化学[41]、生物学[105]、推荐系统[64]、半监督学习[39]等。对于图结构的数据来说,将CNNs泛化为图并非易事,定义具有强结构先验的网络是一项挑战,因为结构可以是任意的,并且可以在不同的图甚至同一图中的不同节点之间发生显著变化。特别是,像卷积这样的操作不能直接应用于不规则的图域。例如,在图像中,每个像素具有相同的邻域结构,允许在图像中的多个位置应用相同的过滤器权重。然而,在图中,我们不能定义节点的顺序,因为每个节点可能具有不同的邻域结构(图1)。此外,欧几里德卷积强烈依赖于几何先验(如移位不变性),这些先验不能推广到非欧几里德域(如平移可能甚至不能在非欧几里德域上定义)。

这些挑战导致了几何深度学习(GDL)研究的发展,旨在将深度学习技术应用于非欧几里德数据。特别是,考虑到图在现实世界应用中的广泛流行,人们对将机器学习方法应用于图结构数据的兴趣激增。其中,图表示学习(GRL)方法旨在学习图结构数据的低维连续向量表示,也称为嵌入。

广义上讲,GRL可以分为两类学习问题,非监督GRL和监督(或半监督)GRL。第一个系列的目标是学习保持输入图结构的低维欧几里德表示。第二系列也学习低维欧几里德表示,但为一个特定的下游预测任务,如节点或图分类。与非监督设置不同,在非监督设置中输入通常是图结构,监督设置中的输入通常由图上定义的不同信号组成,通常称为节点特征。此外,底层的离散图域可以是固定的,这是直推学习设置(例如,预测一个大型社交网络中的用户属性),但也可以在归纳性学习设置中发生变化(例如,预测分子属性,其中每个分子都是一个图)。最后,请注意,虽然大多数有监督和无监督的方法学习欧几里德向量空间中的表示,最近有兴趣的非欧几里德表示学习,其目的是学习非欧几里德嵌入空间,如双曲空间或球面空间。这项工作的主要动机是使用一个连续的嵌入空间,它类似于它试图嵌入的输入数据的底层离散结构(例如,双曲空间是树的连续版本[99])。

鉴于图表示学习领域的发展速度令人印象深刻,我们认为在一个统一的、可理解的框架中总结和描述所有方法是很重要的。本次综述的目的是为图结构数据的表示学习方法提供一个统一的视图,以便更好地理解在深度学习模型中利用图结构的不同方法。

目前已有大量的图表示学习综述。首先,有一些研究覆盖了浅层网络嵌入和自动编码技术,我们参考[18,24,46,51,122]这些方法的详细概述。其次,Bronstein等人的[15]也给出了非欧几里德数据(如图或流形)的深度学习模型的广泛概述。第三,最近的一些研究[8,116,124,126]涵盖了将深度学习应用到图数据的方法,包括图数据神经网络。这些调查大多集中在图形表示学习的一个特定子领域,而没有在每个子领域之间建立联系。

在这项工作中,我们扩展了Hamilton等人提出的编码-解码器框架,并介绍了一个通用的框架,图编码解码器模型(GRAPHEDM),它允许我们将现有的工作分为四大类: (i)浅嵌入方法,(ii)自动编码方法,(iii) 图正则化方法,和(iv) 图神经网络(GNNs)。此外,我们还介绍了一个图卷积框架(GCF),专门用于描述基于卷积的GNN,该框架在广泛的应用中实现了最先进的性能。这使我们能够分析和比较各种GNN,从在Graph Fourier域中操作的方法到将self-attention作为邻域聚合函数的方法[111]。我们希望这种近期工作的统一形式将帮助读者深入了解图的各种学习方法,从而推断出相似性、差异性,并指出潜在的扩展和限制。尽管如此,我们对前几次综述的贡献有三个方面

  • 我们介绍了一个通用的框架,即GRAPHEDM,来描述一系列广泛的有监督和无监督的方法,这些方法对图形结构数据进行操作,即浅层嵌入方法、图形正则化方法、图形自动编码方法和图形神经网络。

  • 我们的综述是第一次尝试从同一角度统一和查看这些不同的工作线,我们提供了一个通用分类(图3)来理解这些方法之间的差异和相似之处。特别是,这种分类封装了30多个现有的GRL方法。在一个全面的分类中描述这些方法,可以让我们了解这些方法究竟有何不同。

  • 我们为GRL发布了一个开源库,其中包括最先进的GRL方法和重要的图形应用程序,包括节点分类和链接预测。我们的实现可以在https://github.com/google/gcnn-survey-paper上找到。

成为VIP会员查看完整内容
0
51

【导读】MIT-Gilbert Strang教授讲解的线性代数奉为经典,在疫情期间85岁高龄的Strang教授对着摄像机出了新的课程:A 2020 Vision of Linear Algebra,老教授出神入化将许多人认为简单却是最基础的东西讲的出神入化。值得学习。

地址: https://ocw.mit.edu/resources/res-18-010-a-2020-vision-of-linear-algebra-spring-2020/index.htm

William Gilbert Strang,美国数学家,在有限元理论、变分法、小波分析和线性代数等方面皆有研究贡献。他对数学教育做出了许多贡献,包括出版七本数学教科书和专著。斯特朗现任麻省理工学院数学系 MathWorks 讲座教授。主要讲授课程为线性代数入门(Introduction to Linear Algebra,18.06)和计算科学与工程(Computational Science and Engineering,18.085),这些课程都可在麻省理工学院开放式课程中免费学习。

线性代数

这六个简短的视频,录制于2020年,包含了Strang 教授关于教学和学习线性代数的主题推荐顺序的想法和建议。第一个主题叫做线性代数的新方法。关键是要从矩阵A的列向量开始然后用乘法Ax组合这些列向量。

这就引出了矩阵的列空间和独立列的概念,以及A= CR的因式分解,它能告诉我们很多关于A的信息。有了好的数字,每个学生都能看到相关列。

剩下的视频简要概述了整个课程:线性代数的全貌;正交向量;特征值和特征向量;奇异值和奇异向量。奇异值变得如此重要,它们直接来自于A'A的特征值。

你可以在Strang教授2019年的课程18.065 Matrix Methods in Data Analysis, Signal Processing, and Machine Learning的第一个视频演讲中看到这个新想法的发展。

视频地址:

YouTube: https://www.youtube.com/playlist?list=PLUl4u3cNGP61iQEFiWLE21EJCxwmWvvek "A 2020 Vision of Linear Algebra" by Gilbert Strang

Bilibili(爱可可老师):https://www.bilibili.com/video/BV1Ki4y147Kh

导论- 了解线性代数的新方式

Part 1- 矩阵的列空间与向量空间中的基

Part 2- 线性代数的 Big Picture

Part 3- 正交向量

Part 4- 特征值与特征向量

Part 5- 奇异值与奇异向量

课件:

成为VIP会员查看完整内容
0
35

通过机器学习的实际操作指南深入挖掘数据

机器学习: 为开发人员和技术专业人员提供实践指导和全编码的工作示例,用于开发人员和技术专业人员使用的最常见的机器学习技术。这本书包含了每一个ML变体的详细分析,解释了它是如何工作的,以及如何在特定的行业中使用它,允许读者在阅读过程中将所介绍的技术融入到他们自己的工作中。机器学习的一个核心内容是对数据准备的强烈关注,对各种类型的学习算法的全面探索说明了适当的工具如何能够帮助任何开发人员从现有数据中提取信息和见解。这本书包括一个完整的补充教师的材料,以方便在课堂上使用,使这一资源有用的学生和作为一个专业的参考。

机器学习的核心是一种基于数学和算法的技术,它是历史数据挖掘和现代大数据科学的基础。对大数据的科学分析需要机器学习的工作知识,它根据从训练数据中获得的已知属性形成预测。机器学习是一个容易理解的,全面的指导,为非数学家,提供明确的指导,让读者:

  • 学习机器学习的语言,包括Hadoop、Mahout和Weka
  • 了解决策树、贝叶斯网络和人工神经网络
  • 实现关联规则、实时和批量学习
  • 为安全、有效和高效的机器学习制定战略计划

通过学习构建一个可以从数据中学习的系统,读者可以在各个行业中增加他们的效用。机器学习是深度数据分析和可视化的核心,随着企业发现隐藏在现有数据中的金矿,这一领域的需求越来越大。对于涉及数据科学的技术专业人员,机器学习:为开发人员和技术专业人员提供深入挖掘所需的技能和技术。

成为VIP会员查看完整内容
0
39

摘要

知识图谱(KGs)在工业和学术领域有很多应用,这反过来又推动了朝着大规模地从各种来源提取信息大量的研究工作。尽管付出了这些努力,但众所周知,即使是最先进的KGs也是不完整的。链路预测(Link Prediction, LP)是一种根据KG中已存在的实体去预测缺失事实的任务,是一种有前途的、广泛研究的、旨在解决KG的不完整的任务。在最近的LP技术中,基于KG嵌入的LP技术在一些基准测试中取得了很好的性能。尽管这方面的文献在迅速增加,但对这些方法中各种设计选择的影响却没有引起足够的注意。此外,这一领域的标准做法是通过测试大量的事实来报告准确性,其中一些实体被过度表示;这允许LP方法通过只修改包含这些实体的结构属性来展示良好的性能,而忽略KG的主要部分。本篇综述分析提供了基于嵌入的LP方法的全面比较,将分析的维度扩展到常见的文献范围之外。我们通过实验比较了16种最先进的方法的有效性和效率,考虑了一个基于规则的基准,并报告了文献中最流行的基准的详细分析。

介绍

知识图谱(KGs)是真实世界信息的结构化表示。在一个KG中,节点表示实体,例如人和地点;标签是连接它们的关系类型;边是用关系连接两个实体的特定事实。由于KGs能够以机器可读的方式对结构化、复杂的数据进行建模,因此它被广泛应用于各个领域,从问答到信息检索和基于内容的推荐系统,并且对于任何语义web项目都非常重要。常见的KG有FreeBase、WikiData、DBPedia、Yago和行业KG有谷歌KG、Satori和Facebook Graph Search。这些巨大的KG可以包含数百万个实体和数十亿个事实。

尽管有这样的努力,但众所周知,即使是最先进的KGs也存在不完整性问题。例如,据观察FreeBase是用于研究目的的最大和最广泛使用的KGs之一,但是在FreeBase中超过70%的个体没有出生地点,超过99%的个体没有民族。这使得研究人员提出了各种各样的技术来纠正错误,并将缺失的事实添加到KGs中,通常称为知识图谱补全或知识图谱增强任务。可以通过从外部源(如Web语料库)提取新的事实,或者从KG中已经存在的事实推断缺失的事实,来增长现有的KG。后来的方法,称为链接预测(LP),是我们分析的重点。

LP一直是一个日益活跃的研究领域,最近受益于机器学习和深度学习技术的爆炸式增长。目前绝大多数LP模型使用原始的KG元素来学习低维表示,称为知识图谱嵌入,然后利用它们来推断新的事实。在短短几年的时间里,研究人员受到RESCAL和TransE等一些开创性工作的启发,开发了几十种基于不同的架构的新模型。这一领域的绝大多数论文都有一个共同点,但也存在问题,那就是它们报告的结果汇总在大量的测试事实之上,其中很少有实体被过度表示。因此,LP方法可以在这些基准上表现出良好的性能,只对这些实体进行访问,而忽略其他实体。此外,当前最佳实践的局限性可能使人们难以理解这一文献中的论文是如何结合在一起的,以及如何描述出值得追求的研究方向。除此之外,目前技术的优点、缺点和局限性仍然是未知的,也就是说,几乎没有研究过允许模型更好地执行的情况。粗略地说,我们仍然不知道是什么可以让一个事实变得容易还是难以学习和预测。

为了缓解上述问题,我们对一组有代表性的基于KG嵌入的LP模型进行了广泛的比较分析。我们优先考虑最先进的系统,并考虑属于广泛的体系结构的工作。我们从零开始对这些系统进行训练和调整,并通过提出新的、信息丰富的评估实践,提供超出原始论文的实验结果。具体是:

我们考虑了16个模型,属于不同的机器学习和深度学习架构;我们还采用了一个基于规则挖掘的附加的最先进的LP模型作为基线。我们提供了实验比较考虑的方法的详细描述和相关文献的总结,以及知识图谱嵌入技术的教育分类。 我们考虑了5个最常用的数据集,以及目前用于基准测试的最流行的指标;我们详细分析了它们的特点和特性。 对于每个模型,我们为每个数据集提供了效率和有效性的定量结果。 我们在训练数据中提出一组结构特征,并测量它们如何影响每个模型对每个测试事实的预测性能。

方法概述

在本节中,我们描述并讨论了基于潜在特征的知识管理的主要方法。正如在第2节中所描述的,LP模型可以利用各种各样的方法和架构,这取决于它们如何对优化问题进行建模,以及它们实现来处理优化问题的技术。

为了概述它们高度不同的特征,我们提出了一种新的分类法,如图1所示。我们列出了三个主要的系列模型,并进一步将它们划分为更小的组,以独特的颜色标识。对于每个组,我们都包括最有效的代表性模型,优先考虑那些达到最先进性能的模型,并且在任何可能的情况下,优先考虑那些具有公开可用实现的模型。结果是一组16个模型,基于极其多样化的架构;这些是我们随后在比较分析的实验部分所使用的模型。对于每个模型,我们还报告了发表的年份以及从其他模型得到的信息。我们认为,这种分类有助于理解这些模型和在我们的工作中进行的实验。表1报告了关于所包括的模型的进一步信息,例如它们的损失函数和空间复杂性。我们确定了三大类模型:1)张量分解模型;2)几何模型;3)深度学习模型。

张量分解模型

这个家族的模型将LP解释为一个张量分解的任务。这些模型隐式地将KG考虑为一个三维邻接矩阵(即一个3维张量),由于KG的不完整性,这个邻接矩阵只有部分可观测。张量被分解成低维向量的组合(比如一个多线性乘积):这些向量被用作实体和关系的嵌入表示。张量分解的核心思想是,只要训练集训练不过拟合,则学习到的嵌入应该能够泛化,并将高值与图邻接矩阵中不可观测的真实事实相关联。在实践中,每个事实的得分都是通过对事实中涉及的特定嵌入进行组合计算得出的;通过优化所有训练事实的评分函数,可以像往常一样进行学习嵌入。这些模型倾向于使用很少或根本没有共享参数;这使得它们特别容易训练。

几何模型

几何模型将关系解释为潜在空间的几何变换。对于给定的事实,头实体嵌入进行空间转换τ,使用嵌入的关系作为参数的值。对事实评分的值是结果向量和尾向量之间的距离;这样则可以使用距离函数计算δ(例如L1和L2范数)。

深度学习模型

深度学习模型使用深度神经网络来执行LP任务。神经网络学习参数,如权重和偏差,它们结合输入数据,以识别显著模式。深度神经网络通常将参数组织成独立的层,通常穿插非线性激活函数。

随着时间的推移,人们开发了许多不同类型的层,对输入数据应用不同的操作。例如,全连接层将把输入数据X与权重W结合起来,并添加一个偏差B: W X + B。为了简单起见,在下面的公式中我们将不提及偏差的使用,使其保持隐式。更高级的层执行更复杂的操作,如卷积层(它学习卷积内核以应用于输入数据)或递归层(以递归方式处理顺序输入)。

在LP任务中,通常结合各层的权重和偏差来学习KG嵌入;这些共享的参数使这些模型更有表现力,但可能导致参数更多,更难训练,更容易过拟合。

成为VIP会员查看完整内容
0
27

第一章 判别式神经网络 Discriminative Neural Networks

自2012年以来,深度神经网络已经彻底改变了机器学习。尽管这项技术相对较老,但近年来在文字、声音、图像和视频识别方面取得了令人瞩目的进步。考虑到这些方法的利害关系,在数学和算法之间的衔接问题就出现了。在本文中,我将解释这些网络的结构以及它们的监督学习的关键概念。

1.1 算法和数学学习 Algorithmics and mathematics of learning 1.2 判别式神经网络 Discriminative neural networks 1.3 神经网络监督学习 Supervised learning of a neural network 1.4 神经网络效率 The efficiency of neural networks

第二章 生成式神经网络 Generative Neural Networks

在前一篇文章中,我们了解了如何以监督的方式训练神经网络。这使得有效地解决分类问题成为可能,例如图像识别。也许更令人惊讶的是,这些神经网络也以一种无人监督的方式被用来自动生成“虚拟”文本或图像,这通常被称为“深度伪造”。在第二篇文章中,我将把生成神经网络的学习和最优运输理论联系起来。这个问题在18世纪由加斯帕德·蒙格提出,然后在20世纪中叶由列昂尼德·坎托罗维奇重新阐述。现在,它已经成为解决数据科学中重要问题的首选工具。

2.1 Generative neural networks 2.2 Unsupervised learning of generative networks 2.3 Monge’s optimal transport 2.4 The optimal transport of Kantorovitch 2.5 Adversarial networks

成为VIP会员查看完整内容
0
43

关于本书

我编写了《Geoprocessing for Python》 来帮助您学习处理地理空间数据的基础知识,主要使用GDAL/OGR。当然,还有其他的选择,但是其中一些是在GDAL之上构建的,所以如果您理解了这本书中的内容,您就可以很容易地获得它们。这不是一本关于地理信息系统或遥感的书,尽管会解释一些背景理论。相反,本书将教您如何编写用于操作和创建空间数据的Python代码,以及一些简单的分析。您可以使用这些构建块来简化您自己设计的更复杂的分析。

关于作者

Chris Garrard是在犹他州立大学昆尼自然资源学院的遥感/地理信息系统实验室做了近15年的开发人员。在那段时间里,她一直在教授一门关于Python的GIS课程,她还在校园和会议上教授研讨会。她喜欢向人们展示处理数据的开源方法,但是她最喜欢的教学方法是“Aha!”,当某人意识到编码的能力对他们的工作有多大帮助的时候。

面向人群

这本书是为任何想学习使用地理空间数据的人准备的。本文解释了GIS和遥感的一些基础知识,以便初次接触地理空间分析的读者了解他们为什么要学习某些内容,但是代码开始时非常简单,因此具有地理空间背景但没有太多编码经验的人也会从中受益。

内容介绍

本书共分13章。它首先介绍了地理空间数据和Python,然后介绍了矢量数据、空间参考系统、光栅数据和可视化。

  • 第1章是空间数据和分析的介绍。它描述了您可以对不同类型的数据执行的分析类型,以及向量和栅格数据之间的差异以及它们各自的用途。

  • 第2章是Python的快速入门。

  • 第3章解释了什么是OGR库,并教你如何读、写和编辑向量数据源。

  • 第4章深入探讨向量格式之间的差异。虽然在许多情况下可以对各种格式进行相同的处理,但是在这里您将了解特定的功能。

  • 第5章教你如何过滤和选择基于空间和attri- bute关系的数据。

  • 第6章描述了创建和编辑点、线和多边形几何图形的细节。

  • 第7章向您展示了如何查看几何图形之间的空间关系,以及如何使用这些概念进行简单的分析。

  • 第8章包括空间参考系统的介绍,然后教你如何使用它们并在它们之间转换数据。

  • 第9章解释了什么是GDAL库,并教你如何读写光栅数据集。它还向您展示了如何在实际坐标和像素偏移量之间进行转换。

  • 第10章向您介绍如何处理光栅数据的各个方面,如地面控制点、颜色表、直方图和属性表。它还包括回调函数和错误处理程序的使用。

  • 第11章描述了如何在映射代数中使用NumPy和SciPy,包括局部、焦点、区域和全局分析,并介绍了重新采样数据的一些方法。

  • 第12章向您展示了一些用于有监督和无监督地图分类的技术。

  • 第13章教你如何使用matplotlib和Mapnik来可视化你的数据。

成为VIP会员查看完整内容
Geoprocessing with Python.pdf
0
23

从这些令人兴奋的课程中学习,让自己沉浸在深度学习、强化学习、机器学习、计算机视觉和NLP中!!

成为VIP会员查看完整内容
0
40

本书主要内容包括:数据清洗在数据科学领域中的重要作用,文件格式、数据类型、字符编码的基本概念,组织和处理数据的电子表格与文本编辑器,各种格式数据的转换方法,解析和清洗网页上的HTML 文件的三种策略,提取和清洗PDF 文件中数据的方法,检测和清除RDBMS 中的坏数据的解决方案,以及使用书中介绍的方法清洗来自Twitter 和Stack Overflow 的数据。

本书适合任何水平的数据科学家以及对数据清理感兴趣的读者阅读。

数据清洗是数据挖掘与分析过程中不可缺少的一个环节,但因为数据类型极其复杂,传统的清洗脏数据工作单调乏味且异常辛苦。如果能利用正确的工具和方法,就可以让数据清洗工作事半功倍。

本书从文件格式、数据类型、字符编码等基本概念讲起,通过真实的示例,探讨如何提取和清洗关系型数据库、网页文件和PDF文档中的数据。最后提供了两个真实的项目,让读者将所有数据清洗技术付诸实践,完成整个数据科学过程。

如果你是一位数据科学家,或者从事数据科学工作,哪怕是位新手,只要对数据清洗有兴趣,那么本书就适合你阅读!

  • 理解数据清洗在整个数据科学过程中的作用
  • 掌握数据清洗的基础知识,包括文件清洗、数据类型、字符编码等
  • 发掘电子表格和文本编辑器中与数据组织和操作相关的重要功能
  • 学会常见数据格式的相互转换,如JSON、CSV和一些特殊用途的格式
  • 采用三种策略来解析和清洗HTML文件中的数据
  • 揭开PDF文档的秘密,提取需要的数据
  • 借助一系列解决方案来清洗存放在关系型数据库里的坏数据
  • 创建自己的干净数据集,为其打包、添加授权许可并与他人共享
  • 使用书中的工具以及Twitter和Stack Overflow数据,完成两个真实的项目
成为VIP会员查看完整内容
0
48

【导读】图表示学习是当下研究的热点之一。HEC 蒙特利尔大学商学院助理教授唐建唐建博士最近总结了《图表示学习》研究进展,总结了他和组里学生们和这些年来在图表示学习方向上比较重要的工作。非常值得学习!

唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习,在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位,并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。

个人主页: https://jian-tang.com/

图表示学习:算法与应用

图在现实世界中是无处不在的,涵盖了从社交网络、推荐系统、知识图谱、计算机视觉和药物发现等各种应用。要分析图数据,一个重要的先决条件是要有有效的图数据表示,这在很大程度上决定了大多数下游任务的性能。在本报告中,我将介绍图的学习表示的最新进展,如节点表示学习、图的可视化、知识图谱的嵌入、图的神经网络、图的生成及其在各种任务中的应用。

地址: https://github.com/tangjianpku/tangjianpku.github.io/blob/master/files/GraphRepresentationLearning-Mila-2020.5.pdf

成为VIP会员查看完整内容
0
30

利用物联网(IoT)将机器学习应用于农业、电信和能源领域的案例研究。本书首先介绍如何设置软件和硬件组件,包括各种传感器,以实现Python中的案例研究。

案例研究部分首先对电信行业的物联网电话掉线进行了研究,然后对工业机器的能源审计和预测维护进行了案例研究,最后介绍了农业企业预测现金作物歉收的技术。最后一节讨论在这些领域中实现机器学习和物联网时要避免的陷阱。

阅读本书后,您将了解物联网和机器学习如何在示例领域中使用,并有实际的案例研究来使用和扩展。使用Python,您将能够使用Raspberry pi3b +和Arduino Mega 2560创建企业级应用程序。

你会学到什么

  • 使用物联网实现机器学习,并使用Python解决电信、农业和能源行业的问题
  • 在实际场景中建立和使用工业级物联网产品,如Modbus RS485协议设备
  • 为商用级物联网或物联网项目开发解决方案
  • 利用物联网从零开始进行机器学习的案例研究

这本书是给谁的

  • Raspberry Pi和Arduino爱好者以及数据科学和机器学习专业人士。
成为VIP会员查看完整内容
0
36
Top