一年前,Datawhale开源项目南瓜书发布,受到全网转发,一年后,南瓜书完整版正式撒花完结。从基础公式解析到难点探讨,无论你数学功底如何,都可以在南瓜书里找到你想要的。

关于本书 《南瓜书 Pumpkin-Book》由开源组织Datawhale发起,团队成员谢文睿、秦州牵头,针对国内机器学习经典教材--周志华老师的《机器学习》,将教材中难以理解的公式做了解析,对跳跃性较大的公式做了推导,帮助大家解决机器学习中的数学难题。

开源地址:https://github.com/datawhalechina/pumpkin-book

2019年4月3日,南瓜书正式发布。该项目一经发布,受到了广大学习者的一致好评,学习者纷纷表示:老师再也不用担心我的公式推导了,解决了困扰良久的数学难题。

因此,南瓜书发布之初便一跃排名Github Trending第2。截至今日,star数量已经突破1.1万。

南瓜书不但得到了学习者的认可,还受到业内专家的好评,以及机器之心等众多平台推荐,并且有幸得到西瓜书作者--周志华教授本人的分享。

本书细节 时隔一年,南瓜书在原有的基础上进行了充分的迭代优化:对发布时已有章节进行了完善,未完成章节进行了补充;同时,还补充了大量重难点数学知识(见附录);最后,给出了写作南瓜书过程中的参考材料,方便大家深入学习。 如果你数学功底不扎实,南瓜书可以帮你解决公式理解问题。如果你是数学大佬,也可以在南瓜书里有知音的感觉。下面,用几个例子来直观感受下南瓜书的强大。 案例1:玻尔兹曼机的能量方程怎么理解?

案例2:在推导的过程中,给出新的解题思路,例如:向量化的应用。

案例3:对西瓜书中存在的错误进行勘误。

案例4:数学知识扩展,例如贝叶斯学派的扩展。

使用说明 对南瓜书直观的了解后,来具体看下南瓜书的使用说明吧。 南瓜书的最佳使用方法是以西瓜书为主线,遇到自己推导不出来或者看不懂的公式时再来查阅南瓜书;

对于初学机器学习的小白,西瓜书第1章和第2章的公式强烈不建议深究;

超纲的数学知识以附录和参考文献的形式给出;

若南瓜书里没有你想要查阅的公式,或者你发现南瓜书哪个地方有错误,可在南瓜书GitHub的Issues进行反馈。 完整版南瓜书公式目录

成为VIP会员查看完整内容
0
77
中文知识图谱(Chinese Knowledge Graph),最早起源于Google Knowledge Graph。知识图谱本质上是一种语义 网络。其结点代表实体(entity)或者概念(concept),边代表实体/概念之间的各种语义关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】现在搞AI研究写论文,其中论文里的框架图模型图很是考验你画图的能力,不费一番心思功夫,怎能画出一个入得Reviewer法眼的图,论文也不大好中,很是发愁。好消息来了,elvis介绍了有个ML visual的利器,提供一份32页的PPT模型图素材,你在上面可以直接使用画出你要的机器学习深度学习模型图,再也不用担心画图了!

ML Visuals是一个新的协作项目,通过使用更专业、更吸引人、更充分的图块来帮助机器学习社区改进科学传播。你可以在你的演讲或博客文章中自由使用视觉效果。使用任何视觉效果都不需要经过许可,但是如果你能提供设计师/作者(作者信息可以在幻灯片注释中找到),那就太好了。

地址:

https://github.com/dair-ai/ml-visuals

怎么使用ML Visual?

下载这份MLvisual PPT,在上面的模板编辑你要的就行。

要添加您自己的自定义图形,只需添加一个新的幻灯片并重用任何基本的可视组件(请记住请求编辑权限)。您还可以创建自己的幻灯片副本,并自定义您喜欢的内容。我们鼓励作者/设计师在这里添加他们的视觉效果,并允许其他人重用它们。确保包括你的作者信息(在幻灯片的注释部分),这样其他人就可以在其他地方使用你的作品(如博客/演示文稿)。此外,提供一个简短的视觉描述,以帮助用户了解它是关于什么以及他们如何使用它。如果您需要“编辑”权限,请单击上面“仅查看”工具栏下的“请求编辑访问”选项,或者通过ellfae@gmail.com发送电子邮件给我。

从任何一张幻灯片上下载图片都很容易。只需点击文件→下载→(选择你的格式)。

如果你需要帮助定制一个数字或有可能对别人有价值的东西的想法,我们可以帮助。只要在这里打开一个问题,我们将尽我们最大的努力,以赶上视觉。谢谢。

在我们的Slack小组中,有任何关于这个项目的问题都可以问我们。

成为VIP会员查看完整内容
0
106

【导读】来自东北大学自然语言处理实验室 · 小牛翻译的肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu)撰写的《机器翻译:统计建模与深度学习方法》,这是一个教程,目的是对机器翻译的统计建模和深度学习方法进行较为系统的介绍。其内容被编纂成书,可以供计算机相关专业高年级本科生及研究生学习之用,亦可作为自然语言处理,特别是机器翻译相关研究人员的参考资料。本书用tex编写,所有源代码均已开放。

作者:肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu) 单位:东北大学自然语言处理实验室 (NEUNLPLab) / 小牛翻译 (NiuTrans Research) 顾问:姚天顺 (Tianshun Yao) 王宝库 (Baoku Wang) 网站:https://opensource.niutrans.com/mtbook/index.html GitHub:https://github.com/NiuTrans/MTBook

让计算机进行自然语言的翻译是人类长期的梦想,也是人工智能的终极目标之一。自上世纪九十年代起,机器翻译迈入了基于统计建模的时代,发展到今天,深度学习等机器学习方法已经在机器翻译中得到了大量的应用,取得了令人瞩目的进步。

在这个时代背景下,对机器翻译的模型、方法和实现技术进行深入了解是自然语言处理领域研究者和实践者所渴望的。本书全面回顾了近三十年内机器翻译的技术发展历程,并围绕统计建模和深度学习两个主题对机器翻译的技术方法进行了全面介绍。在写作中,笔者力求用朴实的语言和简洁的实例阐述机器翻译的基本模型和方法,同时对相关的技术前沿进行讨论。本书可以供计算机相关专业高年级本科生及研究生学习之用,也可以作为自然语言处理,特别是机器翻译领域相关研究人员的参考资料。

本书共分为七个章节,章节的顺序参考了机器翻译技术发展的时间脉络,同时兼顾了机器翻译知识体系的内在逻辑。各章节的主要内容包括:

  • 第一章:机器翻译简介
  • 第二章:词法、语法及统计建模基础
  • 第三章:基于词的机器翻译模型
  • 第四章:基于短语和句法的机器翻译模型
  • 第五章:人工神经网络和神经语言建模
  • 第六章:神经机器翻译模型
  • 第七章:神经机器翻译实战参加一次比赛

其中,第一章是对机器翻译的整体介绍。第二章和第五章是对统计建模和深度学习方法的介绍,分别建立了两个机器翻译范式的基础知识体系——统计机器翻译和神经机器翻译。统计机器翻译部分(第三、四章)涉及早期的基于单词的翻译模型,以及本世纪初流行的基于短语和句法的翻译模型。神经机器翻译(第六、七章)代表了当今机器翻译的前沿,内容主要涉及了基于端到端表示学习的机器翻译建模方法。特别的,第七章对一些最新的神经机器翻译方法进行了讨论,为相关科学问题的研究和实用系统的开发提供了可落地的思路。图1展示了本书各个章节及核心概念之间的关系。

用最简单的方式阐述机器翻译的基本思想是笔者所期望达到的目标。但是,书中不可避免会使用一些形式化定义和算法的抽象描述,因此,笔者尽所能通过图例进行解释(本书共320张插图)。不过,本书所包含的内容较为广泛,难免会有疏漏,望读者海涵,并指出不当之处。

目录内容:

Part I 机器翻译基础

机器翻译简介 1.1 机器翻译的概念 1.2 机器翻译简史 1.3 机器翻译现状 1.4 机器翻译方法 1.5 翻译质量评价 1.6 机器翻译应用 1.7 开源项目与评测 1.8 推荐学习资源

词法、语法及统计建模基础 2.1 问题概述 2.2 概率论基础 2.3 中文分词 2.4 n-gram 语言模型 2.5 句法分析(短语结构分析) 2.6 小结及深入阅读

Part II 统计机器翻译 基于词的机器翻译模型 3.1 什么是基于词的翻译模型 3.2 构建一个简单的机器翻译系统 3.3 基于词的翻译建模 3.4 IBM 模型 1-2 3.5 IBM 模型 3-5 及隐马尔可夫模型 3.6 问题分析 3.7 小结及深入阅读

基于短语和句法的机器翻译模型 4.1 翻译中的结构信息 4.2 基于短语的翻译模型 4.3 基于层次短语的模型 4.4 基于语言学句法的模型 4.5 小结及深入阅读

Part III 神经机器翻译 人工神经网络和神经语言建模 5.1 深度学习与人工神经网络 5.2 神经网络基础 5.3 神经网络的张量实现 5.4 神经网络的参数训练 5.5 神经语言模型 5.6 小结及深入阅读

神经机器翻译模型

6.1 神经机器翻译的发展简史 6.2 编码器-解码器框架 6.3 基于循环神经网络的翻译模型及注意力机制 6.4 Transformer 6.5 序列到序列问题及应用 6.6 小结及深入阅读

神经机器翻译实战 —— 参加一次比赛 7.1 神经机器翻译并不简单 7.2 数据处理 7.3 建模与训练 7.4 推断 7.5 进阶技术 7.6 小结及深入阅读

Part IV 附录

附录 A:基准数据集和评价工具 附录 B:IBM模型3-5训练方法

参考文献

成为VIP会员查看完整内容
0
55

摘要:过去几年,卷积神经网络因其强大的建模能力引起广泛关注,在自然语言处理、图像识别等领域成功应用。然而,传统的卷积神经网络只能处理欧氏空间数据,而现实生活中的许多场景,如交通网络、社交网络、引用网络等,都是以图数据的形式存在。将卷积神经网络迁移到图数据分析处理中的核心在于图卷积算子的构建和图池化算子的构建。本文对图卷积神经网络进行综述,首先介绍了图卷积神经网络的背景并梳理了两类经典方法——谱方法和空间方法,图数据上平移不变性的缺失给图卷积算子的定义带来困难,谱方法借助卷积定理在谱域定义图卷积,而空间方法通过在节点域定义节点相关性来实现图卷积;进而,本文介绍了图卷积神经网络的最新进展,这其中包括如何利用图卷积神经网络建模图上的复杂信息,如异质连接、高阶连接等,以及如何在大规模图上实现图卷积神经网络;此外,本文介绍了图卷积神经网络的相关应用,包括推荐系统领域,交通预测领域等;最后本文对图卷积神经网络的发展趋势进行了总结和展望。

成为VIP会员查看完整内容
0
63

机器学习是计算机科学中增长最快的领域之一,具有深远的应用。本书的目的是介绍机器学习,以及它所提供的算法范例。本书对机器学习的基本原理和将这些原理转化为实际算法的数学推导提供了理论解释。在介绍了基础知识之后,这本书涵盖了以前教科书没有涉及到的一系列广泛的中心主题。这些包括讨论学习的计算复杂性和凸性和稳定性的概念;重要的算法范例包括随机梯度下降、神经网络和结构化输出学习;以及新兴的理论概念,如PAC-Bayes方法和基于压缩的界限。本文面向高级本科生或刚毕业的学生,使统计学、计算机科学、数学和工程学领域的学生和非专业读者都能接触到机器学习的基本原理和算法。

https://www.cse.huji.ac.il/~shais/UnderstandingMachineLearning/index.html

概述

机器学习是指自动检测数据中有意义的模式。在过去的几十年里,它已经成为几乎所有需要从大数据集中提取信息的任务的通用工具。我们被一种基于机器学习的技术包围着:搜索引擎学习如何给我们带来最好的结果(同时投放有利可图的广告),反垃圾邮件软件学习如何过滤我们的电子邮件信息,信用卡交易被一种学习如何侦测欺诈的软件保护着。数码相机学会识别人脸,智能手机上的智能个人辅助应用学会识别语音指令。汽车配备了使用机器学习算法构建的事故预防系统。机器学习还广泛应用于生物信息学、医学和天文学等科学领域。

所有这些应用程序的一个共同特征是,与计算机的更传统使用相比,在这些情况下,由于需要检测的模式的复杂性,人类程序员无法提供关于这些任务应该如何执行的明确、详细的规范。以智慧生物为例,我们的许多技能都是通过学习我们的经验(而不是遵循给我们的明确指示)而获得或改进的。机器学习工具关注的是赋予程序“学习”和适应的能力。

这本书的第一个目标是提供一个严格的,但易于遵循,介绍机器学习的主要概念: 什么是机器学习?

本书的第二个目标是介绍几种关键的机器学习算法。我们选择展示的算法一方面在实践中得到了成功应用,另一方面提供了广泛的不同的学习技术。此外,我们特别关注适合大规模学习的算法(又称“大数据”),因为近年来,我们的世界变得越来越“数字化”,可用于学习的数据量也在急剧增加。因此,在许多应用中数据量大,计算时间是主要瓶颈。因此,我们明确地量化了学习给定概念所需的数据量和计算时间。

目录:

  • Introduction

Part I: Foundations

  • A gentle start
  • A formal learning model
  • Learning via uniform convergence
  • The bias-complexity trade-off
  • The VC-dimension
  • Non-uniform learnability
  • The runtime of learning

Part II: From Theory to Algorithms

  • Linear predictors
  • Boosting
  • Model selection and validation
  • Convex learning problems
  • Regularization and stability
  • Stochastic gradient descent
  • Support vector machines
  • Kernel methods
  • Multiclass, ranking, and complex prediction problems
  • Decision trees
  • Nearest neighbor
  • Neural networks

Part III: Additional Learning Models

  • Online learning
  • Clustering
  • Dimensionality reduction
  • Generative models
  • Feature selection and generation

Part IV: Advanced Theory

  • Rademacher complexities
  • Covering numbers
  • Proof of the fundamental theorem of learning theory
  • Multiclass learnability
  • Compression bounds
  • PAC-Bayes

Appendices

  • Technical lemmas
  • Measure concentration
  • Linear algebra
成为VIP会员查看完整内容
0
40

生成对抗网络(GANs)是近年来受到广泛关注的一类新型的深度生成模型。GANs通过图像、音频和数据隐式地学习复杂的高维分布。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。据我们所知,目前还没有一项综述特别侧重于这些解决办法的广泛和系统的发展。在这项研究中,我们进行了一个全面的综述,在GANs的设计和优化解决方案提出,以处理GANs的挑战。我们首先确定每个设计和优化技术中的关键研究问题,然后根据关键研究问题提出新的分类结构解决方案。根据分类,我们将详细讨论每个解决方案中提出的不同GANs变体及其关系。最后,在已有研究成果的基础上,提出了这一快速发展领域的研究方向。

https://arxiv.org/abs/2005.00065

概述

深度生成模型(DGMs),如受限玻尔兹曼机(RBMs)、深度信念网络(DBNs)、深度玻尔兹曼机(DBMs)、去噪自编码器(DAE)和生成随机网络(GSN),最近因捕获音频、图像或视频等丰富的底层分布和合成新样本而引起了广泛关注。这些深度生成模型采用基于马尔科夫链蒙特卡罗(MCMC)的[1][2]算法进行建模。基于MCMC的方法计算训练过程中梯度消失的对数似然梯度。这是由马尔科夫链产生的样本生成慢的主要原因,因为它不能足够快地在模式间混合。另一个生成模型,变分自动编码器(VAE),使用带有统计推理的深度学习来表示潜在空间[3]中的一个数据点,并在难以处理的概率计算的近似过程中体验复杂性。此外,这些生成模型是通过最大化训练数据可能性来训练的,其中基于概率的方法在许多数据集(如图像、视频)中经历了维数的诅咒。此外,在高维空间中,从马尔可夫链进行的采样是模糊的,计算速度慢且不准确。

为了解决上述问题,Goodfellow等人提出了生成对抗网(GANs),这是生成模型的另一种训练方法。GANs是一种新颖的深度生成模型,它利用反向传播来进行训练,以规避与MCMC训练相关的问题。GANs训练是生成模型和判别模型之间的极小极大零和博弈。GANs最近在生成逼真图像方面得到了广泛的关注,因为它避免了与最大似然学习[5]相关的困难。图1显示了GANs能力从2014年到2018年的一个进展示例。

GANs是一种结构化的概率模型,它由两个对立的模型组成:生成模型(Generator (G))用于捕获数据分布; 判别模型(Discriminator (D))用于估计生成数据的概率,以确定生成的数据是来自真实的数据分布,还是来自G的分布。D和G使用基于梯度的优化技术(同时梯度下降)玩一个两人极小极大对策,直到纳什均衡。G可以从真实分布中生成采样后的图像,而D无法区分这两组图像。为了更新G和D,由D通过计算两个分布之间的差异而产生的损失来接收梯度信号。我们可以说,GANs设计和优化的三个主要组成部分如下:(i) 网络结构,(ii) 目标(损失)函数,(iii)优化算法。

对多模态数据建模的任务,一个特定的输入可以与几个不同的正确和可接受的答案相关联。图2显示了具有多个自然图像流形(红色)的插图,结果由使用均方误差(MSE)的基本机器学习模型实现,该模型在像素空间(即,导致图像模糊)和GANs所获得的结果,从而驱动重构向自然图像流形方向发展。由于GANs的这一优势,它在许多领域得到了广泛的关注和应用。

GANs在一些实际任务中表现良好,例如图像生成[8][9]、视频生成[11]、域自适应[12]和图像超分辨率[10]等。传统的GANs虽然在很多方面都取得了成功,但是由于D和G训练的不平衡,使得GANs在训练中非常不稳定。D利用迅速饱和的逻辑损失。另外,如果D可以很容易的区分出真假图像,那么D的梯度就会消失,当D不能提供梯度时,G就会停止更新。近年来,对于模式崩溃问题的处理有了许多改进,因为G产生的样本基于少数模式,而不是整个数据空间。另一方面,引入了几个目标(损失)函数来最小化与传统GANs公式的差异。最后,提出了几种稳定训练的方法。

近年来,GANs在自然图像的制作方面取得了突出的成绩。然而,在GANs的训练中存在着主要的挑战。由于网络结构设计不当,使用目标函数和选择优化算法,导致模式崩溃,不收敛和不稳定。最近,为了解决这些挑战,一些更好地设计和优化GANs的解决方案已经被研究,基于重新设计的网络结构、新的目标函数和替代优化算法的技术。为了研究以连续一致的方式处理GANs挑战的GANs设计和优化解决方案,本综述提出了不同GANs解决方案的新分类。我们定义了分类法和子类寻址来构造当前最有前途的GANs研究领域的工作。通过将提出的GANs设计和优化方案分类,我们对其进行了系统的分析和讨论。我们还概述了可供研究人员进一步研究的主要未决问题。

本文贡献:

  • GAN新分类法。在本研究中,我们确定了每个设计和优化技术中的关键研究问题,并提出了一种新的分类法,根据关键研究问题来构造解决方案。我们提出的分类将有助于研究人员增强对当前处理GANs挑战的发展和未来研究方向的理解。

  • GAN全面的调研。根据分类法,我们提供了对各种解决方案的全面审查,以解决GANs面临的主要挑战。对于每一种类型的解决方案,我们都提供了GANs变体及其关系的详细描述和系统分析。但是,由于广泛的GANs应用,不同的GANs变体以不同的方式被制定、训练和评估,并且这些GANs之间的直接比较是复杂的。为此,我们进行了必要的比较,总结了相应的方法。他们提出了解决GANs挑战的新方案。这个调查可以作为了解、使用和开发各种实际应用程序的不同GANs方法的指南。

成为VIP会员查看完整内容
0
57

数据科学和人工智能是令人着迷的计算领域。微软在这些新技术上下了很大的赌注,但我们也知道,数据科学家都是训练有素的专业人士,并不是每个软件开发人员都能创建和维护复杂的数据模型,执行线性代数或购买昂贵的GPU设备来运行这些模型。这正是我们创造认知服务的原因。这套服务提供了预训练模型,您可以使用开箱即用的模型来执行视觉、语音、知识、搜索和语言方面的操作。在本次会议上,微软的云开发者倡导者Laurent Bugnion将向您展示如何使用认知服务增强应用程序的高级功能,如何使用自己的数据细化训练过的模型,以及如何将认知服务与其他Azure服务集成以实现任务自动化。

成为VIP会员查看完整内容
0
45

作为布尔逻辑的替代

虽然逻辑是理性推理的数学基础和计算的基本原理,但它仅限于信息既完整又确定的问题。然而,许多现实世界的问题,从金融投资到电子邮件过滤,本质上是不完整或不确定的。概率论和贝叶斯计算共同提供了一个处理不完整和不确定数据的框架。

不完全和不确定数据的决策工具和方法

贝叶斯编程强调概率是布尔逻辑的替代选择,它涵盖了为真实世界的应用程序构建概率程序的新方法。本书由设计并实现了一个高效概率推理引擎来解释贝叶斯程序的团队编写,书中提供了许多Python示例,这些示例也可以在一个补充网站上找到,该网站还提供了一个解释器,允许读者试验这种新的编程方法。

原则和建模

只需要一个基本的数学基础,本书的前两部分提出了一种新的方法来建立主观概率模型。作者介绍了贝叶斯编程的原理,并讨论了概率建模的良好实践。大量简单的例子突出了贝叶斯建模在不同领域的应用。

形式主义和算法

第三部分综合了已有的贝叶斯推理算法的工作,因为需要一个高效的贝叶斯推理引擎来自动化贝叶斯程序中的概率演算。对于想要了解贝叶斯编程的形式主义、主要的概率模型、贝叶斯推理的通用算法和学习问题的读者,本文提供了许多参考书目。

常见问题

第四部分连同词汇表包含了常见问题的答案。作者比较了贝叶斯规划和可能性理论,讨论了贝叶斯推理的计算复杂性,讨论了不完全性的不可约性,讨论了概率的主观主义和客观主义认识论。

贝叶斯计算机的第一步

创建一个完整的贝叶斯计算框架需要新的建模方法、新的推理算法、新的编程语言和新的硬件。本书着重于方法论和算法,描述了实现这一目标的第一步。它鼓励读者探索新兴领域,例如仿生计算,并开发新的编程语言和硬件架构。

成为VIP会员查看完整内容
0
42

算法与理论是计算机科学的核心领域之一。随着大数据时代的来临,传统的算法理论已经不能很好地解决人工智能、 物联网、工业制造等领域所遇到的实际问题。本门课程主要介绍基于大数据的新型算法技术,如随机采样、数据降维、数据压缩、分布式计算、 流数据计算、聚类、分类、随机优化等,以及相关的理论和数学技巧,如概率计算方法、vc维、通信复杂度、机器学习、深度学习理论等。作为一门理论方向课程,帮助学生掌握解决大数据问题所需的理论和算法工具,为相关领域的工程实践打好基础。

课程简介ppt (pdf) 主成分分析 (pdf) JL-变换 (pdf) LSH(局部敏感哈希) (pdf) Product Quantization (pdf) VC-dimension (pdf) 聚类 (pdf) 分类 (pdf) Gilbert Algorithm (pdf) MaxCut (pdf)

成为VIP会员查看完整内容
1
47

【导读】深度学习中的优化问题是非常关键的。今年国立台湾大学教授、IEEE Fellow、ACM Fellow、AAAI Fellow,也是大名鼎鼎LIBSVM作者林智仁教授开设了《深度学习优化方法》课程,讲解深度学习涉及到非常难的非凸优化问题,研究了深度学习优化方法的实现,值得跟踪学习。

https://www.csie.ntu.edu.tw/~cjlin/courses/optdl2020/

Chih-Jen Lin,现任台湾大学计算机科学系特聘教授。1993年获国立台湾大学学士学位,1998年获密歇根大学博士学位。他的主要研究领域包括机器学习、数据挖掘和数值优化。他最著名的工作是支持向量机(SVM)数据分类。他的软件LIBSVM是最广泛使用和引用的支持向量机软件包之一。由于他的研究工作,他获得了许多奖项,包括ACM KDD 2010和ACM RecSys 2013最佳论文奖。因为他对机器学习算法和软件设计的贡献,他是IEEE fellow,AAAI fellow,ACM fellow。更多关于他的信息可以在http://www.csie.ntu.edu.tw/~cjlin

目录内容:

  • 正则化线性分类
  • 全连接网络优化问题
  • 卷积神经网络优化问题
成为VIP会员查看完整内容
Optimization Problems for Neural Networks.pdf
0
30

人类的视觉系统证明,用极少的样本就可以学习新的类别;人类不需要一百万个样本就能学会区分野外的有毒蘑菇和可食用蘑菇。可以说,这种能力来自于看到了数百万个其他类别,并将学习到的表现形式转化为新的类别。本报告将正式介绍机器学习与热力学之间的联系,以描述迁移学习中学习表征的质量。我们将讨论诸如速率、畸变和分类损失等信息理论泛函如何位于一个凸的,所谓的平衡曲面上。我们规定了在约束条件下穿越该表面的动态过程,例如,一个调制速率和失真以保持分类损失不变的等分类过程。我们将演示这些过程如何完全控制从源数据集到目标数据集的传输,并保证最终模型的性能。

成为VIP会员查看完整内容
0
47

近年来,人们对学习图结构数据表示的兴趣大增。基于标记数据的可用性,图表示学习方法一般分为三大类。第一种是网络嵌入(如浅层图嵌入或图自动编码器),它侧重于学习关系结构的无监督表示。第二种是图正则化神经网络,它利用图来增加半监督学习的正则化目标的神经网络损失。第三种是图神经网络,目的是学习具有任意结构的离散拓扑上的可微函数。然而,尽管这些领域很受欢迎,但在统一这三种范式方面的工作却少得惊人。在这里,我们的目标是弥合图神经网络、网络嵌入和图正则化模型之间的差距。我们提出了图结构数据表示学习方法的一个综合分类,旨在统一几个不同的工作主体。具体来说,我们提出了一个图编码解码器模型(GRAPHEDM),它将目前流行的图半监督学习算法(如GraphSage、Graph Convolutional Networks、Graph Attention Networks)和图表示的非监督学习(如DeepWalk、node2vec等)归纳为一个统一的方法。为了说明这种方法的一般性,我们将30多个现有方法放入这个框架中。我们相信,这种统一的观点既为理解这些方法背后的直觉提供了坚实的基础,也使该领域的未来研究成为可能。

概述

学习复杂结构化数据的表示是一项具有挑战性的任务。在过去的十年中,针对特定类型的结构化数据开发了许多成功的模型,包括定义在离散欧几里德域上的数据。例如,序列数据,如文本或视频,可以通过递归神经网络建模,它可以捕捉序列信息,产生高效的表示,如机器翻译和语音识别任务。还有卷积神经网络(convolutional neural networks, CNNs),它根据移位不变性等结构先验参数化神经网络,在图像分类或语音识别等模式识别任务中取得了前所未有的表现。这些主要的成功仅限于具有简单关系结构的特定类型的数据(例如,顺序数据或遵循规则模式的数据)。

在许多设置中,数据几乎不是规则的: 通常会出现复杂的关系结构,从该结构中提取信息是理解对象之间如何交互的关键。图是一种通用的数据结构,它可以表示复杂的关系数据(由节点和边组成),并出现在多个领域,如社交网络、计算化学[41]、生物学[105]、推荐系统[64]、半监督学习[39]等。对于图结构的数据来说,将CNNs泛化为图并非易事,定义具有强结构先验的网络是一项挑战,因为结构可以是任意的,并且可以在不同的图甚至同一图中的不同节点之间发生显著变化。特别是,像卷积这样的操作不能直接应用于不规则的图域。例如,在图像中,每个像素具有相同的邻域结构,允许在图像中的多个位置应用相同的过滤器权重。然而,在图中,我们不能定义节点的顺序,因为每个节点可能具有不同的邻域结构(图1)。此外,欧几里德卷积强烈依赖于几何先验(如移位不变性),这些先验不能推广到非欧几里德域(如平移可能甚至不能在非欧几里德域上定义)。

这些挑战导致了几何深度学习(GDL)研究的发展,旨在将深度学习技术应用于非欧几里德数据。特别是,考虑到图在现实世界应用中的广泛流行,人们对将机器学习方法应用于图结构数据的兴趣激增。其中,图表示学习(GRL)方法旨在学习图结构数据的低维连续向量表示,也称为嵌入。

广义上讲,GRL可以分为两类学习问题,非监督GRL和监督(或半监督)GRL。第一个系列的目标是学习保持输入图结构的低维欧几里德表示。第二系列也学习低维欧几里德表示,但为一个特定的下游预测任务,如节点或图分类。与非监督设置不同,在非监督设置中输入通常是图结构,监督设置中的输入通常由图上定义的不同信号组成,通常称为节点特征。此外,底层的离散图域可以是固定的,这是直推学习设置(例如,预测一个大型社交网络中的用户属性),但也可以在归纳性学习设置中发生变化(例如,预测分子属性,其中每个分子都是一个图)。最后,请注意,虽然大多数有监督和无监督的方法学习欧几里德向量空间中的表示,最近有兴趣的非欧几里德表示学习,其目的是学习非欧几里德嵌入空间,如双曲空间或球面空间。这项工作的主要动机是使用一个连续的嵌入空间,它类似于它试图嵌入的输入数据的底层离散结构(例如,双曲空间是树的连续版本[99])。

鉴于图表示学习领域的发展速度令人印象深刻,我们认为在一个统一的、可理解的框架中总结和描述所有方法是很重要的。本次综述的目的是为图结构数据的表示学习方法提供一个统一的视图,以便更好地理解在深度学习模型中利用图结构的不同方法。

目前已有大量的图表示学习综述。首先,有一些研究覆盖了浅层网络嵌入和自动编码技术,我们参考[18,24,46,51,122]这些方法的详细概述。其次,Bronstein等人的[15]也给出了非欧几里德数据(如图或流形)的深度学习模型的广泛概述。第三,最近的一些研究[8,116,124,126]涵盖了将深度学习应用到图数据的方法,包括图数据神经网络。这些调查大多集中在图形表示学习的一个特定子领域,而没有在每个子领域之间建立联系。

在这项工作中,我们扩展了Hamilton等人提出的编码-解码器框架,并介绍了一个通用的框架,图编码解码器模型(GRAPHEDM),它允许我们将现有的工作分为四大类: (i)浅嵌入方法,(ii)自动编码方法,(iii) 图正则化方法,和(iv) 图神经网络(GNNs)。此外,我们还介绍了一个图卷积框架(GCF),专门用于描述基于卷积的GNN,该框架在广泛的应用中实现了最先进的性能。这使我们能够分析和比较各种GNN,从在Graph Fourier域中操作的方法到将self-attention作为邻域聚合函数的方法[111]。我们希望这种近期工作的统一形式将帮助读者深入了解图的各种学习方法,从而推断出相似性、差异性,并指出潜在的扩展和限制。尽管如此,我们对前几次综述的贡献有三个方面

  • 我们介绍了一个通用的框架,即GRAPHEDM,来描述一系列广泛的有监督和无监督的方法,这些方法对图形结构数据进行操作,即浅层嵌入方法、图形正则化方法、图形自动编码方法和图形神经网络。

  • 我们的综述是第一次尝试从同一角度统一和查看这些不同的工作线,我们提供了一个通用分类(图3)来理解这些方法之间的差异和相似之处。特别是,这种分类封装了30多个现有的GRL方法。在一个全面的分类中描述这些方法,可以让我们了解这些方法究竟有何不同。

  • 我们为GRL发布了一个开源库,其中包括最先进的GRL方法和重要的图形应用程序,包括节点分类和链接预测。我们的实现可以在https://github.com/google/gcnn-survey-paper上找到。

成为VIP会员查看完整内容
0
55

【导读】图神经网络依然是当下的研究热点之一。DeepMind研究科学家Petar Veličković在Twitter上开放了自己的剑桥大学博士论文《深度神经网络结构的》,共有147页pdf,里面涵盖了出名的图神经网络GAT和Deep Graph Infomax的经典工作。

Petar Veličković,DeepMind研究科学家。在Pietro Lio的指导下获得了剑桥大学的计算机科学博士学位。我的研究兴趣包括设计操作非平凡结构数据(如图)的神经网络架构,以及它们在算法推理和计算生物学中的应用。特别地,我是Graph Attention Network(图注意力网络)的第一作者和Deep Graph Infomax的第一作者。我的研究已经在ZDNet等媒体上发表。

https://petar-v.com/

深层神经网络结构的复兴

摘要:

使用深度神经网络的机器学习(“深度学习”)允许直接从原始输入数据学习复杂特征,完全消除了学习流程中手工“硬编码”的特征提取。这促使了计算机视觉,自然语言处理,强化学习和生成模型的相关任务性能的提升。这些成功案例几乎都是与大量带有标记的训练样本(“大数据”)密切相关的,这些示例展示了简单的网格状结构(例如文本或图像),可通过卷积或循环层加以利用。这是因为神经网络的自由度非常大,使得它们的泛化能力容易受到过度拟合等影响。然而,在许多领域,广泛的数据收集并不总是合适的,负担得起的,甚至是可行的。此外,数据通常以更复杂的结构组织起来——大多数现有的方法都会简单地抛弃这种结构。这类任务的例子在生物医学领域非常丰富。我假设,如果深度学习要在这样的环境中充分发挥其潜力,我们需要重新考虑“硬编码”方法——通过结构性归纳偏差,将输入数据中的固有结构假设直接整合到我们的架构和学习算法中。在本文中,我通过开发三个注入结构的神经网络架构(操作稀疏多模态和图结构的数据)和一个基于结构的图神经网络学习算法直接验证了这一假设,证明了超越传统基线模型和算法的性能提升。

地址:

https://www.repository.cam.ac.uk/handle/1810/292230

论文结构:

本文主要贡献的概述。首先,提出了两种具有特殊结构诱导偏差的多模态学习早期融合模型;一个用于网格结构输入模式(X‐CNN[176]),另一个用于顺序输入模式(X‐LSTM[177])。接下来,图卷积层的理想结构偏差在图注意力网络(GAT[174])模型中得到了应用,并且第一次同时得到了满意的结果。最后,通过Deep Graph Infomax (DGI[175])算法成功地引入了局部互信息最大化,将其作为一个无监督学习目标用于图的结构输入,允许在学习节点表示时结合图卷积编码器引入非常强大的结构诱导偏差。

成为VIP会员查看完整内容
0
34

摘要

知识图谱(KGs)在工业和学术领域有很多应用,这反过来又推动了朝着大规模地从各种来源提取信息大量的研究工作。尽管付出了这些努力,但众所周知,即使是最先进的KGs也是不完整的。链路预测(Link Prediction, LP)是一种根据KG中已存在的实体去预测缺失事实的任务,是一种有前途的、广泛研究的、旨在解决KG的不完整的任务。在最近的LP技术中,基于KG嵌入的LP技术在一些基准测试中取得了很好的性能。尽管这方面的文献在迅速增加,但对这些方法中各种设计选择的影响却没有引起足够的注意。此外,这一领域的标准做法是通过测试大量的事实来报告准确性,其中一些实体被过度表示;这允许LP方法通过只修改包含这些实体的结构属性来展示良好的性能,而忽略KG的主要部分。本篇综述分析提供了基于嵌入的LP方法的全面比较,将分析的维度扩展到常见的文献范围之外。我们通过实验比较了16种最先进的方法的有效性和效率,考虑了一个基于规则的基准,并报告了文献中最流行的基准的详细分析。

介绍

知识图谱(KGs)是真实世界信息的结构化表示。在一个KG中,节点表示实体,例如人和地点;标签是连接它们的关系类型;边是用关系连接两个实体的特定事实。由于KGs能够以机器可读的方式对结构化、复杂的数据进行建模,因此它被广泛应用于各个领域,从问答到信息检索和基于内容的推荐系统,并且对于任何语义web项目都非常重要。常见的KG有FreeBase、WikiData、DBPedia、Yago和行业KG有谷歌KG、Satori和Facebook Graph Search。这些巨大的KG可以包含数百万个实体和数十亿个事实。

尽管有这样的努力,但众所周知,即使是最先进的KGs也存在不完整性问题。例如,据观察FreeBase是用于研究目的的最大和最广泛使用的KGs之一,但是在FreeBase中超过70%的个体没有出生地点,超过99%的个体没有民族。这使得研究人员提出了各种各样的技术来纠正错误,并将缺失的事实添加到KGs中,通常称为知识图谱补全或知识图谱增强任务。可以通过从外部源(如Web语料库)提取新的事实,或者从KG中已经存在的事实推断缺失的事实,来增长现有的KG。后来的方法,称为链接预测(LP),是我们分析的重点。

LP一直是一个日益活跃的研究领域,最近受益于机器学习和深度学习技术的爆炸式增长。目前绝大多数LP模型使用原始的KG元素来学习低维表示,称为知识图谱嵌入,然后利用它们来推断新的事实。在短短几年的时间里,研究人员受到RESCAL和TransE等一些开创性工作的启发,开发了几十种基于不同的架构的新模型。这一领域的绝大多数论文都有一个共同点,但也存在问题,那就是它们报告的结果汇总在大量的测试事实之上,其中很少有实体被过度表示。因此,LP方法可以在这些基准上表现出良好的性能,只对这些实体进行访问,而忽略其他实体。此外,当前最佳实践的局限性可能使人们难以理解这一文献中的论文是如何结合在一起的,以及如何描述出值得追求的研究方向。除此之外,目前技术的优点、缺点和局限性仍然是未知的,也就是说,几乎没有研究过允许模型更好地执行的情况。粗略地说,我们仍然不知道是什么可以让一个事实变得容易还是难以学习和预测。

为了缓解上述问题,我们对一组有代表性的基于KG嵌入的LP模型进行了广泛的比较分析。我们优先考虑最先进的系统,并考虑属于广泛的体系结构的工作。我们从零开始对这些系统进行训练和调整,并通过提出新的、信息丰富的评估实践,提供超出原始论文的实验结果。具体是:

我们考虑了16个模型,属于不同的机器学习和深度学习架构;我们还采用了一个基于规则挖掘的附加的最先进的LP模型作为基线。我们提供了实验比较考虑的方法的详细描述和相关文献的总结,以及知识图谱嵌入技术的教育分类。 我们考虑了5个最常用的数据集,以及目前用于基准测试的最流行的指标;我们详细分析了它们的特点和特性。 对于每个模型,我们为每个数据集提供了效率和有效性的定量结果。 我们在训练数据中提出一组结构特征,并测量它们如何影响每个模型对每个测试事实的预测性能。

方法概述

在本节中,我们描述并讨论了基于潜在特征的知识管理的主要方法。正如在第2节中所描述的,LP模型可以利用各种各样的方法和架构,这取决于它们如何对优化问题进行建模,以及它们实现来处理优化问题的技术。

为了概述它们高度不同的特征,我们提出了一种新的分类法,如图1所示。我们列出了三个主要的系列模型,并进一步将它们划分为更小的组,以独特的颜色标识。对于每个组,我们都包括最有效的代表性模型,优先考虑那些达到最先进性能的模型,并且在任何可能的情况下,优先考虑那些具有公开可用实现的模型。结果是一组16个模型,基于极其多样化的架构;这些是我们随后在比较分析的实验部分所使用的模型。对于每个模型,我们还报告了发表的年份以及从其他模型得到的信息。我们认为,这种分类有助于理解这些模型和在我们的工作中进行的实验。表1报告了关于所包括的模型的进一步信息,例如它们的损失函数和空间复杂性。我们确定了三大类模型:1)张量分解模型;2)几何模型;3)深度学习模型。

张量分解模型

这个家族的模型将LP解释为一个张量分解的任务。这些模型隐式地将KG考虑为一个三维邻接矩阵(即一个3维张量),由于KG的不完整性,这个邻接矩阵只有部分可观测。张量被分解成低维向量的组合(比如一个多线性乘积):这些向量被用作实体和关系的嵌入表示。张量分解的核心思想是,只要训练集训练不过拟合,则学习到的嵌入应该能够泛化,并将高值与图邻接矩阵中不可观测的真实事实相关联。在实践中,每个事实的得分都是通过对事实中涉及的特定嵌入进行组合计算得出的;通过优化所有训练事实的评分函数,可以像往常一样进行学习嵌入。这些模型倾向于使用很少或根本没有共享参数;这使得它们特别容易训练。

几何模型

几何模型将关系解释为潜在空间的几何变换。对于给定的事实,头实体嵌入进行空间转换τ,使用嵌入的关系作为参数的值。对事实评分的值是结果向量和尾向量之间的距离;这样则可以使用距离函数计算δ(例如L1和L2范数)。

深度学习模型

深度学习模型使用深度神经网络来执行LP任务。神经网络学习参数,如权重和偏差,它们结合输入数据,以识别显著模式。深度神经网络通常将参数组织成独立的层,通常穿插非线性激活函数。

随着时间的推移,人们开发了许多不同类型的层,对输入数据应用不同的操作。例如,全连接层将把输入数据X与权重W结合起来,并添加一个偏差B: W X + B。为了简单起见,在下面的公式中我们将不提及偏差的使用,使其保持隐式。更高级的层执行更复杂的操作,如卷积层(它学习卷积内核以应用于输入数据)或递归层(以递归方式处理顺序输入)。

在LP任务中,通常结合各层的权重和偏差来学习KG嵌入;这些共享的参数使这些模型更有表现力,但可能导致参数更多,更难训练,更容易过拟合。

成为VIP会员查看完整内容
0
35

【导读】纽约大学开设的离散数学课程,这是一门运用于计算机科学的离散数学课程。这只是一门一学期的课程,所以有很多话题是它没有涉及到的,或者没有深入讨论。但我们希望这能给你一个技能的基础,你可以在你需要的时候建立,特别是给你一点数学的成熟——对数学是什么和数学定义和证明如何工作的基本理解。

成为VIP会员查看完整内容
0
32

关于本书

我编写了《Geoprocessing for Python》 来帮助您学习处理地理空间数据的基础知识,主要使用GDAL/OGR。当然,还有其他的选择,但是其中一些是在GDAL之上构建的,所以如果您理解了这本书中的内容,您就可以很容易地获得它们。这不是一本关于地理信息系统或遥感的书,尽管会解释一些背景理论。相反,本书将教您如何编写用于操作和创建空间数据的Python代码,以及一些简单的分析。您可以使用这些构建块来简化您自己设计的更复杂的分析。

关于作者

Chris Garrard是在犹他州立大学昆尼自然资源学院的遥感/地理信息系统实验室做了近15年的开发人员。在那段时间里,她一直在教授一门关于Python的GIS课程,她还在校园和会议上教授研讨会。她喜欢向人们展示处理数据的开源方法,但是她最喜欢的教学方法是“Aha!”,当某人意识到编码的能力对他们的工作有多大帮助的时候。

面向人群

这本书是为任何想学习使用地理空间数据的人准备的。本文解释了GIS和遥感的一些基础知识,以便初次接触地理空间分析的读者了解他们为什么要学习某些内容,但是代码开始时非常简单,因此具有地理空间背景但没有太多编码经验的人也会从中受益。

内容介绍

本书共分13章。它首先介绍了地理空间数据和Python,然后介绍了矢量数据、空间参考系统、光栅数据和可视化。

  • 第1章是空间数据和分析的介绍。它描述了您可以对不同类型的数据执行的分析类型,以及向量和栅格数据之间的差异以及它们各自的用途。

  • 第2章是Python的快速入门。

  • 第3章解释了什么是OGR库,并教你如何读、写和编辑向量数据源。

  • 第4章深入探讨向量格式之间的差异。虽然在许多情况下可以对各种格式进行相同的处理,但是在这里您将了解特定的功能。

  • 第5章教你如何过滤和选择基于空间和attri- bute关系的数据。

  • 第6章描述了创建和编辑点、线和多边形几何图形的细节。

  • 第7章向您展示了如何查看几何图形之间的空间关系,以及如何使用这些概念进行简单的分析。

  • 第8章包括空间参考系统的介绍,然后教你如何使用它们并在它们之间转换数据。

  • 第9章解释了什么是GDAL库,并教你如何读写光栅数据集。它还向您展示了如何在实际坐标和像素偏移量之间进行转换。

  • 第10章向您介绍如何处理光栅数据的各个方面,如地面控制点、颜色表、直方图和属性表。它还包括回调函数和错误处理程序的使用。

  • 第11章描述了如何在映射代数中使用NumPy和SciPy,包括局部、焦点、区域和全局分析,并介绍了重新采样数据的一些方法。

  • 第12章向您展示了一些用于有监督和无监督地图分类的技术。

  • 第13章教你如何使用matplotlib和Mapnik来可视化你的数据。

成为VIP会员查看完整内容
Geoprocessing with Python.pdf
0
33

随着机器学习模型越来越多地用于在医疗保健和刑事司法等高风险环境中帮助决策者,确保决策者(最终用户)正确理解并信任这些模型的功能非常重要。我们将回顾了解模型的可解释性和explainability的概念,详细讨论不同类型的可说明的模型(例如,基于原型方法,稀疏线性模型、基于规则的技术,广义可加模型),事后解释(黑箱解释,包括反事实解释和显著性映射),并探索可解释性与因果性、调试和公平性之间的联系。可解释机器学习这些应用可以极大地受益于模型的可解释性,包括刑事司法和医疗保健。

成为VIP会员查看完整内容
0
33

本书主要内容包括:数据清洗在数据科学领域中的重要作用,文件格式、数据类型、字符编码的基本概念,组织和处理数据的电子表格与文本编辑器,各种格式数据的转换方法,解析和清洗网页上的HTML 文件的三种策略,提取和清洗PDF 文件中数据的方法,检测和清除RDBMS 中的坏数据的解决方案,以及使用书中介绍的方法清洗来自Twitter 和Stack Overflow 的数据。

本书适合任何水平的数据科学家以及对数据清理感兴趣的读者阅读。

数据清洗是数据挖掘与分析过程中不可缺少的一个环节,但因为数据类型极其复杂,传统的清洗脏数据工作单调乏味且异常辛苦。如果能利用正确的工具和方法,就可以让数据清洗工作事半功倍。

本书从文件格式、数据类型、字符编码等基本概念讲起,通过真实的示例,探讨如何提取和清洗关系型数据库、网页文件和PDF文档中的数据。最后提供了两个真实的项目,让读者将所有数据清洗技术付诸实践,完成整个数据科学过程。

如果你是一位数据科学家,或者从事数据科学工作,哪怕是位新手,只要对数据清洗有兴趣,那么本书就适合你阅读!

  • 理解数据清洗在整个数据科学过程中的作用
  • 掌握数据清洗的基础知识,包括文件清洗、数据类型、字符编码等
  • 发掘电子表格和文本编辑器中与数据组织和操作相关的重要功能
  • 学会常见数据格式的相互转换,如JSON、CSV和一些特殊用途的格式
  • 采用三种策略来解析和清洗HTML文件中的数据
  • 揭开PDF文档的秘密,提取需要的数据
  • 借助一系列解决方案来清洗存放在关系型数据库里的坏数据
  • 创建自己的干净数据集,为其打包、添加授权许可并与他人共享
  • 使用书中的工具以及Twitter和Stack Overflow数据,完成两个真实的项目
成为VIP会员查看完整内容
0
50

【导读】图表示学习是当下研究的热点之一。HEC 蒙特利尔大学商学院助理教授唐建唐建博士最近总结了《图表示学习》研究进展,总结了他和组里学生们和这些年来在图表示学习方向上比较重要的工作。非常值得学习!

唐建博士自2017年12月起担任Mila(魁北克AI研究所)和HEC Montreal的助理教授。他是加拿大CIFAR第一批人工智能主席(CIFAR AI Research Chair)。他的研究方向是深度图表示学习,在知识图谱、药物发现和推荐系统等领域有着广泛的应用。他是密歇根大学和卡内基梅隆大学的研究员。他在北京大学获得博士学位,并在密歇根大学做了两年的访问学者。他在微软亚洲研究院做了两年的研究员。他在图表示学习(如LINE、LargeVis和RotatE)方面的工作得到了广泛的认可。他获得了ICML ' 14的最佳论文奖和WWW ' 16的最佳论文提名。

个人主页: https://jian-tang.com/

图表示学习:算法与应用

图在现实世界中是无处不在的,涵盖了从社交网络、推荐系统、知识图谱、计算机视觉和药物发现等各种应用。要分析图数据,一个重要的先决条件是要有有效的图数据表示,这在很大程度上决定了大多数下游任务的性能。在本报告中,我将介绍图的学习表示的最新进展,如节点表示学习、图的可视化、知识图谱的嵌入、图的神经网络、图的生成及其在各种任务中的应用。

地址: https://github.com/tangjianpku/tangjianpku.github.io/blob/master/files/GraphRepresentationLearning-Mila-2020.5.pdf

成为VIP会员查看完整内容
0
35

利用物联网(IoT)将机器学习应用于农业、电信和能源领域的案例研究。本书首先介绍如何设置软件和硬件组件,包括各种传感器,以实现Python中的案例研究。

案例研究部分首先对电信行业的物联网电话掉线进行了研究,然后对工业机器的能源审计和预测维护进行了案例研究,最后介绍了农业企业预测现金作物歉收的技术。最后一节讨论在这些领域中实现机器学习和物联网时要避免的陷阱。

阅读本书后,您将了解物联网和机器学习如何在示例领域中使用,并有实际的案例研究来使用和扩展。使用Python,您将能够使用Raspberry pi3b +和Arduino Mega 2560创建企业级应用程序。

你会学到什么

  • 使用物联网实现机器学习,并使用Python解决电信、农业和能源行业的问题
  • 在实际场景中建立和使用工业级物联网产品,如Modbus RS485协议设备
  • 为商用级物联网或物联网项目开发解决方案
  • 利用物联网从零开始进行机器学习的案例研究

这本书是给谁的

  • Raspberry Pi和Arduino爱好者以及数据科学和机器学习专业人士。
成为VIP会员查看完整内容
0
36
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习 (Reinforcement learning) 是受到行为心理学启发,机器学习中研究个体 (agent) 如何在环境中采取行动以最大化奖赏 (reward) 的领域。

这一问题由于其普遍性,在许多领域中都有研究,例如博弈论,控制论,运筹学,信息论等等。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,[1]对于大型图像处理有出色表现。
命名实体识别
命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top