《图像处理手册》一直被评为计算机图像处理的最佳整体介绍,涵盖二维(2D)和三维(3D)成像技术、图像打印和存储方法、图像处理算法、图像和特征测量、定量图像测量分析等等。

  • 比以前的版本有更多的计算密集型算法
  • 提供更好的组织,更多的定量结果,和最新发展的新材料
  • 包括在3D成像和在统计分析上彻底修改的一章完全重写的章节
  • 包含超过1700个参考文献的理论,方法,和应用在广泛的学科
  • 呈现了500多个全新的人物和图像,其中超过三分之二是彩色的

《图像处理手册》第七版提供一个可接近的和最新的图像处理的处理,提供广泛的覆盖和算法的比较,方法,和结果。

成为VIP会员查看完整内容
0
62
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

摘要

文本分类是自然语言处理中最基本、最基本的任务。过去十年,由于深度学习取得了前所未有的成功,这一领域的研究激增。大量的方法、数据集和评价指标已经在文献中提出,提高了全面和更新综述的需要。本文通过回顾1961年到2020年的先进方法的现状来填补这一空白,侧重于从浅到深的模型学习。我们根据所涉及的文本和用于特征提取和分类的模型创建文本分类的分类法。然后我们详细讨论每一个类别,处理支持预测测试的技术发展和基准数据集。本综述还提供了不同技术之间的综合比较,以及确定各种评估指标的优缺点。最后,总结了本研究的关键意义、未来研究方向和面临的挑战。

介绍

在许多自然语言处理(NLP)应用中,文本分类(为文本指定预定义标签的过程)是一个基本和重要的任务, 如情绪分析[1][2][3],主题标签[4][5][6],问答[7][8][9]和对话行为分类。在信息爆炸的时代,手工对大量文本数据进行处理和分类是一项耗时且具有挑战性的工作。此外,手工文本分类的准确性容易受到人为因素的影响,如疲劳、专业知识等。人们希望使用机器学习方法来自动化文本分类过程,以产生更可靠和较少主观的结果。此外,通过定位所需信息,可以提高信息检索效率,缓解信息超载的问题。 图1给出了在浅层和深层分析的基础上,文本分类所涉及的步骤流程图。文本数据不同于数字、图像或信号数据。它需要NLP技术来仔细处理。第一个重要的步骤是对模型的文本数据进行预处理。浅层学习模型通常需要通过人工方法获得良好的样本特征,然后用经典的机器学习算法对其进行分类。因此,特征提取在很大程度上制约了该方法的有效性。然而,与浅层模型不同,深度学习通过学习一组直接将特征映射到输出的非线性转换,将特征工程集成到模型拟合过程中。

主要文本分类方法的示意图如图2所示。从20世纪60年代到21世纪10年代,基于浅层学习的文本分类模型占据了主导地位。浅层学习意味着在乐此不疲的模型,如 NaÃŕve Bayes(NB)[10], K-近邻(KNN)[11],和支持向量机(SVM)[12]。与早期基于规则的方法相比,该方法在准确性和稳定性方面具有明显的优势。然而,这些方法仍然需要进行特征工程,这是非常耗时和昂贵的。此外,它们往往忽略文本数据中自然的顺序结构或上下文信息,使学习词汇的语义信息变得困难。自2010年代以来,文本分类逐渐从浅层学习模式向深度学习模式转变。与基于浅层学习的方法相比,深度学习方法避免了人工设计规则和特征,并自动提供文本挖掘的语义意义表示。因此,大部分文本分类研究工作都是基于DNNs的,这是一种计算复杂度很高的数据驱动方法。很少有人关注于用浅层学习模型来解决计算和数据的局限性。

在文献中,Kowsari等[13]考虑了不同的文本特征提取、降维方法、文本分类的基本模型结构和评价方法。Minaee等人[14]回顾了最近基于深度学习的文本分类方法、基准数据集和评估指标。与现有的文本分类研究不同,我们利用近年来的研究成果对现有的模型进行了从浅到深的总结。浅层学习模型强调特征提取和分类器设计。一旦文本具有精心设计的特征,就可以通过训练分类器来快速收敛。在不需要领域知识的情况下,DNNs可以自动进行特征提取和学习。然后给出了单标签和多标签任务的数据集和评价指标,并从数据、模型和性能的角度总结了未来的研究挑战。此外,我们在4个表中总结了各种信息,包括经典浅层和深度学习模型的必要信息、DNNs的技术细节、主要数据集的主要信息,以及在不同应用下的最新方法的一般基准。总而言之,本研究的主要贡献如下:

  • 我们在表1中介绍了文本分类的过程和发展,并总结了经典模式在出版年份方面的必要信息,包括地点、应用、引用和代码链接。

  • 根据模型结构,从浅层学习模型到深度学习模型,对主要模型进行了全面的分析和研究。我们在表2中对经典或更具体的模型进行了总结,并主要从基本模型、度量和实验数据集方面概述了设计差异。

  • 我们介绍了现有的数据集,并给出了主要的评价指标的制定,包括单标签和多标签文本分类任务。我们在表3中总结了基本数据集的必要信息,包括类别的数量,平均句子长度,每个数据集的大小,相关的论文和数据地址。

  • 我们在表5中总结了经典模型在基准数据集上的分类精度得分,并通过讨论文本分类面临的主要挑战和本研究的关键意义来总结综述结果。

成为VIP会员查看完整内容
3
49

近年来, 随着海量数据的涌现, 可以表示对象之间复杂关系的图结构数据越来越受到重视并给已有的算法带来了极大的挑战. 图神经网络作为可以揭示深层拓扑信息的模型, 已开始广泛应用于诸多领域,如通信、生命科学和经济金融等. 本文对近几年来提出的图神经网络模型和应用进行综述, 主要分为以下几类:基于空间方法的图神经网络模型、基于谱方法的图神经网络模型和基于生成方法的图神经网络模型等,并提出可供未来进一步研究的问题.

http://engine.scichina.com/publisher/scp/journal/SSM/50/3/10.1360/N012019-00133?slug=fulltext

图是对对象及其相互关系的一种简洁抽象的直观数学表达. 具有相互关系的数据—图结构数据在众多领域普遍存在, 并得到广泛应用. 随着大量数据的涌现, 传统的图算法在解决一些深层次的重要问题, 如节点分类和链路预测等方面有很大的局限性. 图神经网络模型考虑了输入数据的规模、异质性和深层拓扑信息等, 在挖掘深层次有效拓扑信息、 提取数据的关键复杂特征和 实现对海量数据的快速处理等方面, 例如, 预测化学分子的特性 [1]、文本的关系提取 [2,3]、图形图像的结构推理 [4,5]、社交网络的链路预测和节点聚类 [6]、缺失信息的网络补全 [7]和药物的相互作用预测 [8], 显示了令人信服的可靠性能.

图神经网络的概念最早于 2005 年由 Gori 等 [9]提出, 他借鉴神经网络领域的研究成果, 设计了一种用于处理图结构数据的模型. 2009 年, Scarselli 等 [10]对此模型进行了详细阐述. 此后, 陆续有关于图神经网络的新模型及应用研究被提出. 近年来, 随着对图结构数据研究兴趣的不断增加, 图神经网络研究论文数量呈现出快速上涨的趋势, 图神经网络的研究方向和应用领域都得到了很大的拓展.

目前已有一些文献对图神经网络进行了综述. 文献 [11]对图结构数据和流形数据领域的深度学习方法进行了综述, 侧重于将所述各种方法置于一个称为几何深度学习的统一框架之内; 文献[12]将图神经网络方法分为三类: 半监督学习、无监督学习和最新进展, 并根据发展历史对各种方法进行介绍、分析和对比; 文献[13]介绍了图神经网络原始模型、变体和一般框架, 并将图神经网络的应用划分为结构场景、非结构场景和其他场景; 文献[14]提出了一种新的图神经网络分类方法, 重点介绍了图卷积网络, 并总结了图神经网络方法在不同学习任务中的开源代码和基准.

本文将对图神经网络模型的理论及应用进行综述, 并讨论未来的方向和挑战性问题. 与其他综述文献的不同之处在于, 我们给出新的分类标准, 并且介绍图神经网络丰富的应用成果. 本文具体结构如下: 首先介绍三类主要的图神经网络模型, 分别是基于空间方法的图神经网络、基于谱方法的图神经网络和基于生成方法的图神经网络等; 然后介绍模型在节点分类、链路预测和图生成等方面的应用; 最后提出未来的研究方向.

成为VIP会员查看完整内容
图神经网络.pdf
0
42

机器学习中许多最重要概念路线图,如何学习它们以及使用什么工具来执行它们。

即:

🤔机器学习问题, 机器学习问题是什么样子? ♻️机器学习过程—一旦你发现一个问题,你会采取什么步骤来解决吗? 🛠—你该怎么使用机器学习工具来构建解决方案吗? 🧮机器学习数学,哪些部分机器学习代码要你写? 📚机器学习资源——好吧, 很酷,我该如何学习呢?

地址:

https://github.com/mrdbourke/machine-learning-roadmap

成为VIP会员查看完整内容
0
44

作者:王东,利节,许莎 出版社:清华大学 出版时间:2019-10 ISBN: 978-7-302-53187-6 最新消息:本书配套课件免费公开,详见链接。 地址:

http://cslt.riit.tsinghua.edu.cn/news.php?title=News-2020-02-09

作者序 2016年以来,几乎所有人都在谈论人工智能,上至专家巨富,下至平民百姓。然而, 究竟什么是人工智能?人工智能与传统科学有何区别和联系?人工智能的历史沿革和 未来方向?这些问题在很多人脑海里还是模糊的。唯一可以确定的是,人工智能 技术必然会对我们的生活产生深远的影响,这种影响会象蒸汽机、电、计算机的出现对我们的影 响一样,成为我们未来生活的一部分。

我是学计算机出身,自1998年以来主要从事语音和语言信号处理工作。这个领域 当然是人工智能的一部分,但绝大多数时候研究者们很少提到AI。原因有很多, 对我而言也许是对归类法的执着,AI的范围太广了,当面带微笑和别人说` 我是做 AI的'总会有一种心虚的感觉。这种感觉应该是很多一线研究者的潜意识。

仅管对AI这个头衔有天然排斥,我们和这个古老而年轻的领域依然脱不了干系, 因此当然希望更多年轻人加入到AI研究队伍中来,特别是从方法论的角度去理解AI, 避免概念上的炒作和空洞化。

基于这一思路,我用了将近两年时间完成了一本题为《现代机器学习技术导论》的学习笔记[link], 恰好被利节老师看到。她提出建议:这本书应该让更多年轻人看到,但当前这个版本是不行的, 需要更通俗和直观的表达。这个建议得到重庆巴蜀中学许莎老师的赞同,她觉得 应该有一本通俗的读物,让高中生甚至初中生理解人工智能,在不增加日常学习 压力的前提下,满足他们对新知识的渴求,从一开始就树立一个正确的概念体系 和科学根基,为以后从事这方面的工作打下基础。

于是有了这本书。我们的目的只有一个:用浅显的的语言向年轻人 介绍什么是人工智能,包括:人工智能有哪些主流技术,这些技术从何处来,到哪里去。特别重要的是, 我们希望提供一系列小实验,让学生可以自己动手实现一些有趣的人工智能系统, 培养出这一方面的兴趣,那就很好了。

在本书的成书过程中,众多老师和学生提供了热心帮助。清华大学的朱小燕老师对全书进行了审读, 周强老师、刘华平老师分别对第四章和第五章进行了审读。清华大学语音语言实验室 的蔡云麒博士参与了校订工作,实习生杜文强、张阳、吴嘉瑶、齐诏娣、于嘉威、 姜修齐、刘逸博、汪洋等参与了实验样例设计。最后,清华出版社的刘翰鹏老师在本 书出版过程中付出了大量心血,在此一并致谢!

成为VIP会员查看完整内容
0
43

当前关于机器学习方面的资料非常丰富:Andrew NG在Coursera上的机器学习教程、Bishop的《机器学习与模式识别》 和周志华老师的《机器学习》都是非常好的基础教材;Goodfellow等人的《深度学习》是学习深度学习技术的首选资料;MIT、斯坦福等名校的公开课也非常有价值;一些主要会议的Tutorial、keynote也都可以在网上搜索到。然而,在对学生们进行培训的过程中, 我深感这些资料专业性很强,但入门不易。一方面可能是由于语言障碍,另一个主要原因在于机器学习覆盖 面广,研究方向众多,各种新方法层出不穷,初学者往往在各种复杂的名词,无穷无尽的 算法面前产生畏难情绪,导致半途而废。

本书的主体内容是基于该研讨班形成的总结性资料。基于作者的研究背景,这本书很难说 是机器学习领域的专业著作,而是一本学习笔记,是从一个机器学习 技术使用者角度对机器学习知识的一次总结,并加入我们在本领域研究中的一些经验和发现。与其说是一本教材,不如说是一本科普读物, 用轻松活泼的语言和深入浅出的描述为初学者打开机器学习这扇充满魔力的大门。打开大门以后,我们会发现这是个多么让人激动人心的 领域,每天都有新的知识、新的思路、新的方法产生,每天都有令人振奋的成果。我们希望这本书 可以让更多学生、工程师和相关领域的研究者对机器学习产生兴趣,在这片异彩纷呈的海域上找到 属于自己的那颗贝壳。

强烈推荐给所有初学机器学习的人,里面有: 书籍的pdf 课堂视频 课堂slides 各种延伸阅读 MIT等世界名校的slides 学生的学习笔记等

成为VIP会员查看完整内容
0
41

Andrew Gordon Wilson,纽约大学Courant数学科学研究所和数据科学中心助理教授,曾担任AAAI 2018、AISTATS 2018、UAI 2018、NeurIPS 2018、AISTATS 2019、ICML 2019、UAI 2019、NeurIPS 2019、AAAI 2020、ICLR 2020的区域主席/SPC以及ICML 2019、2020年EXO主席。 个人主页:https://cims.nyu.edu/~andrewgw/

贝叶斯深度学习与概率模型构建

贝叶斯方法的关键区别属性是间隔化,而不是使用单一的权重设置。贝叶斯间隔化尤其可以提高现代深度神经网络的准确性和标度,这些数据通常不充分指定,并可以代表许多引人注目但不同的解决方案。研究表明,深层的综合系统提供了一种有效的近似贝叶斯间隔化机制,并提出了一种相关的方法,在没有显著开销的情况下,通过在吸引 basins 内间隔化来进一步改进预测分布。我们还研究了神经网络权值的模糊分布所隐含的先验函数,从概率的角度解释了这些模型的泛化特性。从这个角度出发,我们解释了一些神秘而又不同于神经网络泛化的结果,比如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程重新得到。我们还表明贝叶斯平均模型减轻了双下降,从而提高了灵活性,提高了单调性能。最后,我们提供了一个贝叶斯角度的调温校正预测分布。

视频地址:https://www.youtube.com/watch?v=E1qhGw8QxqY

成为VIP会员查看完整内容
0
39

几十年来,研究人员一直在开发操作和分析图像的算法。由此,在许多高级编程语言中出现了一组常见的图像处理工具。虽然用于图像分析的库正在合并为一个通用的工具包,但图像分析语言仍然停滞不前。通常,分析协议的文本描述比执行进程所需的计算机代码消耗更多的空间。此外,文本解释有时是模糊或不完整的。这本书为图像处理领域提供了精确的数学语言。定义的操作符直接对应于标准库例程,极大地促进了数学描述和计算机脚本之间的转换。本文给出了python3的例子。

  • 本文将为图像处理提供一种统一的语言
  • 提供理论基础与伴随Python®脚本,以精确地描述步骤在图像处理应用
  • 通过操作符将介绍脚本和理论之间的联系
  • 所有章节将包含理论,运算符等价物,例子,Python®代码,和练习

https://www.routledge.com/Image-Operators-Image-Processing-in-Python/Kinser/p/book/9781498796187

成为VIP会员查看完整内容
0
41

图神经网络教程 Graph Convolutional Networks Graph Sampling Methods Application and PyTorch Implementation

成为VIP会员查看完整内容
0
41

本书由奋战在Python开发一线近20年的Luciano Ramalho执笔,Victor Stinner、Alex Martelli等Python大咖担纲技术审稿人,从语言设计层面剖析编程细节,兼顾Python 3和Python 2,告诉你Python中不亲自动手实践就无法理解的语言陷阱成因和解决之道,教你写出风格地道的Python代码。

● Python数据模型:理解为什么特殊方法是对象行为一致的关键。 ● 数据结构:充分利用内置类型,理解Unicode文本和字节二象性。 ● 把函数视作对象:把Python函数视作一等对象,并了解这一点对流行的设计模式的影响。 ● 面向对象习惯用法:通过构建类学习引用、可变性、接口、运算符重载和多重继承。 ● 控制流程:学习使用上下文管理器、生成器、协程,以及通过concurrent.futures和asyncio包实现的并发。 ● 元编程:理解特性、描述符、类装饰器和元类的工作原理。

成为VIP会员查看完整内容
0
37

这本书的第五版继续讲述如何运用概率论来深入了解真实日常的统计问题。这本书是为工程、计算机科学、数学、统计和自然科学的学生编写的统计学、概率论和统计的入门课程。因此,它假定有基本的微积分知识。

第一章介绍了统计学的简要介绍,介绍了它的两个分支:描述统计学和推理统计学,以及这门学科的简短历史和一些人,他们的早期工作为今天的工作提供了基础。

第二章将讨论描述性统计的主题。本章展示了描述数据集的图表和表格,以及用于总结数据集某些关键属性的数量。

为了能够从数据中得出结论,有必要了解数据的来源。例如,人们常常假定这些数据是来自某个总体的“随机样本”。为了确切地理解这意味着什么,以及它的结果对于将样本数据的性质与整个总体的性质联系起来有什么意义,有必要对概率有一些了解,这就是第三章的主题。本章介绍了概率实验的思想,解释了事件概率的概念,并给出了概率的公理。

我们在第四章继续研究概率,它处理随机变量和期望的重要概念,在第五章,考虑一些在应用中经常发生的特殊类型的随机变量。给出了二项式、泊松、超几何、正规、均匀、伽玛、卡方、t和F等随机变量。

成为VIP会员查看完整内容
1
37

小样本学习是当前研究关注的热点。这篇论文总结了2016年到2020年的小样本元学习文章,划分为四类:基于数据增强; 基于度量学习,基于元优化; 和基于语义的。值得查看!

摘要:

在图像识别和图像分类等方面,深度神经网络的表现已经超过了人类。然而,随着各种新类别的出现,如何从有限的样本中不断扩大此类网络的学习能力,仍然是一个挑战。像元学习和/或小样本学习这样的技术表现出了良好的效果,他们可以根据先验知识学习或归纳到一个新的类别/任务。在本文中,我们研究了计算机视觉领域中现有的小样本元学习技术的方法和评价指标。我们为这些技术提供了一个分类法,并将它们分类为数据增强、嵌入、优化和基于语义的学习,用于小样本、单样本和零样本设置。然后我们描述在每个类别中所做的重要工作,并讨论他们解决从少数样本中学习的困境的方法。最后,我们在常用的基准测试数据集Omniglot和MiniImagenet上比较了这些技术,并讨论了提高这些技术性能的未来方向,从而达到超越人类的最终目标。

地址: https://www.zhuanzhi.ai/paper/8d29a5f14fcd0cc9a1aa508d072fb328

概述:

基于人工智能(AI)的系统正在成为人类生活的重要组成部分,无论是个人生活还是专业生活。我们周围都是基于人工智能的机器和应用程序,它们将使我们的生活变得更容易。例如,自动邮件过滤(垃圾邮件检测),购物网站推荐,智能手机中的社交网络等[1,2,3,4]。这一令人印象深刻的进展之所以成为可能,是因为机器或深度学习模型[5]取得了突破性的成功。机器或深度学习占据了AI领域的很大一部分。深度学习模型是建立在多层感知器与应用基于梯度的优化技术的能力。深度学习模型最常见的两个应用是:计算机视觉(CV),其目标是教会机器如何像人类一样看和感知事物;自然语言处理(NLP)和自然语言理解(NLU),它们的目标是分析和理解大量的自然语言数据。这些深度学习模型在图像识别[6,7,8]、语音识别[9,10,11,12,13]、自然语言处理与理解[14,15,16,17,18]、视频分析[19,20,21,22,23]、网络安全[24,25,26,27,28,29,30]等领域都取得了巨大的成功。机器和/或深度学习最常见的方法是监督学习,其中针对特定应用程序的大量数据样本与它们各自的标签一起被收集并形成一个数据集。该数据集分为三个部分: 训练、验证和测试。在训练阶段,将训练集和验证集的数据及其各自的标签输入模型,通过反向传播和优化,将模型归纳为一个假设。在测试阶段,将测试数据输入模型,根据导出的假设,模型预测测试数据样本的输出类别。

由于计算机和现代系统的强大能力[31,32],处理大量数据的能力已经非常出色。随着各种算法和模型的进步,深度学习已经能够赶上人类,在某些情况下甚至超过人类。AlphaGo[33]是一个基于人工智能的agent,在没有任何人类指导的情况下训练,能够击败世界围棋冠军。围棋是一种古老的棋盘游戏,被认为比国际象棋[34]复杂10倍;在另一个复杂的多人战略游戏《DOTA》中,AI-agent打败了《DOTA[35]》的人类玩家;对于图像识别和分类的任务,ResNet[6]和Inception[36,37,38]等模型能够在流行的ImageNet数据集上取得比人类更好的性能。ImageNet数据集包括超过1400万张图像,超过1000个类别[39]。

人工智能的最终目标之一是在任何给定的任务中赶上或超过人类。为了实现这一目标,必须尽量减少对大型平衡标记数据集的依赖。当前的模型在处理带有大量标记数据的任务时取得了成功的结果,但是对于其他带有标记数据很少的任务(只有少数样本),各自模型的性能显著下降。对于任何特定任务,期望大型平衡数据集是不现实的,因为由于各种类别的性质,几乎不可能跟上产生的标签数据。此外,生成标记数据集需要时间、人力等资源,而且在经济上可能非常昂贵。另一方面,人类可以快速地学习新的类或类,比如给一张奇怪动物的照片,它可以很容易地从一张由各种动物组成的照片中识别出动物。人类相对于机器的另一个优势是能够动态地学习新的概念或类,而机器必须经过昂贵的离线培训和再培训整个模型来学习新类,前提是要有标签数据可用性。研究人员和开发人员的动机是弥合人类和机器之间的鸿沟。作为这个问题的一个潜在解决方案,我们已经看到元学习[40,41,42,43,44,45,46,47,48,49,50]、小样本学习[51,52,53,54]、低资源学习[55,56,57,58]、零样本学习[59,60,61,62,63,63,64,64,65]等领域的工作在不断增加,这些领域的目标是使模型更好地推广到包含少量标记样本的新任务。

什么是小样本元学习?

在few-shot, low-shot, n-shot learning (n一般在1 - 5之间)中,其基本思想是用大量的数据样本对模型进行多类的训练,在测试过程中,模型会给定一个新的类别(也称为新集合),每个类别都有多个数据样本,一般类别数限制为5个。在元学习中,目标是泛化或学习学习过程,其中模型针对特定任务进行训练,不同分类器的函数用于新任务集。目标是找到最佳的超参数和模型权值,使模型能够轻松适应新任务而不过度拟合新任务。在元学习中,有两类优化同时运行: 一类是学习新的任务; 另一个是训练学习器。近年来,小样本学习和元学习技术引起了人们极大的兴趣。

元学习领域的早期研究工作是Yoshua和Samy Bengio[67]以及Fei-Fei Li在less -shot learning[68]中完成的。度量学习是使用的较老的技术之一,其目标是从嵌入空间中学习。将图像转换为嵌入向量,特定类别的图像聚在一起,而不同类别的图像聚在一起比较远。另一种流行的方法是数据增强,从而在有限的可用样本中产生更多的样本。目前,基于语义的方法被广泛地研究,分类仅仅基于类别的名称及其属性。这种基于语义的方法是为了解决零样本学习应用的启发。

迁移学习与自监督学习

迁移学习的总体目标是从一组任务中学习知识或经验,并将其迁移到类似领域的任务中去[95]。用于训练模型获取知识的任务有大量的标记样本,而迁移任务的标记数据相对较少(也称为微调),这不足以使模型训练和收敛到特定的任务。迁移学习技术的表现依赖于两项任务之间的相关性。在执行迁移学习时,分类层被训练用于新的任务,而模型中先前层的权值保持不变[96]。对于每一个新的任务,在我们进行迁移学习的地方,学习速率的选择和要冻结的层数都必须手工决定。与此相反,元学习技术可以相当迅速地自动适应新的任务。

自监督学习的研究近年来得到了广泛的关注[97,98,99]。自监督学习(SSL)技术的训练基于两个步骤:一是在一个预定义代理任务上进行训练,在大量的未标记数据样本上进行训练;第二,学习到的模型参数用于训练或微调主要下游任务的模型。元学习或小样本学习技术背后的理念与自监督学习非常相似,自监督学习是利用先前的知识,识别或微调一个新的任务。研究表明,自监督学习可以与小样本学习一起使用,以提高模型对新类别的表现[100,101]。

方法体系组织:

元学习、小样本学习、低资源学习、单样本学习、零样本学习等技术的主要目标是通过基于先验知识或经验的迭代训练,使深度学习模型从少量样本中学习能泛化到新类别。先验知识是在包含大量样本的带标签数据集上训练样本,然后利用这些知识在有限样本下识别新的任务而获得的知识。因此,在本文中,我们将所有这些技术结合在了小样本体系下。由于这些技术没有预定义的分类,我们将这些方法分为四大类: 基于数据增强; 基于度量学习,基于元优化; 和基于语义的(如图1所示)。基于数据增强的技术非常流行,其思想是通过扩充最小可用样本和生成更多样化的样本来训练模型来扩展先验知识。在基于嵌入的技术中,数据样本被转换为另一个低级维,然后根据这些嵌入之间的距离进行分类。在基于优化的技术中,元优化器用于在初始训练期间更好地泛化模型,从而可以更好地预测新任务。基于语义的技术是将数据的语义与模型的先验知识一起用于学习或优化新的类别。

成为VIP会员查看完整内容
0
37

深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知识。然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域研究的发展。本文旨在对深度学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工智能领域的实际应用,分析目前可解释性研究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性的研究进展以及未来的研究方向提供新的思路。

成为VIP会员查看完整内容
0
37

【导读】图卷积网络(Graph Convolutional Networks)作为最近几年兴起的一种基于图结构的广义神经网络,因为其独特的计算能力,受到了学术界和工业界的关注与研究。传统深度学习模型如 LSTM 和 CNN在欧式空间中表现不俗,却无法直接应用在非欧式数据上。为此,研究者们通过引入图论中抽象意义上的“图”来表示非欧式空间中的结构化数据,并通过图卷积网络来提取(graph)的拓扑结构,以挖掘蕴藏在图结构数据中的深层次信息。本文结合公式推导详细介绍了图卷积网络(GCN)的前世今生,有助于大家深入了解GCN。

系列教程《GNN-algorithms》

本文为系列教程《GNN-algorithms》的内容,该系列教程不仅会深入介绍GNN的理论基础,还结合了TensorFlow GNN框架tf_geometric对各种GNN模型(GCN、GAT、GIN、SAGPool等)的实现进行了详细地介绍。本系列教程作者王有泽(https://github.com/wangyouze)也是tf_geometric框架的贡献者之一。

系列教程《GNN-algorithms》Github链接: https://github.com/wangyouze/GNN-algorithms
TensorFlow GNN框架tf_geometric的Github链接: https://github.com/CrawlScript/tf_geometric

参考文献:

成为VIP会员查看完整内容
0
37

这本书以一种结构化的、直观的、友好的方式学习c++编程语言。这本书教授现代c++编程语言、c++标准库和现代c++标准的基础知识。不需要以前的编程经验。

c++是一种不同于其他语言的语言,它的复杂性令人惊讶,但在许多方面都非常优美和优雅。它也是一种不能通过猜测来学习的语言,是一种很容易出错的语言。为了克服这一点,每个部分都充满了现实世界中逐渐增加复杂性的例子。面向绝对初学者的现代c++教的不仅仅是用c++ 20编程。它提供了一个可在其上进行构建的坚实的c++基础。

作者带您了解c++编程语言、标准库和c++ 11到c++ 20标准基础知识。每一章都附有适量的理论和大量的源代码示例。

您将使用c++ 20个特性和标准,同时还将比较和查看以前的c++版本。您将使用大量相关的源代码示例来实现此目的。

你将学到什么

  • 使用c++的基础:类型、操作符、变量、常量、表达式、引用、函数、类、I/O、智能指针、多态性等等
  • 在Windows上设置Visual Studio环境,在Linux上设置GCC环境,这样就可以编写自己的代码
  • 声明和定义函数、类和对象,并将代码组织到名称空间中
  • 发现面向对象编程:类和对象,封装,继承,多态性,以及更多使用最先进的c++特性
  • 在组织源代码和控制程序工作流方面采用最佳实践
  • 熟悉c++语言的dos和donts等等
  • 掌握基本的lambdas、继承、多态性、智能指针、模板、模块、契约、概念等等

这本书是给谁的

  • 希望学习c++编程的初学者或程序员新手。不需要有编程经验。
成为VIP会员查看完整内容
0
36

本书建立在基本的Python教程的基础上,解释了许多没有被常规覆盖的Python语言特性:从通过利用入口点作为微服务扮演双重角色的可重用控制台脚本,到使用asyncio高效地整理大量来源的数据。通过这种方式,它涵盖了基于类型提示的linting、低开销测试和其他自动质量检查,以演示一个健壮的实际开发过程。

Python的一些功能强大的方面通常用一些设计的示例来描述,这些示例仅作为一个独立示例来解释该特性。通过遵循从原型到生产质量的真实应用程序示例的设计和构建,您不仅将看到各种功能是如何工作的,而且还将看到它们如何作为更大的系统设计过程的一部分进行集成。此外,您还将受益于一些有用的附加说明和库建议,它们是Python会议上问答会议的主要内容,也是讨论现代Python最佳实践和技术的主要内容,以便更好地生成易于维护的清晰代码。

高级Python开发是为已经能用Python编写简单程序的开发人员准备的,这些开发人员希望了解什么时候使用新的和高级语言特性是合适的,并且能够以一种自信的方式这样做。它对于希望升级到更高级别的开发人员和迄今为止使用过较老版本Python的非常有经验的开发人员特别有用。

你将学习

  • 理解异步编程
  • 检查开发插件架构
  • 使用类型注释
  • 回顾测试技术
  • 探索打包和依赖项管理

这本书是给谁的 -已经有Python经验的中高级开发人员。

成为VIP会员查看完整内容
0
35

斯坦福大学机器学习斯坦福大学机器学习第十课“应用机器学习的建议(Advice for applying machine learning)”学习笔记,本次课程主要包括7部分:

  1. Deciding what to try next(决定下一步该如何做)
  2. Evaluating a hypothesis(评估假设)
  3. Model selection and training/validation/test sets(模型选择和训练/验证/测试集)
  4. Diagnosing bias vs. variance(诊断偏差和方差)
  5. Regularization and bias/variance(正则化和偏差/方差)
  6. Learning curves(学习曲线)
  7. Deciding what to try next (revisited)(再次决定下一步该做什么)
成为VIP会员查看完整内容
0
33

学习作为Linux用户、程序员和系统管理员可以日常使用的命令行技巧、程序和技巧。当您与数字世界交互时,不与Linux系统交互就走不了多远。这本书告诉你如何利用它的力量来满足你的需要。

许多用户都知道“top”安装在几乎所有的Linux机器上,但您是否知道,只需敲击几下键盘,您就可以根据自己的需要定制它?坚持使用' cd '和' ls '命令导航文件系统?这本书介绍了如何使用Ranger在文件夹的多个级别中快速导航,并在不离开终端的情况下快速运行bash命令。我们还建议可以用于常见任务的程序,比如查找哪些程序使用的处理、数据下载/上传和文件空间最多。

您将知道如何快速连接到远程计算机,并在一次击键甚至自动驾驶中运行您通常需要的作业。有了基本的Linux终端技巧和技巧,您将获得广泛的工具,这些工具可用于在各种Linux系统(包括服务器、桌面甚至嵌入式设备)上进行日常工作和维护。

你将学到什么

  • 在本地网络上使用常用工具。
  • 有效使用命令行的技术。
  • 轻松操作文本文件进行处理。
  • 使用少量流行程序监视系统的状态。
  • 合并程序以创建有用的进程。

这本书是给谁的

  • 任何作为业余爱好或工作对基于Linux和Unix的操作系统感兴趣的人。
成为VIP会员查看完整内容
0
32

尽管近年来计算机视觉技术已经取得了长足的进步,但是对于复杂视觉场景 的感知和理解,目前的计算机模型表现还远远没有达到大规模普及和落地应用的 水平。为了充分地利用日常生活中海量的视觉媒体数据,复杂视觉场景的感知和理 解已经逐渐成为计算机视觉领域的一个研究热点。

本文将针对四个不同层次的视觉场景理解(物体级别识别、场景级别识别、场 景级别理解和场景级别推理),逐步地对复杂视觉场景中视觉内容的识别、检测和 推理进行研究。本文的关键技术线路主要聚焦于零样本物体分类、图像场景图生 成、图像描述生成、视频片段检索和视觉问答等具体视觉场景理解任务。在此研究 技术路线下,本文主要的研究内容和贡献如下:

1)针对零样本物体分类模型中普遍存在的语义丢失问题,本文提出一种全新 的零样本学习网络。该网络首次引入两个相互独立的映射网络分支,将图像分类和 图像重建两个原本相互冲突的任务分离出来。同时借助对抗学习,实现重建网络分 支和分类网络分支之间的属性迁移。

2)针对图像场景图生成模型中优化目标通常忽略不同物体的重要性差异的问 题,本文提出一种全新的训练框架,首次将图像场景图生成任务转化成一个多智能 体协同决策问题,从而可以直接将整个图像场景图质量作为模型的优化目标。同 时,本文还提出了一个反事实基准模型,可以有效地计算出每个物体类别预测对整 体场景图生成质量的局部贡献。

3)参考现有的空间注意力机制,本文首次提出通道注意力机制。同时,通过 充分挖掘卷积神经网络的特征图的三个不同维度(空间、通道和层级)之间的联系, 提出一种全新的空间和通道注意力网络。在图像描述生成任务中,该网络不仅极大 地提升了描述语句的生成质量,同时帮助人们理解在语句生成过程中特征图的变 化过程。

4)针对目前视频片段检索任务中两种主流框架(自顶向下和稀疏型自底向上) 的设计缺陷,本文提出了一种全新的密集型自底向上的框架。通过将动作边界定位问题分解成相关性预测和边界回归两个子问题,显著地降低了动作边界定位的难 度。同时,本文提出一个基于图卷积的特征金字塔层,来进一步增强骨干网络编码 能力。

5)针对目前视觉问答模型忽略的两个重要特性(视觉可解释性和问题敏感性), 本文提出了一种通用的反事实样本生成机制。通过遮盖图像中的重要区域或问题 中的重要单词,同时更改标准答案,来合成全新的反事实训练样本。通过使用原始 训练样本和反事实训练样本一起对模型进行训练,迫使视觉问答模型关注被遮盖 的重要内容,提升模型的视觉可解释性和问题敏感性。

地址:

https://zjuchenlong.github.io/

成为VIP会员查看完整内容
0
33

阿姆斯特丹大学Max Welling教授为你讲解图神经网络发展趋势

Max Welling教授是阿姆斯特丹大学机器学习研究主席和高通公司技术副总裁。他还被任命为加拿大高级研究所(CIFAR)的高级研究员。他是“Scyfer BV”的联合创始人,该公司是深度学习领域的大学子公司,于2017年夏天被高通收购。在过去,他在加州理工学院(98- 00),伦敦大学学院(00- 01)和多伦多大学(01- 03)担任博士后。他于1998年在诺贝尔奖得主g.t Hooft教授的指导下获得博士学位。Max Welling 2011-2015年担任IEEE TPAMI副主编(影响因子4.8)。自2015年(机器学习领域最大的会议)以来,他担任NIPS基金会的董事会成员,2013年和2014年分别担任NIPS项目主席和一般主席。他也是2009年AISTATS和2016年ECCV的项目主席,以及2018年MIDL的总主席。他曾在JMLR和JML的编委会任职,并担任神经计算、JCGS和TPAMI的副编辑。他获得了来自谷歌,Facebook, Yahoo, NSF, NIH, NWO和ONR-MURI的多次资助,其中NSF在2005年的职业资助。他是2010年ECCV Koenderink奖的获得者。Max Welling是阿姆斯特丹数据科学研究中心的董事会成员,他主管阿姆斯特丹机器学习实验室(AMLAB),并共同指导高通- UvA深度学习实验室(QUVA)和博世- UvA深度学习实验室(DELTA)。Max Welling在机器学习、计算机视觉、统计学和物理学方面发表了超过250篇科学论文,H指数为62。

https://staff.fnwi.uva.nl/m.welling/

Graph Nets: The Next Generation - Max Welling

在这次演讲中,我将介绍下一代的图神经网络。GNN具有对图中节点的排列和图的整体旋转不变的特性。我们认为这是不必要的限制,在这次谈话中,我们将探索这些GNN的扩展,以更灵活的等变结构。特别地,一般图的自然图网络在节点排列下是全局等变的,但仍然可以通过本地消息传递协议执行。我们在流形上的mesh-CNNs在SO(2)规范变换下是等变的,因此,与常规的GNN不同,它具有非各向同性的核。最后,我们的SE(3)转换器是局部消息传递GNN,对排列不变性,但对全局SE(3)变换是等价的。这些发展清楚地强调了几何和对称作为图(或其他)神经网络设计原则的重要性。

https://video.ias.edu/machinelearning/2020/0721-MaxWelling

几何深度学习

很多数据不是序列和欧几里得分布的,而是球面图网络分布,那如何使用卷积在这些数据结构上?

概览

结论

成为VIP会员查看完整内容
0
31
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top