在这次演讲中,我们从数据压缩(和群不变性)的角度提供了对深度(卷积)网络的完全“白盒”解释。特别地,我们展示了现代的深层架构、线性(卷积)算子和非线性激活,甚至所有的参数都可以从最大化速率缩减(具有群不变性)的原则推导出来。网络的所有层、操作符和参数都是通过前向传播明确构建的,而不是通过后向传播学习。因此得到的网络的所有组件称为ReduNet,具有精确优化、几何和统计解释。这种原则性的方法也有一些令人惊讶的地方:它揭示了类可分离性的不变性和稀疏性之间的基本权衡;它揭示了深层网络和群体不变性的傅里叶变换之间的基本联系-频谱域的计算优势(为什么是尖突神经元?);这种方法还阐明了正向传播(优化)和反向传播(变异)的数学作用。特别地,这样获得的ReduNet 可以通过前向和后向(随机)传播进行微调,都是为了优化同一目标。这是与Berkeley的Yaodong Yu, Ryan Chan, Haozhi Qi ,现在谷歌研究中心的You Chong博士,以及哥伦比亚大学的John Wright教授共同完成的。

https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

成为VIP会员查看完整内容
0
72
知识图谱(Knowledge Graph),在图书情报界称为知识域可视化或知识领域映射地图,是显示知识发展进程与结构关系的一系列各种不同的图形,用可视化技术描述知识资源及其载体,挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。 知识图谱是通过将应用数学、图形学、信息可视化技术、信息科学等学科的理论与方法与计量学引文分析、共现分析等方法结合,并利用可视化的图谱形象地展示学科的核心结构、发展历史、前沿领域以及整体知识架构达到多学科融合目的的现代理论。它能为学科研究提供切实的、有价值的参考。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】伦敦帝国理工学院教授Michael Bronstein等人撰写了一本关于几何深度学习系统性总结的书,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。非常值得关注!

几何深度学习是一种从对称性和不变性的角度对大量ML问题进行几何统一的尝试。这些原理不仅奠定了卷积神经网络的突破性性能和最近成功的图神经网络的基础,而且也提供了一种原则性的方法来构建新型的问题特定的归纳偏差。

在本文中,我们做了一个适度的尝试,将Erlangen项目的思维模式应用到深度学习领域,最终目标是获得该领域的系统化和“连接点”。我们将这种几何化尝试称为“几何深度学习”,并忠实于Felix Klein的精神,提出从对称性和不变性的原则推导出不同的归纳偏差和网络架构。特别地,我们将重点放在一类用于分析非结构集、网格、图和流形的神经网络上,并表明它们可以被统一地理解为尊重这些域的结构和对称性的方法。

我们相信这篇文章将吸引深度学习研究人员、实践者和爱好者的广泛受众。新手可以用它来概述和介绍几何深度学习。经验丰富的深度学习专家可能会发现从基本原理推导熟悉架构的新方法,也许还会发现一些令人惊讶的联系。实践者可以获得如何解决各自领域问题的新见解。

一些重要论述:

  • 我们研究了流行的深度学习架构(CNNs, GNNs, transformer, LSTMs)的本质,并意识到,只要有一组合适的对称,我们就可以等价它们,它们都可以用一个通用的几何框架来表达。

  • 更进一步,我们在一些不太标准的领域(如同质群和流形)上使用了我们的框架,这表明框架可以很好地表达这些领域的最新进展,如球形CNN, SO(3)-变换器,和规范-等变网格CNNs。

  • 几何深度学习的“5G”:网格、组(具有全局对称性的齐次空间)、图(以及作为特定情况的集)和流形,其中几何先验通过全局等距不变(可以用测地线表示)和局部规范对称来表现。
成为VIP会员查看完整内容
0
71

近几年,神经网络因其强大的表征能力逐渐取代传统的机器学习成为自然语言处理任务的基本模型。然而经典的神经网络模型只能处理欧氏空间中的数据,自然语言处理领域中,篇章结构,句法甚至句子本身都以图数据的形式存在。因此,图神经网络引起学界广泛关注,并在自然语言处理的多个领域成功应用。该文对图神经网络在自然语言处理领域中的应用进行了系统性的综述, 首先介绍了图神经网络的核心思想并梳理了三种经典方法: 图循环网络,图卷积网络和图注意力网络;然后在具体任务中,详细描述了如何根据任务特性构建合适的图结构以及如何合理运用图结构表示模型。该文认为,相比专注于探索图神经网络的不同结构,探索如何以图的方式建模不同任务中的关键信息,是图神经网络未来工作中更具普遍性和学术价值的一个研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

成为VIP会员查看完整内容
0
57

推荐系统在我们的日常生活中发挥着越来越重要的作用,特别是在许多以用户为导向的在线服务中,推荐系统在缓解信息过载问题方面发挥着重要作用。推荐系统的目标是通过利用用户和物品的交互来提高匹配的准确性,识别出一组最符合用户显性或隐性偏好的对象(即物品)。

随着深度神经网络(DNNs)在过去几十年的快速发展,推荐技术已经取得了良好的性能。然而,现有的基于DNN的方法在实践中存在一些缺陷。更具体地说,他们认为推荐过程是一个静态的过程,并按照一个固定的贪心策略进行推荐; 现有的大多数基于DNN的推荐系统都是基于手工制作的超参数和深度神经网络架构;它们将每个交互视为单独的数据实例,而忽略了实例之间的关系。

在本教程中,我们将全面介绍深度推荐系统中解决上述问题的先进技术的最新进展,包括深度强化学习(DRL)、自动机器学习(AutoML)和图神经网络(GNN)。

通过这种方式,我们希望这三个领域的研究人员能够对空间有更深刻的理解和准确的洞察,激发更多的想法和讨论,促进推荐技术的发展。

https://deeprs-tutorial.github.io/

成为VIP会员查看完整内容
0
46

当前人工智能已经成为全球最为活跃的创新领域,对经济社会的发展影响深远。白皮书提出,在过去一年中,人工智能的新算法不断涌现,深度学习仍是这一时期发展主线,尝试解决更为复杂的应用任务。人工智能的产业格局与生态体系更为明晰,开源开发框架格局逐步确立,以科技巨头引领的生态系统垂直整合速度不断加快;同时,产业发展重心开始转变,企业比拼重点从单项技术的“理论”准确率转向应用场景白热化的“跑马圈地”;人工智能的技术应用开始全面覆盖日常生活、科学研究、社会治理、商业创新和国家安全等经济社会的关键领域,以空前的广度和深度推动社会发展。基于以上人工智能技术产业发展态势判断,白皮书建议“十四五”期间,我国应通过加快AI基础原创技术创新突破、构建协同发展AI基础核心生态、实现区域差异化发展布局、加快垂直行业深度融合、主动融入全球治理框架等措施,实现我国人工智能产业突破发展。

http://www.caict.ac.cn/kxyj/qwfb/bps/202104/P020210420614092578238.pdf

成为VIP会员查看完整内容
0
43

图是连接数据网络结构的一种常用表示形式。图数据可以在广泛的应用领域中找到,如社会系统、生态系统、生物网络、知识图谱和信息系统。随着人工智能技术的不断渗透发展,图学习(即对图进行机器学习)越来越受到研究者和实践者的关注。图学习对许多任务都非常有效,如分类,链接预测和匹配。图学习方法通常是利用机器学习算法提取图的相关特征。在这个综述中,我们提出了一个关于图学习最全面的概述。特别关注四类现有的图学习方法,包括图信号处理、矩阵分解、随机游走和深度学习。分别回顾了这些类别下的主要模型和算法。我们研究了诸如文本、图像、科学、知识图谱和组合优化等领域的图学习应用。此外,我们还讨论了该领域几个有前景的研究方向。

真实的智能系统通常依赖于机器学习算法处理各种类型的数据。尽管图数据无处不在,但由于其固有的复杂性,给机器学习带来了前所未有的挑战。与文本、音频和图像不同,图数据嵌入在一个不规则的领域,使得现有机器学习算法的一些基本操作不适用。许多图学习模型和算法已经被开发出来解决这些挑战。本文系统地综述了目前最先进的图学习方法及其潜在的应用。这篇论文有多种用途。首先,它作为不同领域(如社会计算、信息检索、计算机视觉、生物信息学、经济学和电子商务)的研究人员和从业者提供图学习的快速参考。其次,它提供了对该领域的开放研究领域的见解。第三,它的目的是激发新的研究思路和更多的兴趣在图学习。

图,又称网络,可以从现实世界中丰富的实体之间的各种关系中提取。一些常见的图表已经被广泛用于表达不同的关系,如社会网络、生物网络、专利网络、交通网络、引文网络和通信网络[1]-[3]。图通常由两个集合定义,即顶点集和边集。顶点表示图形中的实体,而边表示这些实体之间的关系。由于图学习在数据挖掘、知识发现等领域的广泛应用,引起了人们的广泛关注。由于图利用了顶点[4],[5]之间的本质和相关关系,在捕获复杂关系方面,图学习方法变得越来越流行。例如,在微博网络中,通过检测信息级联,可以跟踪谣言的传播轨迹。在生物网络中,通过推测蛋白质的相互作用可以发现治疗疑难疾病的新方法。在交通网络中,通过分析不同时间戳[6]的共现现象,可以预测人类的移动模式。对这些网络的有效分析很大程度上取决于网络的表示方式。

一般来说,图学习是指对图进行机器学习。图学习方法将图的特征映射到嵌入空间中具有相同维数的特征向量。图学习模型或算法直接将图数据转换为图学习体系结构的输出,而不将图投影到低维空间。由于深度学习技术可以将图数据编码并表示为向量,所以大多数图学习方法都是基于或从深度学习技术推广而来的。图学习的输出向量在连续空间中。图学习的目标是提取图的期望特征。因此,图的表示可以很容易地用于下游任务,如节点分类和链接预测,而无需显式的嵌入过程。因此,图学习是一种更强大、更有意义的图分析技术。

在这篇综述论文中,我们试图以全面的方式检验图机器学习方法。如图1所示,我们关注现有以下四类方法:基于图信号处理(GSP)的方法、基于矩阵分解的方法、基于随机游走的方法和基于深度学习的方法。大致来说,GSP处理图的采样和恢复,并从数据中学习拓扑结构。矩阵分解可分为图拉普拉斯矩阵分解和顶点接近矩阵分解。基于随机游动的方法包括基于结构的随机游动、基于结构和节点信息的随机游动、异构网络中的随机游动和时变网络中的随机游动。基于深度学习的方法包括图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。基本上,这些方法/技术的模型架构是不同的。本文对目前最先进的图学习技术进行了广泛的回顾。

传统上,研究人员采用邻接矩阵来表示一个图,它只能捕捉相邻两个顶点之间的关系。然而,许多复杂和不规则的结构不能被这种简单的表示捕获。当我们分析大规模网络时,传统的方法在计算上是昂贵的,并且很难在现实应用中实现。因此,有效地表示这些网络是解决[4]的首要问题。近年来提出的网络表示学习(NRL)可以学习低维表示[7]-[9]的网络顶点潜在特征。当新的表示被学习后,可以使用以前的机器学习方法来分析图数据,并发现数据中隐藏的关系。

当复杂网络被嵌入到一个潜在的、低维的空间中时,结构信息和顶点属性可以被保留[4]。因此,网络的顶点可以用低维向量表示。在以往的机器学习方法中,这些向量可以看作是输入的特征。图学习方法为新的表示空间中的图分析铺平了道路,许多图分析任务,如链接预测、推荐和分类,都可以有效地解决[10],[11]。网络的图形化表现方式揭示了社会生活的各个方面,如交流模式、社区结构和信息扩散[12],[13]。根据顶点、边和子图的属性,可以将图学习任务分为基于顶点、基于边和基于子图三类。图中顶点之间的关系可以用于分类、风险识别、聚类和社区检测[14]。通过判断图中两个顶点之间的边的存在,我们可以进行推荐和知识推理。基于子图[15]的分类,该图可用于聚合物分类、三维可视化分类等。对于GSP,设计合适的图形采样方法以保持原始图形的特征,从而有效地恢复原始图形[16]具有重要意义。在存在不完整数据[17]的情况下,可以使用图恢复方法构造原始图。然后利用图学习从图数据中学习拓扑结构。综上所述,利用图学习可以解决传统的图分析方法[18]难以解决的以下挑战。

成为VIP会员查看完整内容
0
34

这门研究生水平的课程将专注于NLP框架、算法和方法的高级研究,包括语言建模、文本分类、机器翻译和问题回答等最先进的技术。本课程将包括多种编程作业、论文阅读、期中和期末专题。在这门课之前,学生应该至少学习过一门自然语言处理/机器学习的入门课程,并且熟悉Python编程。

本课程包括相关主题的介绍性讲座。这些讲座是和COS 484联合的,请看这里的课程安排。

https://princeton-nlp.github.io/cos484/cos584.html

Date Topics Fri (2/5) Language Models Fri (2/12) Text classification Fri (2/19) Word embeddings Fri (2/26) Feedforward Neural Networks Fri (3/5) Conditional Random Fields Fri (3/12) No meeting (midterm) Fri (3/19) Recurrent neural networks and neural language models Fri (3/26) Dependency parsing Fri (4/2) Machine translation Fri (4/9) Transformers Fri (4/16) Pre-training Fri (4/23) Language Grounding

成为VIP会员查看完整内容
0
35

《强化学习和随机优化:序列决策的统一框架》是一本新书,它提供了一个统一框架,涵盖了所有在不确定性下进行决策的社区(见jungle.princeton.edu)。这是第一本全面介绍这些领域的书,遵循了确定性优化和机器学习(但不是随机优化)中长期使用的风格。

第一部分提供了基础材料,其中大部分可以略读。第1章提供了通用建模框架的概述,该框架涵盖了任何序列决策问题,最困难的挑战(对于大多数问题)是策略的设计。第1章提供了跨越任何可能被设计的策略的四类策略路线图的早期草图。第2章总结了每个社区的规范化建模框架,这些框架使用了该字段的符号来处理某种形式的序列决策问题。对这一领域完全陌生的读者可以略读这一章,了解已经采用的各种方法。有深度的读者将在这些规范问题中的一个或多个方面有一定程度的专业知识,这将有助于在该问题和我们的框架之间提供一座桥梁。最后,第三章深入探讨了在线学习。本章应该略读,然后在需要时作为参考资料使用。

第二部分-随机搜索-这些是随机优化问题,可以使用自适应算法解决,其中唯一的信息链接迭代是关于函数的信念。我们还将这些状态独立函数称为状态独立函数,以区别于我们在第三部分中开始处理的更一般的状态依赖函数。

第三部分-状态相关问题-这里我们过渡到更丰富的序列问题类,其中被优化的函数是状态相关的。

第四部分-策略搜索-这些章节描述了必须调整的策略,无论是在模拟器中还是通过经验。

第五部分-基于前瞻近似的策略-基于前瞻近似的策略是策略搜索派生的策略的对应。

第六部分-多智能体系统和学习-最后我们展示了如何扩展我们的框架来处理多智能体系统。

目录内容:

Chapter 1 – Introduction

Chapter 2 – Canonical models and applications .

Chapter 3 – Online learning- Revised from ADP book

Chapter 4 – Introduction to stochastic search

Chapter 5 – Derivative-based stochastic optimization

Chapter 6 – Stepsize policies

Chapter 7 – Derivative-free stochastic optimization

Chapter 8 – State-dependent problems

Chapter 9 – Modeling sequential decision problems

Chapter 10 – Uncertainty modeling

Chapter 11 – Designing policies

Chapter 12 – Policy function approximations and policy search

Chapter 13 – Cost function approximations

Chapter 14 – Discrete Markov decision processes

Chapter 15 – Backward approximate dynamic programming

Chapter 16 – Forward ADP I: The value of a policy

Chapter 17 – Forward ADP II: Policy optimization

Chapter 18 – Forward ADP III: Convex functions

Chapter 19 – Direct lookahead policies

Chapter 20 – POMDPs, two-agent systems, and multiagent RL

成为VIP会员查看完整内容
0
33

人类生成的类别标签通常是嘈杂的,因为从多个专家收集的数据在不同标签之间表现出不一致。为了改善这一效果,一种方法是要求标记者对样本进行比较或排序:当类别标签被排序时,面对两个或更多样本的标记者可以根据类别的从属关系对它们按w.r.t.的相对顺序进行排序。比较比类别标签更能提供信息,因为它们捕捉了类别之间和类别内部的关系;后者并不仅仅通过类别标签来揭示。此外,在实践中,比较标签的可变性减少了:这在许多领域的实验中都观察到了,这是因为人们经常发现做出相对判断比做出绝对判断更容易。

然而,从比较中学习带来了计算上的挑战回归排名特征是一个计算密集型任务。从𝑁样本之间的成对比较中学习对应于对𝑂(𝑁^2)比较标签的推理。更一般地,从大小为K的样本子集的排名中学习对应于对𝑂(𝑁^K)标签的推理。这需要显著改善性能,例如,最大似然估计(MLE)算法在这样的数据集。最后,收集排名也是劳动密集型的。这正是因为要标记的势集的大小为K的空间的大小为𝑂(𝑁^K)。

本教程将回顾经典的和最近的方法来解决从比较中学习的问题,更广泛地说,从排名数据中学习。将特别关注排名回归设置,即排名是从样本特征回归。

https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

成为VIP会员查看完整内容
0
33

2021年国际万维网大会The Web Conference(旧称WWW)将于2021年4月19日-23日线上召开。TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,是互联网技术领域最重要的国际会议之一,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第30届会议。本次会议共接收1736篇提交长文,最终录用357篇,录用率为20.6%。

许多真实的数据以非网格对象的形式出现,例如从社交网络到分子的图表。从类似网格的数据(如图像)到图的深度学习最近受到了机器学习和数据挖掘领域前所未有的关注,导致了一个新的跨领域领域——深度图学习(DGL)。DGL的目标不是繁杂的特征工程,而是以端到端的方式学习图的信息表示。它在节点/图分类、链路预测等任务中表现出了显著的成功。

虽然之前的几个教程已经在webconf中介绍了图神经网络(GNNs),但很少关注DGL算法的表达性、可训练性和泛化。为了使DGL更加流行和先进,本教程主要介绍DGL近年来的主要成就。具体来说,我们将讨论四个基本的主题,即如何高效地设计和训练深度GNNs,如何采用GNNs来应对大规模图,对GNNs的对抗性攻击,以及对GNNs的无监督训练。同时,我们将介绍DGL在不同领域的应用,包括但不限于药物发现、计算机视觉、社会网络分析等。

目录内容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

成为VIP会员查看完整内容
0
32

C++是一种功能强大、高度灵活、适应性强的编程语言,它允许软件工程师快速有效地组织和处理信息。但是,即使您已经掌握了C编程语言,也很难掌握这种高级语言。实用c++编程的第二版是一个完整的介绍c++语言的程序员谁正在学习c++。这第二版反映了c++标准的最新变化,它采取了一种实用的脚踏实地的方法,着重强调了如何设计干净、优雅的代码。简而言之,切中要点的章节,涵盖了编程的所有方面,包括风格、软件工程、编程设计、面向对象设计和调试。它还涵盖了常见的错误以及如何发现(和避免)它们。章节结束练习帮助你确保你已经掌握了材料。实用c++编程彻底涵盖:

http://www.oualline.com/books.free/teach/intro.html

C++语法 编码标准和风格 对象类的创建和使用 模板 调试和优化 使用c++预处理器

成为VIP会员查看完整内容
0
31

【导读】 知识图谱KGC是一个世界级会议,将有经验的实践者、技术领导者、前沿研究人员、学者和供应商聚集在一起,就知识图的主题进行为期两天的演讲、讨论和网络交流。KGC2021在5月3号到6号举行。来自加拿大CortAIx 首席人工智能科学家Freddy Lecue做了关于《知识图谱在可解释机器学习系统中应用》的报告,特别对可解释人工智能以及知识图谱在可解释机器学习中的作用进行了重点讲述,是非常好的学习资料。

知识图谱在可解释机器学习的应用

机器学习(ML),作为人工智能的关键驱动力之一,已经在许多行业显示出颠覆性的结果。在关键系统中应用ML(尤其是人工神经网络模型)最根本的问题之一,就是它无法为其决策提供依据。主要是因为常识知识或推理超出了ML系统的范围。我们展示了如何运用知识图谱来揭示更多人类可以理解的机器学习决策,并展示了一个框架,将ML和知识图谱结合起来,在识别4,233,000个资源的知识图谱中的任何一个类的对象时,展示出一个接近人的解释。

成为VIP会员查看完整内容
0
30

概率图建模(PGM)提供了一个框架,以设计一个可解释的生成过程的数据和表达不确定性的未知数。这使得PGM对于理解数据背后的现象和决策非常有用。在可解释推理是关键的领域内,PGM取得了巨大的成功,例如市场营销、医学、神经科学和社会科学。然而,PGM往往缺乏灵活性,这阻碍了它在建模大规模高维复杂数据和执行需要灵活性的任务(例如在视觉和语言应用程序中)时的使用。

深度学习(DL)是另一个从数据中建模和学习的框架,近年来取得了巨大的成功。DL功能强大,具有很大的灵活性,但缺乏PGM的可解释性和校准性。

本文研究了深度概率图建模(DPGM)。DPGM通过利用DL使PGM更加灵活。DPGM带来了从数据中学习的新方法,这些方法展示了PGM和DL的优点。

我们在PGM中使用DL来构建具有可解释潜在结构的灵活模型。我们提出一系列模型扩展指数族主成分分析(EF-PCA),使用神经网络提高预测性能,同时加强潜在因素的可解释性。我们引入的另一个模型类支持在建模顺序数据时考虑长期依赖关系,这在使用纯DL或PGM方法时是一个挑战。该序列数据模型类已成功应用于语言建模、情感分析的无监督文档表示学习、会话建模和医院再入院预测的患者表示学习。最后,DPGM成功地解决了概率主题模型的几个突出问题。

在PGM中利用DL也带来了学习复杂数据的新算法。例如,我们开发了熵正则化对抗学习,这是一种与PGM中使用的传统最大似然方法不同的学习范式。从DL的角度来看,熵正则化对抗学习为生成式对抗网络长期存在的模式崩溃问题提供了一种解决方案。

成为VIP会员查看完整内容
0
27

本书不求建立一套自足的或者界限分明的体系, 何况按科研的普遍经验, 如一味要 求万事具备才敢开疆拓土, 结果往往是一事无成, 代数相关领域尤其如此. 阅读过程中 难免会遇上新的或未夯实的知识点, “引而伸之, 触类而长之” 兴许是更合适的态度. 即 便如此, 在此仍有必要描绘一条模糊的底线. 保守估计, 本书期望读者对大学数学专业 低年级课程有充分的掌握. 如果还修习过一学期的本科代数课程, 譬如 [59] 的前半部或 [55], 就应当能顺利理解本书大部分的内容, 但这不是必需的. 至于具体情形自然得具体 分析, 既系于读者个人的学思经历, 也和胆识有关.

第一章: 集合论 读者对集合应有基本的了解. 本书以集合论居首, 一则是尊重体 系的严整性, 二则是完整说明基数和 Zorn 引理的来龙去脉. 最后介绍的 Grothendieck 宇宙是应用范畴论时的必要安全措施. 大基数理论对一些高阶的范畴论构造实属必需, 我们希望在日后探讨同调代数时予以阐明.

第二章: 范畴论基础 本章完整介绍范畴论的基础概念, 以范畴, 函子与自然变换 为中心, 着重探讨极限与可表性. 为了说明这些观念是自然的, 我们将自数学各领域中 博引例证.

第三章: 幺半范畴 这是带有某种乘法操作的范畴. 幺半范畴在实践与理论两面 占据要津, 因为它一方面是向量空间张量积的提纯, 同时又能用来定义范畴的 “充实” 化, 例如实用中常见的加性范畴. 前三章主要在观念或体系上占据首位, 实际阅读时不必循序. 建议初学者先迅速浏览, 并在后续章节中逐渐认识这些内容的必要性, 回头加以巩固. 毋须在初次阅读时就强求 逐字逐句地理解: 这不是唯一的方法, 也不是最好的方法.

第四章: 群论 对幺半群和群的基本理论予以较完整的说明, 包括自由群的构造, 也一并介绍群的完备化. 后者自然地引向 pro-有限群的概念, 这是一类可以用拓扑语汇 来包装的群论结构, 它对于 p-进数, 赋值和无穷 Galois 理论的研讨是必需的.

第五章: 环论初步 考虑到后续内容的需要, 此章也涉及完备化及对称多项式的 初步理论. 之所以称为初步, 是为了区别于交换环论 (又称交换代数) 与非交换环的进 阶研究, 这些将在后续著作予以探讨.

第六章: 模论 此章触及模论的基本内容, 包括张量积. 向量空间和交换群则视作 模的特例. 我们还会初步探讨复形, 正合列与同调群的观念. 系统性的研究则是同调代 数的任务. 关于半单模, 不可分模与合成列的内容可以算是后续著作的铺垫.

第七章: 代数初步 这里所谓的 “代数” 是构筑在模上的一种乘法结构, 虽然易生 混淆, 此词的使用早已积重难返, 本书只能概括承受. 本章还将针对代数引入整性的一般定义, 讨论分次代数, 并以张量代数及衍生之外代数和对称代数为根本实例, 这些也 是线性代数中较为深入的题材, 有时又叫作多重线性代数. 称为初步同样是为了区别于 代数的细部研究, 特别是非交换代数的表示理论, 那是另一个宏大主题.

第八章: 域扩张 扩域的研究构成了域论的一大特色, 这根植于解方程式的需求. 本书不回避无穷代数扩张和超越扩张, 但对于更精细的结构理论如 p-基等则暂予略过.

第九章: Galois 理论 有限扩域的 Galois 理论常被视为本科阶段代数学的终点, 这还是在课时充足的前提下; 如此就容易给人一种似是而非的印象, 仿佛 Galois 理论的 要旨不外是解高次方程和尺规作图. 本章包括这些应用, 但置无穷 Galois 理论于核心 位置, 因为在数论等应用中, 由可分闭包给出的绝对 Galois 群才是最根本的对象. 为了 阐述这点, 使用 pro-有限群的语言便是难免的.

第十章: 域的赋值 此章第一节是关于滤子与完备化的讨论, 无妨暂时略过. 其后 介绍 Krull 赋值的一般概念, 取值容许在任意全序交换群上, 然后引入域上的赋值与绝 对值. 这些主题既可以看作代数的支脉, 也可以看作非 Archimedes 分析学的入门. 相 关思路现已汇入了数论, 几何与动力系统的研究. 最后介绍的 Witt 向量则在算术几何 的新近发展中承担了吃重的角色.

对于抽象程度较高的部分, 正文将穿插若干和理论主线无关, 然而饶富兴味或 者曾发挥重要历史功用的结果, 例子包括 Möbius 反演 (§5.4), Frobenius 定理 7.2.9, Grassmann 簇的 Plücker 嵌入 (§7.7) 和 Ostrowski 定理 10.4.6 等等. 本书不区分基础内容与选学内容, 读者在订定阅读顺序时宜参酌各章开头的介绍 和阅读提示.

https://www.wwli.asia/index.php/zh/books-item-zh

成为VIP会员查看完整内容
0
27

【导读】开放数据科学会议ODSC21在 3 月 30日-4 月 1日,大会涵盖了众多最近研究报告,来自Freddy Lecue博士做了关于可解释人工智能的进展报告,非常值得关注!

人工智能的未来在于使人类能够与机器合作解决复杂的问题。就像任何有效的合作一样,这需要良好的沟通、信任、清晰和理解。可解释人工智能(XAI)旨在通过结合符号人工智能和传统机器学习的优点来应对此类挑战。多年来,各种不同的AI社区都在研究这一主题,他们有着不同的定义、评估指标、动机和结果。

XAI是指一套用于解释机器学习之外的任何类型的人工智能系统的工具。尽管这些工具旨在解决更广泛意义上的解释问题,但它们并不是为所有用户、任务、上下文和应用设计的。本演讲将通过回顾XAI的方法、动机、最佳实践、工业应用和局限性来描述其迄今为止的进展。

本教程是XAI迄今为止工作的一个概述,并综述了AI社区所完成的工作,重点是机器学习和符号AI相关方法。我们将阐述XAI在现实世界和大规模应用中的需求,同时提供最先进的技术和最佳的XAI编码实践。在教程的第一部分,我们将介绍AI的不同方面的解释。然后,我们将本教程重点介绍两种具体方法:(i) XAI使用机器学习,(ii) XAI使用基于图的知识表示和机器学习的组合。对于这两种方法,我们都进入了具体的方法,目前的技术水平和下一步的研究挑战。本教程的最后一部分概述了XAI的实际应用以及最佳XAI编码实践。

地址:

https://aaai.org/Conferences/AAAI-21/aaai21tutorials/#AH7

成为VIP会员查看完整内容
0
27

《数据科学设计手册》提供了实用的见解,突出了分析数据中真正重要的东西,并提供了如何使用这些核心概念的直观理解。这本书没有强调任何特定的编程语言或数据分析工具套件,而是专注于重要设计原则的高级讨论。这个易于阅读的文本理想地服务于本科生和早期研究生的需要,开始“数据科学入门”课程。它揭示了这门学科是如何以其独特的分量和特点,处于统计学、计算机科学和机器学习的交叉领域。在这些和相关领域的从业者会发现这本书完美的自学以及。

《数据科学设计手册》是数据科学的介绍,重点介绍建立收集、分析和解释数据的系统所需的技能和原则。作为一门学科,数据科学位于统计学、计算机科学和机器学习的交汇处,但它正在构建自己独特的分量和特征。

这本书涵盖了足够的材料在本科或早期研究生水平的“数据科学入门”课程。在这里可以找到教学这门课程的全套讲课幻灯片,以及项目和作业的数据资源,以及在线视频讲座。

成为VIP会员查看完整内容
0
26

CVPR是计算机视觉领域三大顶会中唯一一个年度学术会议。在快速更新迭代的计算机学科中,CVPR成为了计算机视觉领域的“顶级流量”。而在过去的这些年间,CVPR也有着许多的变化。在十多年前,CVPR不过1500人的参会规模,到了2019年参会人数已经超过了6500人,投稿数量也年年增长。

虽然CVPR每年都会评选出最佳论文,但我们今天将从另一个角度来评选CVPR这二十年来的TOP10。即以Web of Science上显示的论文的引用量作为论文影响力的参考,排列出近二十年来影响力最大的十篇论文。接下来我们将依次进行介绍。

TOP10 Rethinking the Inception Architecture for Computer Vision CVPR 2016

作者:Christian Szegedy,Vincent Vanhoucke,Sergey Ioffe,Jon Shlens,Zbigniew Wojna

机构:Google,伦敦大学

被引频次:4751

这篇论文又被称为Inception-v3,是GoogLeNet(Inception-v1)的延伸。GoogLeNet首次出现于2014年ILSVRC 比赛,并在当年的比赛中获得了冠军。Inception-v1的参数量远小于同期VGGNet,而性能却与之基本持平。相较于Inception-v1,Inception-v3做出的主要改进则是将卷积进行非对称拆分,以显著降低参数量,同时使得空间特征更为丰富。

TOP9 Densely Connected Convolutional Networks CVPR 2017

作者:Gao Huang,Zhuang Liu,Laurens van der Maaten,Kilian Q. Weinberger

机构:康奈尔大学,清华大学,Facebook AI Research

被引频次:5181

DenseNet也是CVPR2017的最佳论文之一。在当时的神经网络模型都遇到一个问题:随着网路层数的加深,训练过程中的前传信号和梯度信号在经过很多层之后可能会逐渐消失。而DenseNet的核心思想解决了这一问题。它对前每一层都加一个单独的 shortcut,使得任意两层网络都可以直接“沟通”。

而DenseNet的不足之处在于它的内存占用十分庞大。但瑕不掩瑜,DenseNet以其极具创新性的思路,不仅显著减轻了深层网络在训练过程中梯度消散而难以优化的问题,同时也取得了非常好的性能。

TOP8 You Only Look Once: Unified, Real-Time Object Detection CVPR 2016

作者:Joseph Redmon,Santosh Divvala,Ross Girshick,Ali Farhadiq

机构:华盛顿大学,Allen Institute for AI,Facebook AI Research

被引频次:5295

这一篇论文就是在目标检测领域大名鼎鼎的YOLO。其最新的版本已经更新到了YOLOv5,且每一代的发布都能在行业内卷齐新的热潮。

用YOLO的英文直译解释这一方法,就是只需要浏览一次就能识别出图中的物体的类别和位置。展开来说,YOLO的核心思想就是将目标检测转化为回归问题求解,并基于一个单独的端到端网络,完成从原始图像的输入到物体位置和类别的输出。这使得网络结构简单,且极大提升了检测速度。由于网络没有分支,所以训练也只需要一次即可完成。之后的很多检测算法都借鉴了这一思路。

TOP7 Rich feature hierarchies for accurate object detection and semantic segmentation CVPR 2014

作者:Ross Girshick,Jeff Donahue,Trevor Darrell,Jitendra Malik

机构:加利福尼亚大学伯克利分校

被引频次:6876

这篇文章的排名在YOLO之前,既合理又巧妙。因为在YOLO之前,目标检测领域可以说是RCNN的世界。RCNN是将CNN引入目标检测的开山之作,它改变了目标检测领域的主要研究思路。紧随其后的系列文章,如Fast RCNN和Faster RCNN等,都代表了该领域当时的最高水准。

在RCNN前经典的目标检测算法是使用滑动窗法依次判断所有可能的区域,而RCNN则采用Selective Search方法预先提取一系列较可能是物体的候选区域,之后仅在这些候选区域上提取特征,这使得检测的速度大大提升。

TOP6 Rapid object detection using a boosted cascade of simple features CVPR 2001

作者:Paul Viola,Michael Jones

机构:三菱电气实验室 ,康柏剑桥研究实验室

被引频次:7033

这篇论文是本次盘点中最先发表的一篇,比其他九篇文章都早了十年左右,它在传统人脸检测中具有里程碑意义,因而本文提出的思想聚焦于传统的目标检测。

这篇论文主要解决了三个问题:一是减少了计算特征的时间,二是构建了简单又很有效的单分支决策树分类器,最后是从简单到复杂把多个分类器级联,对可能包含人脸的区域进行重点检测,从而显著提升了检测速度。

TOP5 Going Deeper with Convolutions CVPR 2015

作者:Christian Szegedy,Dragomir Anguelov, Dumitru Erhan,Vincent Vanhoucke,Yangqing Jia,Pierre Sermanet,Wei Liu,Scott Reed,Andrew Rabinovich

机构:Google,北卡罗来纳大学,密歇根大学

发布时间:2015年

被引频次:7269

可能大家已经发现了亮点,这篇论文的系列工作在前面就出现过。这篇论文就是开辟Inception家族,并在CNN分类器发展史上留下浓墨重彩的一笔的GoogLeNet。

在 Inception 出现之前,大部分流行 CNN 是将卷积层不断堆叠,让网络越来越深来得到更好的性能。而GoogLeNet 最大的特点就是使用 Inception 模块,并设计一种具有优良局部拓扑结构的网络,对输入图像并行地执行多个卷积运算或池化操作,将所有输出结果拼接为一个非常深的特征图。通过这种方式,GoogLeNet取得了非常惊艳的效果。

TOP4 ImageNet: A Large-Scale Hierarchical Image Database CVPR 2009

作者:Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,Kai Li,Li Fei-Fei

机构:普林斯顿大学

发布时间:2009年

被引频次:8222

ImageNet是AI女神李飞飞团队构建的计算机视觉领域非常著名的海量的带标注图像数据集。它在图像分类、目标分割和目标检测中都有着无法撼动的地位。ImageNet从 2007 年开始到 2009 年完成,有超过 1500 万张图片。

可以毫不夸张的说,ImageNet 是图像处理算法的试金石。另外,从 2010 年起,每年 ImageNet 官方会举办挑战赛。Hinton团队提出的AlexNet也是在2012年的ImageNet挑战赛上一举成名,自此深度学习的热潮被点燃。

TOP3 Fully Convolutional Networks for Semantic Segmentation CVPR 2015

作者:Jonathan Long,Evan Shelhamer,Trevor Darrell

发布时间:2015年

被引频次:9027

FCN在我们之前盘点的图像分割TOP10中就出现过,并高居第一位。作为语义分割的开山之作,无论是图像分割TOP1,还是CVPRTOP3,FCN都是当之无愧的。FCN所提出的全卷积网络的概念,开创了用FCN做实例和像素级别理解系列方法的先河。后续非常多的方法都受到了FCN的思路启发。FCN的提出为目标识别、检测与分割也都做出了巨大的贡献。

TOP2 Histograms of oriented gradients for human detection CVPR 2005

作者:Navneet Dalal,Bill Triggs

被引频次:13389

图片 这篇论文所提出的方法简称HOG,是一种是非常经典的图像特征提取方法,在行人识别领域被应用得尤为多。虽然文章已经发表了十五年,但仍然常常被人们用于最新工作的思路参考。HOG将图像分成小的连通区域,将它称为细胞单元,然后采集细胞单元中各像素点的梯度的或边缘的方向直方图,把这些直方图组合起来就可以构成特征描述器。

TOP1 Deep Residual Learning for Image Recognition CVPR2016

作者:Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun

被引频次:32065

这篇论文作为第一名,的确是当之无愧。作为CVPR2016的最佳论文,它所提出的ResNet不仅在计算机视觉领域,而是在深度学习领域中都带来了颠覆式影响。

在当年,ResNet横扫 ImageNet 2015和COCO 榜单。也是从ResNet开始,神经网络在视觉分类任务上的性能第一次超越了人类。它也让当时第二次获得CVPR Best Paper的何恺明正式踏上了大神之路。

最初 ResNet 的设计是用来处理深层 CNN 结构中梯度消失和梯度爆炸的问题,它将输入从卷积层的每个块添加到输出,让每一层更容易学习恒等映射,并且还减少了梯度消失的问题。而如今,残差模块已经成为几乎所有 CNN 结构中的基本构造。

最后,我们来进行一下简要地总结。虽然本次盘点的是20年内CVPRTOP10,但是有超过半数的论文都是在近十年发表的,由此可以窥见深度学习在近年来的飞跃式发展。因此我们可以期待在未来的计算机视觉领域,一定会有更多更强的工作,为我们的科研与生活带来更快更好的提升。

参考资料

[1] https://zhuanlan.zhihu.com/p/41691301 [2] https://www.zhihu.com/question/60109389/answer/203099761 [3] https://zhuanlan.zhihu.com/p/31427164 [4] https://zhuanlan.zhihu.com/p/23006190 [5] https://blog.csdn.net/weixin_37763809/article/details/88256828 [6] https://zhuanlan.zhihu.com/p/37505777 [7] https://zhuanlan.zhihu.com/p/77221549 [8] https://www.zhihu.com/question/433702668/answer/1617092684 [9] https://blog.csdn.net/zouxy09/article/details/7929348 [10] https://www.jiqizhixin.com/articles/2020-01-01

成为VIP会员查看完整内容
0
24
  1. 图神经网络是一种功能强大的深度学习模型,惊人地普遍存在。

  2. 扩展和包含时间或异构信息是具有挑战性的。

  3. 多种应用研究

成为VIP会员查看完整内容
0
25

当你正在匆忙编写代码并且需要一个答案时,你可以阅读这本书。它是对核心语言的一个易于使用的引用,包括对常用模块和工具包的描述,以及关于最近的变化、新特性和升级的内置组件的指南——所有这些更新都涵盖了Python 3。X和版本2.6。您还可以通过方便的索引快速找到所需的内容。

由Mark Lutz编写——被广泛认为是世界领先的Python培训师——Python Pocket Reference,第四版,是O'Reilly的经典Python教程的完美伙伴,也由Mark: Learning Python and Programming Python编写。

内置对象类型,包括数字、列表、字典等 用于创建和处理对象的语句和语法 用于构造和重用代码的函数和模块 Python的面向对象编程工具 异常处理模型 内置函数、异常和属性 特殊的操作符重载方法 广泛使用的标准库模块和扩展 命令行选项和开发工具 Python的习惯用法和提示

成为VIP会员查看完整内容
0
23
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top