【导读】牛津大学的博士生Oana-Maria Camburu撰写了毕业论文《解释神经网络 (Explaining Deep Neural Networks)》,系统性介绍了深度神经网络可解释性方面的工作,值得关注。

作者介绍:

Oana-Maria Camburu,来自罗马尼亚,目前是牛津大学的博士生,主修机器学习、人工智能等方向。

Explaining Deep Neural Networks

深度神经网络在计算机视觉、自然语言处理和语音识别等不同领域取得了革命性的成功,因此越来越受欢迎。然而,这些模型的决策过程通常是无法向用户解释的。在各种领域,如医疗保健、金融或法律,了解人工智能系统所做决策背后的原因至关重要。因此,最近研究了几个解释神经模型的方向。

在这篇论文中,我研究了解释深层神经网络的两个主要方向。第一个方向由基于特征的事后解释方法组成,也就是说,这些方法旨在解释一个已经训练过的固定模型(事后解释),并提供输入特征方面的解释,例如文本标记和图像的超级像素(基于特征的)。第二个方向由生成自然语言解释的自解释神经模型组成,也就是说,模型有一个内置模块,为模型的预测生成解释。在这些方面的贡献如下:

  • 首先,我揭示了仅使用输入特征来解释即使是微不足道的模型也存在一定的困难。我表明,尽管有明显的隐含假设,即解释方法应该寻找一种特定的基于真实值特征的解释,但对于预测通常有不止一种这样的解释。我还展示了两类流行的解释方法,它们针对的是不同类型的事实基础解释,但没有明确地提及它。此外,我还指出,有时这两种解释都不足以提供一个实例上决策过程的完整视图。

  • 其次,我还介绍了一个框架,用于自动验证基于特征的事后解释方法对模型的决策过程的准确性。这个框架依赖于一种特定类型的模型的使用,这种模型有望提供对其决策过程的洞察。我分析了这种方法的潜在局限性,并介绍了减轻这些局限性的方法。引入的验证框架是通用的,可以在不同的任务和域上实例化,以提供现成的完整性测试,这些测试可用于测试基于特性的后特殊解释方法。我在一个情绪分析任务上实例化了这个框架,并提供了完备性测试s1,在此基础上我展示了三种流行的解释方法的性能。

  • 第三,为了探索为预测生成自然语言解释的自解释神经模型的发展方向,我在有影响力的斯坦福自然语言推断(SNLI)数据集之上收集了一个巨大的数据集,数据集约为570K人类编写的自然语言解释。我把这个解释扩充数据集称为e-SNLI。我做了一系列的实验来研究神经模型在测试时产生正确的自然语言解释的能力,以及在训练时提供自然语言解释的好处。

  • 第四,我指出,目前那些为自己的预测生成自然语言解释的自解释模型,可能会产生不一致的解释,比如“图像中有一只狗。”以及“同一幅图片中没有狗”。不一致的解释要么表明解释没有忠实地描述模型的决策过程,要么表明模型学习了一个有缺陷的决策过程。我将介绍一个简单而有效的对抗性框架,用于在生成不一致的自然语言解释时检查模型的完整性。此外,作为框架的一部分,我解决了使用精确目标序列的对抗性攻击的问题,这是一个以前在序列到序列攻击中没有解决的场景,它对于自然语言处理中的其他任务很有用。我将这个框架应用到e-SNLI上的一个最新的神经模型上,并表明这个模型会产生大量的不一致性。

这项工作为获得更稳健的神经模型以及对预测的可靠解释铺平了道路。

地址: https://arxiv.org/abs/2010.01496

成为VIP会员查看完整内容
0
84
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

NeurIPS 接收论文中,29% 的作者有中国大学的本科学位,但他们在毕业后有 54% 会去美国攻读研究生博士,这其中又有 90% 选择留美工作。剑桥大学的 2020 版《AI 全景报告》写出了 AI 领域哪些值得关注的新观察?

人工智能是基础科学与工程实践结合的技术领域,近年来已经融合了越来越多的其他方向。在数字化逐渐成型的今天,AI 将为技术进步产生推动作用。

近日,剑桥大学的 2020 版《AI 全景报告》终于出炉,这是该年度报告的第三期。和往年一样,该报告援引的数据来自知名科技公司和研究小组。新版 AI 全景报告以几个方面分别介绍了人工智能领域最近一段时间的发展趋势:研究、人才、业界、政策和未来展望。

该调查的两位主要作者 Nathan Benaich 与 Ian Hogarth 均来自剑桥大学。

成为VIP会员查看完整内容
0
62

为机器配备对世界实体及其关系的全面了解一直是人工智能的一个长期目标。在过去的十年中,大规模知识库(也称为知识图谱)已经从Web内容和文本源中自动构建出来,并且已经成为搜索引擎的关键模块。这种机器知识可以被用来从语义上解释新闻、社交媒体和网络表格中的文本短语,并有助于回答问题、自然语言处理和数据分析。本文调查基本概念和实际的方法来创建和管理大型知识库。它涵盖了用于发现和规范化实体及其语义类型以及将它们组织成干净的分类法的模型和方法。在此基础上,本文讨论了以实体为中心的属性的自动提取。为了支持机器知识的长期生命周期和质量保证,本文提出了构建开放模式和知识管理的方法。学术项目的案例研究和工业知识图表补充了概念和方法的调查。

概述

增强计算机的“机器知识”,可以推动智能应用是计算机科学的一个长期目标[323]。由于知识获取方面取得了重大进展,这一以前难以捉摸的愿景如今已变得切实可行。这包括将嘈杂的互联网内容转化为实体和关系上的清晰知识结构的方法。知识获取方法使得自动建设知识库(KB):机器可读的关于现实世界的事实的集合。如今,公开的KBs提供了数以百万计的实体(比如人、组织、地点和书籍、音乐等创意作品)和数十亿的声明(比如谁研究了哪里,哪个国家拥有哪一种资本,或者哪位歌手演唱了哪首歌)。大公司部署的专有KBs包含了更大范围的知识,有一到两个数量级的实体。

知识库成为关键资产的一个突出用例是Web搜索。当我们向百度、Bing或谷歌发送一个类似“迪伦抗议歌曲”的查询时,我们会得到一个清晰的歌曲列表,比如《Blowin ' in the Wind》、《Masters of War》或《a- gonna Rain ' s a- gonna Fall》。因此,搜索引擎自动检测到我们对某一个体实体的事实感兴趣——这里是鲍勃·迪伦——并要求特定类型的相关实体——抗议歌曲——作为答案。这是可行的,因为搜索引擎在其后端数据中心有一个巨大的知识库,有助于发现用户请求(及其上下文)中的实体,并找到简明的答案。

本文介绍了从Web和文本源自动构建和管理大型知识库的方法。我们希望它将对博士生和对广泛的主题感兴趣的教师有用——从机器知识和数据质量到机器学习和数据科学,以及web内容挖掘和自然语言理解的应用。此外,本文还旨在为从事web、社会媒体或企业内容的语义技术的行业研究人员和实践者提供帮助,包括从文本或半结构化数据构建意义的各种应用程序。不需要有自然语言处理或统计学习的先验知识;我们将根据需要介绍相关的方法(或至少给出文献的具体指示)。

这篇文章共分为十章。第2章给出了知识表示的基础知识,并讨论了知识库的设计空间。第3、4和5章介绍了构建包含实体和类型的知识库核心的方法。第3章讨论了利用具有丰富和干净的半结构化内容的优质资源,第4章讨论了从文本内容中获取的知识。第5章特别关注将实体规范化为唯一表示的重要问题。第6章和第7章通过发现和提取实体的属性以及实体之间的关系的方法扩展了知识库的范围。第6章主要讨论为感兴趣的属性预先设计模式的情况。第7章讨论了为KB模式中尚未指定的属性和关系发现新的属性类型的情况。第8章讨论了知识库管理和知识库长期维护的质量保证问题。第9章介绍了几个具体KBs的案例研究,包括工业知识图谱(KGs)。我们在第10章以关键课程和关于机器知识主题可能走向的展望来结束。

成为VIP会员查看完整内容
0
47

数据科学是设计从大量数据中提取知识的算法和管道。时间序列分析是数据科学的一个领域,它感兴趣的是分析按时间顺序排列的数值序列。时间序列特别有趣,因为它让我们能够可视化和理解一个过程在一段时间内的演变。他们的分析可以揭示数据之间的趋势、关系和相似性。存在大量以时间序列形式包含数据的领域:医疗保健(心电图、血糖等)、活动识别、遥感、金融(股票市场价格)、工业(传感器)等。

在数据挖掘中,分类是一项受监督的任务,它涉及从组织到类中的带标签的数据中学习模型,以便预测新实例的正确标签。时间序列分类包括构造用于自动标注时间序列数据的算法。例如,使用健康患者或心脏病患者的一组标记的心电图,目标是训练一个模型,能够预测新的心电图是否包含病理。时间序列数据的时序方面需要算法的发展,这些算法能够利用这种时间特性,从而使传统表格数据现有的现成机器学习模型在解决底层任务时处于次优状态。

在这种背景下,近年来,深度学习已经成为解决监督分类任务的最有效方法之一,特别是在计算机视觉领域。本论文的主要目的是研究和发展专门为分类时间序列数据而构建的深度神经网络。因此,我们进行了第一次大规模的实验研究,这使我们能够比较现有的深度学习方法,并将它们与其他基于非深度学习的先进方法进行比较。随后,我们在这一领域做出了大量的贡献,特别是在迁移学习、数据增强、集成和对抗性攻击的背景下。最后,我们还提出了一种新的架构,基于著名的Inception 网络(谷歌),它是目前最有效的架构之一。

我们在包含超过100个数据集的基准测试上进行的实验使我们能够验证我们的贡献的性能。最后,我们还展示了深度学习方法在外科数据科学领域的相关性,我们提出了一种可解释的方法,以便从运动学多变量时间序列数据评估外科技能。

深度学习序列分类概述

在过去的二十年中,TSC被认为是数据挖掘中最具挑战性的问题之一(Yang and Wu, 2006; Esling and Agon, 2012)。随着时间数据可用性的增加(Silva et al.,2018),自2015年以来已有数百种TSC算法被提出(Bagnall et al.,2017)。由于时间序列数据具有自然的时间顺序,几乎在每一个需要某种人类认知过程的任务中都存在时间序列数据(Langkvist, Karlsson, and Loutfi, 2014)。事实上,任何使用考虑到排序概念的已注册数据的分类问题都可以被视为TSC问题(Cristian Borges Gamboa, 2017)。时间序列在许多实际应用中都遇到过,包括医疗保健(Gogolou等,2018)和人类活动识别(Wang et al.,2018;到声学场景分类(Nwe, Dat, and Ma, 2017)和网络安全(Susto, Cenedese, and Terzi, 2018)。此外,UCR/UEA档案中数据集类型的多样性(Dau等,2019;Bagnall et al,2017)(最大的时间序列数据集储存库)展示了TSC问题的不同应用。

成为VIP会员查看完整内容
0
47

这本机器学习畅销书基于TensorFlow 2和Scikit-Learn的新版本进行了全面更新,通过具体的示例、非常少的理论和可用于生产环境的Python框架,从零帮助你直观地理解并掌握构建智能系统所需要的概念和工具。

全书分为两部分。第一部分介绍机器学习基础,涵盖以下主题:什么是机器学习,它试图解决什么问题,以及系统的主要类别和基本概念;第二部分介绍神经网络和深度学习,涵盖以下主题:什么是神经网络以及它们有什么用,使用TensorFlow和Keras构建和训练神经网络的技术,以及如何使用强化学习构建可以通过反复试错,学习好的策略的代理程序。第一部分主要基于Scikit-Learn,而第二部分则使用TensorFlow和Keras。

奥雷利安·杰龙(Aurélien Géron)是机器学习方面的顾问。他曾就职于Google,在2013年到2016年领导过YouTube视频分类团队。他是Wifirst公司的创始人并于2002年至2012年担任该公司的首席技术官。2001年,他创办Ployconseil公司并任首席技术官。

成为VIP会员查看完整内容
1
48

【导读】机器学习深度学习顶会NeurIPS2020接收论文公布!

NeurIPS2020官方今日发布接收论文列表,9454篇论文提交有1900篇论文接受,接受率20.1%,其中涵盖280篇Spotlight和105篇Oral.

成为VIP会员查看完整内容
0
44

图神经网络(GNNs)最近在人工智能领域变得越来越受欢迎,这是因为它们具有提取相对非结构化数据类型作为输入数据的独特能力。尽管GNN体系结构的一些元素在操作上与传统神经网络(以及神经网络变体)的概念相似,但其他元素则不同于传统的深度学习技术。本教程通过整理和呈现最常见类型的GNNs的动机、概念、数学和应用的详细信息,向一般深度学习爱好者展示了GNNs的强大功能和新颖之处。重要的是,我们以介绍性的速度简要地介绍了本教程,并提供了理解和使用GNNs的实用和可访问的指南。

摘要:

当代人工智能(AI),或者更具体地说,深度学习(DL)近年来被称为神经网络(NN)的学习架构所主导。NN变体被设计用于提高某些问题领域的性能;卷积神经网络(CNN)在基于图像的任务环境中表现突出,而递归神经网络(RNN)在自然语言处理和时间序列分析空间中表现突出。神经网络也被用作复合DL框架的组件——它们在生成对抗网络(GANs)中被用作可训练的生成器和判别器,在transformers [46]中被用作编码器和解码器。虽然在计算机视觉中作为输入的图像和在自然语言处理中作为输入的句子看起来是不相关的,但是它们都可以用一个单一的、通用的数据结构来表示:图(见图1)。

形式上,图是一组不同的顶点(表示项目或实体),这些顶点通过边(表示关系)选择性地连接在一起。被设计来处理这些图的学习架构是有名称的图神经网络(GNN)。输入图之间的顶点和边的数量可以改变。通过这种方式,GNNs可以处理非结构化的、非欧几里得数据[4],这一特性使得它们在图形数据丰富的特定问题域中具有价值。相反,基于NN的算法通常需要对具有严格定义维数的结构化输入进行操作。例如,构建一个用于在MNIST数据集上进行分类的CNN,其输入层必须为28×28个神经元,后续输入给它的所有图像大小必须为28×28像素,才能符合这个严格的维数要求[27]。

图作为数据编码方法的表达性,以及GNNs相对于非结构化输入的灵活性,推动了它们的研究和开发。它们代表了一种探索相对通用的深度学习方法的新方法,并且它们促进了深度学习方法对数据集的应用,直到最近,这些数据集还不能使用传统的神经网络或其他此类算法。

本篇内容结构:

  • (1) 简明易懂的GNNs入门教程。
  • (2) 具体GNN架构(RGNNs、CGNNs、GAEs)的操作说明,逐步构建对GNN框架的整体理解(分别参见第3、4、5节)。
  • (3) GNN如何应用于现实世界问题领域的完整例子(见附录B.1、B.2和B.3)。
  • (4) 具体的进一步阅读建议和先进的文献(提供在第3、4、5节的最后)。

https://deepai.org/publication/a-practical-guide-to-graph-neural-networks

成为VIP会员查看完整内容
0
43

近年来,图神经网络(GNNs)由于具有建模和从图结构数据中学习的能力,在机器学习领域得到了迅猛发展。这种能力在数据具有内在关联的各种领域具有很强的影响,而传统的神经网络在这些领域的表现并不好。事实上,正如最近的评论可以证明的那样,GNN领域的研究已经迅速增长,并导致了各种GNN算法变体的发展,以及在化学、神经学、电子或通信网络等领域的突破性应用的探索。然而,在目前的研究阶段,GNN的有效处理仍然是一个开放的挑战。除了它们的新颖性之外,由于它们依赖于输入图,它们的密集和稀疏操作的组合,或者在某些应用中需要伸缩到巨大的图,GNN很难计算。在此背景下,本文旨在做出两大贡献。一方面,从计算的角度对GNNs领域进行了综述。这包括一个关于GNN基本原理的简短教程,在过去十年中该领域发展的概述,以及在不同GNN算法变体的多个阶段中执行的操作的总结。另一方面,对现有的软硬件加速方案进行了深入分析,总结出一种软硬件结合、图感知、以通信为中心的GNN加速方案。

成为VIP会员查看完整内容
0
39

从一开始就创建良好的数据,而不是在收集数据之后修复它。通过遵循这本书中的指导方针,你将能够进行更有效的分析,并产生研究数据的及时演示。

数据分析师通常与数据集提出了勘探和研究设计不良,导致解释的困难和延误产生有意义的结果。数据分析培训的重点是如何在开始认真分析之前清理和转换数据集。通过使用良好的数据集设计和理解数据类型如何决定可以执行的分析类型,可以避免不恰当或令人困惑的表示、度量单位选择、编码错误、缺失值、离群值等。

这本书讨论了数据集创建的原则和最佳实践,并涵盖了基本数据类型及其相关的适当统计和可视化。这本书的一个重点是为什么选择某些数据类型来表示概念和度量,而不是典型的讨论如何分析选定的特定数据类型。

你会: 注意创建和收集数据的原则 了解基本数据类型和表示 选择数据类型,预测分析目标 理解数据集的结构和用于分析和共享的实践 由例子引导和用例(好的和坏的) 使用清洁工具和方法创建良好的数据

成为VIP会员查看完整内容
0
36

深度神经网络在拥有大量数据集和足够的计算资源的情况下能够取得巨大的成功。然而,他们快速学习新概念的能力相当有限。元学习是解决这一问题的一种方法,通过使网络学会如何学习。令人兴奋的深度元学习领域正在高速发展,但缺乏对当前技术的统一、深刻的概述。这项工作就是这样。在为读者提供理论基础之后,我们研究和总结了主要的方法,这些方法被分为i)度量;ii)模型;和iii)基于优化的技术。此外,我们确定了主要的开放挑战,如在异构基准上的性能评估,以及元学习计算成本的降低。

摘要:

近年来,深度学习技术在各种任务上取得了显著的成功,包括游戏(Mnih et al., 2013; Silver et al., 2016),图像识别(Krizhevsky et al., 2012; He et al., 2015)和机器翻译(Wu et al., 2016)。尽管取得了这些进展,但仍有大量的挑战有待解决,例如实现良好性能所需的大量数据和训练。这些要求严重限制了深度神经网络快速学习新概念的能力,这是人类智能的定义方面之一(Jankowski等人,2011;(Lake等,2017)。

元学习被认为是克服这一挑战的一种策略(Naik and Mammone, 1992; Schmidhuber, 1987; Thrun, 1998)。其关键思想是元学习主体随着时间的推移提高自己的学习能力,或者等价地说,学会学习。学习过程主要与任务(一组观察)有关,并且发生在两个不同的层次上:内部和外部。在内部层,一个新的任务被提出,代理试图快速地从训练观察中学习相关的概念。这种快速的适应是通过在外部层次的早期任务中积累的知识来促进的。因此,内部层关注的是单个任务,而外部层关注的是多个任务。

从历史上看,元学习这个术语的使用范围很广。从最广泛的意义上说,它概括了所有利用之前的学习经验以更快地学习新任务的系统(Vanschoren, 2018)。这个广泛的概念包括更传统的机器学习算法选择和hyperparameter优化技术(Brazdil et al ., 2008)。然而,在这项工作中,我们专注于元学习领域的一个子集,该领域开发元学习程序来学习(深度)神经网络的良好诱导偏差。1从今以后,我们使用术语深元学习指元学习的领域。

深度元学习领域正在快速发展,但它缺乏一个连贯、统一的概述,无法提供对关键技术的详细洞察。Vanschoren(2018)对元学习技术进行了调查,其中元学习被广泛使用,限制了对深度元学习技术的描述。此外,在调查发表后,深度元学习领域也出现了许多令人兴奋的发展。Hospedales等人(2020)最近的一项调查采用了与我们相同的深度元学习概念,但目标是一个广泛的概述,而忽略了各种技术的技术细节。

我们试图通过提供当代深度元学习技术的详细解释来填补这一空白,使用统一的符号。此外,我们确定了当前的挑战和未来工作的方向。更具体地说,我们覆盖了监督和强化学习领域的现代技术,已经实现了最先进的性能,在该领域获得了普及,并提出了新的想法。由于MAML (Finn et al., 2017)和相关技术对该领域的影响,我们给予了格外的关注。本研究可作为深度元学习领域的系统性介绍,并可作为该领域资深研究人员的参考资料。在整个过程中,我们将采用Vinyals(2017)所使用的分类法,该分类法确定了三种深度元学习方法:i)度量、ii)模型和iii)基于优化的元学习技术。

成为VIP会员查看完整内容
0
33

在这篇评述文章中,清华大学人工智能研究院院长、中国科学院院士张钹教授阐述了自己对于「第三代人工智能」的看法。他认为,第三代 AI 发展的思路是把第一代的知识驱动和第二代的数据驱动结合起来,通过利用知识、数据、算法和算力等 4 个要素,构造更强大的 AI,目前存在双空间模型与单一空间模型两个方案。本文对这篇评述进行了全文刊载。

成为VIP会员查看完整内容
0
30

人工智能(AI)为改善私人和公共生活提供了很多机会,以自动化的方式在大型数据中发现模式和结构是数据科学的核心组件,目前驱动着计算生物学、法律和金融等不同领域的应用发展。然而,这种高度积极的影响也伴随着重大的挑战:我们如何理解这些系统所建议的决策,以便我们能够信任它们?在这个报告中,我们特别关注数据驱动的方法——特别是机器学习(ML)和模式识别模型——以便调查和提取结果和文献观察。通过注意到ML模型越来越多地部署在广泛的业务中,可以特别理解本报告的目的。然而,随着方法的日益普及和复杂性,业务涉众对模型的缺陷、特定数据的偏差等越来越关注。类似地,数据科学从业者通常不知道来自学术文献的方法,或者可能很难理解不同方法之间的差异,所以最终使用行业标准,比如SHAP。在这里,我们进行了一项调查,以帮助行业从业者(以及更广泛的数据科学家)更好地理解可解释机器学习领域,并应用正确的工具。我们后面的章节将围绕一位公认的数据科学家展开叙述,并讨论她如何通过提出正确的问题来解释模型。

https://arxiv.org/abs/2009.11698

成为VIP会员查看完整内容
0
30

https://www.aminer.cn/grla_ecmlpkdd2020

图表示学习为挖掘和学习网络数据提供了一个革命性的范例。在本教程中,我们将系统地介绍网络上的表示学习。我们将以阿里巴巴、AMiner、Microsoft Academic、微信和XueTangX的行业案例作为教程的开始,来解释网络分析和网络图挖掘如何从表示学习中受益。然后,我们将全面介绍图表示学习的历史和最新进展,如网络嵌入、图神经网络及其预训练策略。独特的是,本教程旨在向读者提供图形表示学习的基本理论,以及我们在将这方面的研究转化为工业应用中的实际应用方面的经验。最后,我们将为开放和可重现的图表示学习研究发布公共数据集和基准。

成为VIP会员查看完整内容
0
30

The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances

人脸识别是计算机视觉领域中最基本、最长期存在的研究课题之一。随着深度卷积神经网络和大规模数据集的发展,深度人脸识别取得了显著的进展,并在实际应用中得到了广泛的应用。以自然图像或视频帧作为输入,端到端深度人脸识别系统输出人脸特征进行识别。为了实现这一目标,整个系统通常由三个关键要素构建:人脸检测、人脸预处理和人脸表示。人脸检测在图像或帧中定位人脸。然后,对人脸进行预处理,将人脸标定为标准视图,并将其裁剪为标准化像素大小。最后,在人脸表示阶段,从预处理后的人脸中提取识别特征进行识别。深度卷积神经网络满足了这三个要素。摘要随着深度学习技术的蓬勃发展,端到端深度人脸识别技术的能力得到了极大的提高,本文对端到端深度人脸识别技术中各个方面的最新进展进行了综述。首先,我们介绍端到端深度人脸识别的概述,如前所述,它包括人脸检测、人脸预处理和人脸表示。然后,我们分别回顾了基于深度学习的每个元素的进展,包括许多方面,如最新的算法设计、评估指标、数据集、性能比较、存在的挑战和未来的研究方向。我们希望这一调查可以为我们更好地理解端到端人脸识别的大图和更系统的探索带来有益的想法。

https://arxiv.org/abs/2009.13290

成为VIP会员查看完整内容
0
26

机器学习简明指南,不可错过!

A Machine Learning Primer

亚马逊研究科学家Mihail Eric关于机器学习实践重要经验。包括监督学习、机器学习实践、无监督学习以及深度学习。具体为:

监督学习

  • 线性回归
  • 逻辑回归
  • 朴素贝叶斯
  • 支持向量机
  • 决策树
  • K-近邻

机器学习实践

  • 偏差-方差权衡
  • 如何选择模型
  • 如何选择特征
  • 正则化你的模型
  • 模型集成
  • 评价指标

无监督学习

  • 市场篮子分析
  • K均值聚类
  • 主成分分析

深度学习

  • 前向神经网络
  • 神经网络实践
  • 卷积神经网络
  • 循环神经网络
成为VIP会员查看完整内容
0
24

工业级推荐系统和学术研究中的推荐系统最大的一个区别,也是最容易忽视的一个区别在于,前者往往是某个产品中的一个环节,甚至有时候是一个很小的环节。一个产品往往有很多环节,而这些环节构成了一个复杂的生态系统。更进一步来说,某个公司之间的多个产品可以进一步构成更加高级的复杂生态系统。所以,理解工业级推荐系统就必须把推荐系统放回其所在的整体生态系统来进行审视和研究。

传统学术研究中的推荐系统往往基于一个虚构的理想环境。那就是有一个物品的候选池(可以是新闻、电影、或者是商品等),而用户针对这个侯选池中的物品进行逐一评分,分数由低到高,可以是五分制,也可以是两分制,表达喜好程度。推荐系统的任务被抽象成为对用户评分(Rating)信息的预测或者是估计。一个完美的推荐系统就是毫无偏差得对所有的用户评分进行还原和预测。熟悉的读者可以发现,这个理想环境其实就是对推荐系统研究有着巨大推动作用的——Netflix大奖赛中任务场景更加抽象的一个版本。的确,把推荐系统抽象成用户评分信息预估极大得简化了推荐系统在实际产品中的作用,为十多年来推荐系统研究的蓬勃发展带来了有力的支持。一个更加抽象的任务描述则把评分预估看成是不完全信息的“矩阵完成”(Matrix Completion)。也就是说评分预估可以看做是一个以用户为行物品为列的矩阵中有一些信息不完整。我们只有某一些单元中有数值,代表已经打过分的用户与物品的的交互。剩下有大量的单元需要来补全信息。这种“矩阵完成”的任务描述则更进一步得把推荐系统的任务变成了数学中的代数问题。

实际上,研究人员和实践工作者很快意识到了把推荐系统研究如此简化带来的一个直接问题,那就是推荐系统性能的提高,或者说是对用户评分预测的精准与否,与我们期望推荐系统所承载的功能有不小的偏差。早在Netflix大奖赛之后,Netflix官方工程博客就阐述了为什么团队最终没有采纳获奖的算法在产品中,并且因为种种原因,包括隐私和法律风险,Netflix最终放弃了举行第二届大奖赛的想法。对于Netflix这个产品群来说,真正的产品需求是希望用户能够喜欢其服务所带来的电影电视以及广泛的节目,从而让用户能够选择订阅Netflix服务,或者持续订阅。也就是说,Netflix所有产品,包括上面林林种种的搜索推荐功能都是为这同一目的而服务的。单一模块的好坏甚至是某个模块上面用户对于某一个节目的评分可能与这个用户是否选择继续订阅Netflix没有明显的联系。

这种推荐模块仅仅是一个更大产品中的一个环节,并且更大产品的目标和推荐系统的目标完全不一样的情况不仅仅局限于Netflix。例如电商Amazon,虽然网站上有各种不同的页面和模块,但归结起来,总的目的还是希望能够吸引用户购买商品。例如专注构建职业社交圈的LinkedIn,网站上有丰富的各种模块和服务,但归根结底,LinkedIn是希望用户最终能够订阅其中的一些服务或者是成为其广告的点击者,为其服务产生商业价值。例如在线音乐和广播节目服务商Spotify的最终目的是吸引用户持续订阅其服务。因此,Spotify上的种种栏目和推荐模块都是为这一共同的目标而服务的。

把单一推荐模块,和其他的模块页面放一起,都看做是达成产品最终目标的统一生态系统中的一个元素,是理解和开发工业级推荐系统的重要前提。

对于多页面多模块的生态系统而言,有这么两个重要的挑战。第一,产品的最终目的往往和某一个模块的成功有着复杂的关系,并没有完全线性的相互联系。换句话说,即便衡量大多数甚至每一个模块的指标有了正向或者负向的变化,整个产品的最终目标并不一定会有相同方向的变化。例如,对于Netflix来说,某一个模块的点击率的变化,可能对每一个月的订阅人数的变化并不起决定性的作用。第二,理解多个模块之间的关系变得很困难。例如,Amazon商品页面上的多个模块,按理说,其目的是为了吸引用户更加了解当前产品并且进行购买,但是如果一个模块展示了其他更加有吸引力的产品,用户可能会从当前页面跳转到其他页面去。更加复杂的场景包括用户可能因为看了过多的产品后举棋不定,从而不准备在当下进行购买。于是,商品页面上的某一个模块虽然可能有了更多的点击,但是其他模块可能会受到影响,点击下降,达到某种“此消彼长”的态势。

总而言之,把推荐系统放到整个生态系统中进行思考并且理解多个模块之间的关系是工业级推荐系统的重要挑战。

成为VIP会员查看完整内容
0
23

视觉感知受到注意力集中的严重影响。由于有限的资源,众所周知,神经表征偏向于出席地点。利用同时进行的眼球追踪和功能性磁共振成像(fMRI)记录了大量人类观看电影的对象,我们首次证明了利用注视信息,以注意掩蔽的形式,可以显著提高神经编码模型中大脑反应预测的准确性。接下来,我们提出了一种新的神经编码方法,包括一个可训练的软注意模块。利用我们的新方法,我们证明了仅仅依靠fMRI反应数据,而不依赖任何眼球追踪,通过端到端学习来学习视觉注意力策略是可能的。有趣的是,我们发现该模型在独立数据上估计的注意力位置与相应的注视模式非常一致,尽管没有明确的监督。总之,这些发现表明,注意力模块可以在视觉刺激的神经编码模型中发挥作用。

成为VIP会员查看完整内容
0
25

这是一门关于机器学习的入门课程。机器学习是一组技术,它允许机器从数据和经验中学习,而不是要求人类手工指定所需的行为。在过去的20年里,机器学习技术在人工智能的学术领域和科技行业中都变得越来越重要。本课程提供了一些最常用的ML算法的广泛介绍。

课程的前半部分侧重于监督学习。我们从最近邻、决策树和集合开始。然后介绍了参数化模型,包括线性回归、logistic回归和softmax回归以及神经网络。然后我们转向无监督学习,特别关注概率模型,以及主成分分析和k均值。最后,我们介绍了强化学习的基础知识。

课程内容:

  • 最近邻导论
  • 决策树集成
  • 线性回归线性分类
  • Softmax回归、SVM、Boosting
  • PCA、Kmeans、最大似然
  • 概率图模型
  • 期望最大化
  • 神经网络
  • 卷积神经网络
  • 强化学习
  • 可微分隐私
  • 算法公平性

https://www.cs.toronto.edu/~huang/courses/csc2515_2020f/

推荐阅读材料: Hastie, Tibshirani, and Friedman: “The Elements of Statistical Learning” Christopher Bishop: “Pattern Recognition and Machine Learning”, 2006. Kevin Murphy: “Machine Learning: a Probabilistic Perspective”, 2012. David Mackay: “Information Theory, Inference, and Learning Algorithms”, 2003. Shai Shalev-Shwartz & Shai Ben-David: “Understanding Machine Learning: From Theory to Algorithms”, 2014.

学习路线图:

成为VIP会员查看完整内容
0
23

【导读】机器学习顶会ICLR2021 deadline已经结束,最后共有3013篇论文提交。ICLR 采用公开评审,可以提前看到这些论文。小编整理了来自Twitter、知乎热议的高赞论文,先睹为快。

ICLR 2021会议网址: https://openreview.net/group?id=ICLR.cc/2021/Conference

  1. An Attention Free Transformer https://openreview.net/forum?id=pW--cu2FCHY

  2. Contrastive Learning with Stronger Augmentations https://openreview.net/forum?id=KJSC_AsN14

  3. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale https://openreview.net/forum?id=YicbFdNTTy

  4. A Good Image Generator Is What You Need for High-Resolution Video Synthesis https://openreview.net/pdf?id=6puCSjH3hwA

  5. Score-Based Generative Modeling through Stochastic Differential Equations https://openreview.net/forum?id=PxTIG12RRHS&noteId=PxTIG12RRHS

最后附上周博磊老师的推荐 https://docs.google.com/document/d/1Rk2wQXgSL-9XiEcKlFnsRL6hrfGNWJURufTST2ZEpIM/edit

成为VIP会员查看完整内容
0
23

这本书的前半部分快速而彻底地概述了Python的所有基础知识。你不需要任何以前的经验与编程开始,我们将教你一切你需要知道,一步一步。

第二部分着重于用Python以实用的方式解决有趣的、真实的问题。一旦你掌握了基础知识,你就会通过跟随我们的动手编程练习和项目迅速提高。

我们在书中的每一页都精心安排了漂亮的排版,代码示例的语法高亮显示,以及教学截图,这样你可以有效地处理和记忆信息:

所有材料都是Python 3.9的最新版本,Python编程语言在2020年发布的最新和最好的版本。简而言之,以下是你将学到的Python基础知识:Python 3的实用介绍:

安装和运行Python:在Windows、macOS或Linux上设置Python 3.9编码环境

  • 核心Python 3概念和约定:解释器会话、脚本、查找和修复代码bug、如何组织代码和构造Python程序、如何有效地学习和实践

  • Python 3.9基本原理:变量、基本数据类型、函数和循环、条件逻辑和控制流、字符串格式、列表/元组/字典、文件输入和输出、错误处理。

  • 中级Python概念:面向对象编程(OOP)、正则表达式、名称空间和作用域、异常处理、安装第三方包。

  • Python的实际使用:创建和修改PDF文件、使用数据库、从web下载和抓取内容、数据科学基础(科学计算和绘图)、图形用户界面和GUI编程。

成为VIP会员查看完整内容
0
24
Top