近年来,自然语言处理的研究方法取得了一些突破。这些突破来源于两个新的建模框架以及在计算和词汇资源的可用性的改进。在这个研讨会小册子中,我们将回顾这些框架,以一种可以被视为现代自然语言处理开端的方法论开始:词嵌入。我们将进一步讨论将嵌入式集成到端到端可训练方法中,即卷积神经网络和递归神经网络。这本小册子的第二章将讨论基于注意力的模型的影响,因为它们是最近大多数最先进的架构的基础。因此,我们也将在本章中花很大一部分时间讨论迁移学习方法在现代自然语言处理中的应用。最后一章将会是一个关于自然语言生成的说明性用例,用于评估最先进的模型的训练前资源和基准任务/数据集。

https://compstat-lmu.github.io/seminar_nlp_ss20/

在过去的几十年里,人工智能技术的重要性和应用不断得到关注。在当今时代,它已经与构成人类塑造环境的大部分环境密不可分。因此,商业、研究和开发、信息服务、工程、社会服务和医学等无数部门已经不可逆转地受到人工智能能力的影响。人工智能有三个主要领域组成了这项技术:语音识别、计算机视觉和自然语言处理(见Yeung (2020))。在这本书中,我们将仔细研究自然语言处理(NLP)的现代方法。

这本小册子详细介绍了用于自然语言处理的现代方法,如深度学习和迁移学习。此外,本研究亦会研究可用于训练自然语言处理任务的资源,并会展示一个将自然语言处理应用于自然语言生成的用例。

为了分析和理解人类语言,自然语言处理程序需要从单词和句子中提取信息。由于神经网络和其他机器学习算法需要数字输入来进行训练,因此应用了使用密集向量表示单词的词嵌入。这些通常是通过有多个隐藏层的神经网络学习的,深度神经网络。为了解决容易的任务,可以应用简单的结构神经网络。为了克服这些简单结构的局限性,采用了递归和卷积神经网络。因此,递归神经网络用于学习不需要预先定义最佳固定维数的序列的模型,卷积神经网络用于句子分类。第二章简要介绍了NLP中的深度学习。第三章将介绍现代自然语言处理的基础和应用。在第四章和第五章中,将解释和讨论递归神经网络和卷积神经网络及其在自然语言处理中的应用。

迁移学习是每个任务或领域的学习模型的替代选择。在这里,可以使用相关任务或领域的现有标记数据来训练模型,并将其应用到感兴趣的任务或领域。这种方法的优点是不需要在目标域中进行长时间的训练,并且可以节省训练模型的时间,同时仍然可以(在很大程度上)获得更好的性能。迁移学习中使用的一个概念是注意力,它使解码器能够注意到整个输入序列,或自注意,它允许一个Transformer 模型处理所有输入单词,并建模一个句子中所有单词之间的关系,这使得快速建模一个句子中的长期依赖性成为可能。迁移学习的概念将在小册子的第6章简要介绍。第七章将通过ELMo、ULMFiT和GPT模型来描述迁移学习和LSTMs。第八章将详细阐述注意力和自注意力的概念。第九章将迁移学习与自注意力相结合,介绍了BERT模型、GTP2模型和XLNet模型。

为NLP建模,需要资源。为了找到任务的最佳模型,可以使用基准测试。为了在基准实验中比较不同的模型,需要诸如精确匹配、Fscore、困惑度或双语评估替补学习或准确性等指标。小册子的第十章简要介绍了自然语言处理的资源及其使用方法。第11章将解释不同的指标,深入了解基准数据集SQuAD、CoQa、GLUE和SuperGLUE、AQuA-Rat、SNLI和LAMBADA,以及可以找到资源的预训练模型和数据库,如“带代码的论文”和“大坏的NLP数据库”。

在小册子的最后一章中,介绍了生成性NLP处理自然语言生成,从而在人类语言中生成可理解的文本。因此,不同的算法将被描述,聊天机器人和图像字幕将被展示,以说明应用的可能性。

本文对自然语言处理中各种方法的介绍是接下来讨论的基础。小册子的各个章节将介绍现代的NLP方法,并提供了一个更详细的讨论,以及各种示例的潜力和限制。

成为VIP会员查看完整内容
0
48
自然语言处理(NLP)是语言学,计算机科学,信息工程和人工智能的一个子领域,与计算机和人类(自然)语言之间的相互作用有关,尤其是如何对计算机进行编程以处理和分析大量自然语言数据 。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

这本关于机器学习的研究生教科书讲述了数据模式如何支持预测和结果行动的故事。从决策的基础开始,我们将涵盖作为有监督学习的组成部分的表示、优化和泛化。关于数据集作为基准检查他们的历史和科学基础的一章。对因果关系的介绍,因果推理的实践,序列决策,和强化学习使读者了解概念和工具来。整本书讨论了历史背景和社会影响。读者有概率论、微积分和线性代数方面的经验就足够了。

https://mlstory.org/

目录内容:

导论 Introduction

决策 Decision making

监督学习 Supervised learning

表示学习 Representations and features

优化 Optimization

泛化 Generalization

深度学习 Deep learning

数据 Datasets

因果性 Causality

因果性实践 Causal inference in practice

序列决策与动态优化,Sequential decision making and dynamic programming

强化学习,Reinforcement learning

Epilogue

Mathematical background

成为VIP会员查看完整内容
0
41

数据驱动的发现正在彻底改变复杂系统的建模、预测和控制。这本教科书汇集了机器学习、工程数学和数学物理,将动态系统的建模和控制与现代数据科学方法相结合。它强调了科学计算领域的许多最新进展,使数据驱动的方法能够应用于各种复杂系统,如湍流、大脑、气候、流行病学、金融、机器人和自主。旨在在工程和物理科学的高级本科和开始研究生,文本提出了从介绍到艺术的状态的一系列主题和方法。

主要特点:

  • 深入的工作示例与全面的开源代码

  • 对复杂概念及其应用的简明易懂的解释

  • 广泛的在线补充包括练习,案例研究,课程视频,数据和补充代码

第一部分:降维与变换

尽管测量和计算的分辨率迅速提高,但许多复杂系统在数据中表现出主导的低维模式。模式提取涉及到找到坐标变换,从而简化系统。的确,数学物理的丰富历史是以坐标变换为中心的(例如,谱分解、傅里叶变换、广义函数等),尽管这些技术在很大程度上仅限于简单的理想化几何和线性动力学。获得数据驱动转换的能力为将这些技术推广到具有更复杂几何和边界条件的新研究问题提供了机会。

这本书的这一部分将调查两个最强大和普遍的算法转换和减少数据:奇异值分解(SVD)和傅立叶变换。数据可以在这些转换后的坐标系统中压缩,这一事实使建模和控制的高效传感和紧凑表示成为可能。因此,第三章涉及到利用这种低维结构的稀疏采样方法。

第二部分:机器学习和数据分析

机器学习是基于数据优化技术的。目标是找到一个低秩子空间来最优地嵌入数据,以及回归方法来聚类和分类不同的数据类型。因此,机器学习提供了一套有原则的数学方法,用于从数据中提取有意义的特征,即数据挖掘,以及将数据分成不同的有意义的模式,可以用于决策制定、状态估计和预测。具体来说,它从数据中学习并根据数据做出预测。对于商业应用程序,这通常被称为预测分析,它处于现代数据驱动决策制定的前沿。在一个集成系统中,如自主机器人,各种机器学习组件(例如,处理视觉和触觉刺激)可以被集成,形成我们现在所说的人工智能(AI)。明确地说,人工智能建立在集成的机器学习算法之上,而机器学习算法又从根本上植根于优化。

第三部分:动力学和控制

数据驱动的发现正在彻底改变我们建模、预测和控制复杂系统的方式。现代最紧迫的科学和工程问题是不服从经验模型或基于第一性原理的推导的。研究人员越来越多地转向数据驱动的方法,用于各种复杂系统,如动荡、大脑、气候、流行病学、金融、机器人和自主。这些系统通常是非线性的、动态的、空间和时间的多尺度的、高维的,具有主导的潜在模式,应该为感知、预测、估计和控制的最终目标进行特征化和建模。借助现代数学方法,以及前所未有的可用数据和计算资源,我们现在能够解决以前无法实现的挑战问题。

第四部分:简化订单模型(ROMs)

适当的正交分解(POD)是应用于偏微分方程(PDEs)的SVD算法。因此,它是研究复杂时空系统最重要的降维技术之一。这样的系统典型的例子是非线性偏微分方程,它规定了在给定的物理、工程和/或生物系统中感兴趣的数量在时间和空间上的进化。POD的成功与一个普遍存在的现象有关:在大多数复杂系统中,有意义的行为被编码在动态活动的低维模式中。POD技术试图利用这一事实,以生产能够精确建模控制复杂系统的完整时空演化的低秩动力系统。具体来说,简化阶模型(ROMs)利用POD模式将PDE动力学投影到低阶子空间,在这些子空间中,控制PDE模型的模拟可以更容易地进行评估。重要的是,ROM产生的低秩模型在计算速度方面有了显著的改进,潜在地使昂贵的PDE系统蒙特卡罗模拟、参数化PDE系统的优化和/或基于PDE的系统的实时控制成为可能。

成为VIP会员查看完整内容
0
36

近年来,对图表示学习的研究激增,包括深度图嵌入技术、将CNNs泛化为为图结构数据和神经消息传递方法。图形神经网络(GNNs)和相关技术的发展已经在许多领域带来了最新的研究成果:化学合成、车辆路由、3d视觉、推荐系统、问答、连续控制、自动驾驶和社交网络分析。因此,在几乎所有顶级机器学习会议上,GNNs经常在增长最快的趋势和研讨会上名列前茅。

但是,什么是GNN呢? 快速在线搜索可以发现许多不同的定义。根据作者所假设的背景,这些定义可能大相径庭(甚至使用完全不同的术语)。这并非巧合:我们现在所认为的图神经网络的概念,都是在过去十年里从各种机器学习方向独立出现的。

在这次演讲中,我将尝试对GNNs提供一个“鸟瞰”的视角。在快速学习使用图表示学习的动机之后,我将从排列不变性和等变性的第一原则推导出GNN。通过这一视角,我将描述来自不同领域 (图嵌入、图信号处理、概率图模型和图同构测试)的研究人员是如何独立地得出本质上相同的GNN概念的。

这次演讲的目标听众是一般的计算机科学听众,不过一些关于机器学习的神经网络的基本知识也会很有用。我也希望经验丰富的GNN从业人员可以从我将呈现的分类中受益。

成为VIP会员查看完整内容
0
33

图机器学习讲述关于《图神经网络理论》最新课程。

图网络(GNNs)的新变体层出不穷,但是却鲜有对图网络框架的理论分析。Kipf在2017年提出的GCN中,曾从图上的谱分析的角度给出了GCN的理论基础;近期也有日本研究者从图信号处理的角度,表明GNNs只是一个低频滤波器(arxiv.org/abs/1905.09550)。而本文尝试从图同构的角度出发,以Weisfeiler-Lehman Isomorphism Test (WL test)为基础,给出了GNNs表征能力的精彩理论分析,具体的贡献总结如下:

作者表明,在区别不同图结构时,GNNs最多只能取得和 WL test 一样效果,即,GNNs表征能力的上限是WL test;

作者也给出了构建GNNs的条件,满足这些条件后,GNNs的表征能力和 WL test一样强;

给出了GCN和GraphSAGE等传统图网络框架不能区分的网络结构;

建立了一个简单的框架GIN,并在理论上证明了其表征能力和 WL test一样强。

总结起来,全文需要回答两个关键性的问题:

  • GNNs表征能力的上限是什么?
  • 怎样的GNNs 框架设计才能达到最好的表征能力?
成为VIP会员查看完整内容
0
32

本教程将概述最近机器学习对组合优化的影响,特别是在混合整数规划(MIP)框架下。涵盖的主题将包括用于预测可行解决方案的ML和强化学习,使用ML改进精确求解器,在精确MIP求解器中学习的软件框架,以及新兴的以决策为中心的学习范式。

https://sites.google.com/view/ml-co-aaai-21/

组合优化(CO)是计算机科学、人工智能(AI)和运筹学的基石。它在从机组人员规划到运动日程安排和的工业应用中取得了广泛的成功。虽然CO过去是大多数人工智能研究的基础,通过可满足性问题(SAT),现代人工智能研究已经转向更多的概率方法,并且这两个领域之间的联系已经减弱。然而,在过去的五到十年里,人们对使用机器学习方法改进组合优化的兴趣又强烈起来。

本教程旨在向观众介绍这一令人兴奋的不断发展的领域。我们相信,听众将从提出的教程中获益良多,因为它将布局这个研究空间的视角,不同的ML技术在CO设置中的优点,以及各种受益于ML使用的CO任务。我们还将引入一个新的开源库,Ecole,旨在方便该领域的新人访问。虽然本教程将主要关注作为CO的具体数学框架的混合整数规划,我们也将接触到MIP和其他约束推理框架之间的关系,如可满足性(SAT)和约束满足性(CSP),因为将提出的大多数思想都将适用于这些框架。

内容目录:

Part I by Elias B. Khalil:

  • 组合优化导论 Introduction to combinatorial optimization & Tutorial overview.
    • Modeling decision-making problems with Mixed Integer Programming (MIP);
    • Complexity and solution approaches (exact and heuristic);
    • Real-world applications;
    • Data-driven algorithm design.

Part 2 by Elias B. Khalil

  • 机器学习方法 The pure ML approach: predicting feasible solutions.
    • Reinforcement learning for combinatorial optimization;
    • Neural network architectures for representing graph problems;
    • Limitations: lack of guarantees, scalability challenges.

Part 3 by Didier Chételat & Maxime Gasse: [slides]

  • 混合方法 The hybrid approach: improving exact solvers with ML.
    • The branch-and-bound framework for mixed-integer linear programs (MIP);
    • Standard approaches to solver engineering;
    • Learning solver search policies: a Markov decision process (MDP) perspective;
    • Overview of tasks of interest;
    • Open challenges for ML/RL.

Part 4 by Giulia Zarpellon & Laurent Charlin

  • 机器学习MIP解决 Machine learning for MIP solving: challenges & literature.
    • Hands-on ML-for-MIP with a focus on the Branching problem;
    • Representations & Features;
    • Generalization notions;
    • Data & Metrics.

Part 5 by Antoine Prouvost

  • Ecole: A python framework for learning in exact MIP solvers.
    • A streamlined interface for doing ML in the open-source MIP solver SCIP, based on OpenAI Gym;
    • Example: "learning to branch'' using Ecole;
    • Easily extending predefined environments for your own research; Performance evaluation and analysis.

Part 6 by Bistra Dilkina 决策 Decision-focused Learning. Integrating LP/MIP combinatorial downstream tasks end-to-end in learning; Integrating graph optimization tasks end-to-end in learning.

Part 7 by Andrea Lodi: [slides]

  • Concluding remarks and new frontiers.
    • Business applications;
    • Recap of various contributions in this area;
    • Evaluation and Challenges going forward.
成为VIP会员查看完整内容
0
32

强化学习是一种学习范式,它关注于如何学习控制一个系统,从而最大化表达一个长期目标的数值性能度量。强化学习与监督学习的区别在于,对于学习者的预测,只向学习者提供部分反馈。此外,预测还可能通过影响被控系统的未来状态而产生长期影响。因此,时间起着特殊的作用。强化学习的目标是开发高效的学习算法,以及了解算法的优点和局限性。强化学习具有广泛的实际应用价值,从人工智能到运筹学或控制工程等领域。在这本书中,我们重点关注那些基于强大的动态规划理论的强化学习算法。我们给出了一个相当全面的学习问题目录,描述了核心思想,关注大量的最新算法,然后讨论了它们的理论性质和局限性。

Preface ix Acknowledgments xiii Markov Decision Processes 1 Value Prediction Problems 11 Control 37 For Further Exploration 63 Further reading 63 Applications 63 Software 64 Appendix: The Theory of Discounted Markovian Decision Processes 65 A.1 Contractions and Banach’s fixed-point theorem 65 A.2 Application to MDPs 69 Bibliography 73 Author's Biography 89

成为VIP会员查看完整内容
0
30

从事数据科学方面的工作时,活用各种相关函式库、软体框架、模组、工具包是很好的做法,但如果原本完全不懂数据科学,从头开始也是一种不错的做法。本书将采取土法炼钢从头学起的方式,带领读者认识与数据科学相关的许多工具与演算法。

你只要具备基本的数学能力,以及程式设计的基础,本书就可以帮你在遇到相关的数学与统计知识时,不至于感到害怕,而且还能让你学会一个数据科学家所需具备的相关骇客技术。如今到处充斥着各种杂乱的数据资料,其中包含许多问题的解答,但也有很多微妙之处,甚至连问题本身都还没被提出来过。如果你真心想要挖掘问题的解答,本书将可以提供你一些相关的知识。

首先来一堂Python速成班 学习线性代数、统计、机率的基础知识——并学会何时、如何在数据科学领域中灵活运用这些知识 搜集、探索、清理、转换、处理各种数据资料

深入理解机器学习的基础 灵活运用像是k最近邻、单纯贝氏、线性与逻辑回归、决策树、神经网路、集群等种种模型

探讨推荐系统、自然语言处理、网路分析、MapReduce与数据库的相关知识

名人推荐 「Joel带领我们领略探索数据科学,让我们从一般的好奇心,进入到更深入的理解,并学会所有资料科学家都应该知道的各种实用演算法。」 ——Rohit Sivaprasad, Soylent公司数据科学家

【Table of Contents】目录/大纲/内容概要

第1章简介

第2章Python速成班

第3章数据视觉化

第4章线性代数

第5章统计学

第6章机率

第7章假设与推论

第8章梯度递减

第9章取得数据资料

第10章处理数据资料

第11章机器学习

第12章k最近邻

第13章单纯贝氏

第14章简单线性回归

第15章多元回归

第16章逻辑回归

第17章决策树

第18章神经网路

第19章集群

第20章自然语言处理

第21章网路分析

第22章推荐系统

第23章资料库与SQL

第24章MapReduce

第25章勇往直前,数据科学做就对了

成为VIP会员查看完整内容
0
29

【导论】麻省理工学院最近开设一门深度学习课程MIT 6.S191,共包含十大主题课程,涵盖深度学习导论、序列建模、深度视觉、生成模型、强化学习、图神经网络、对抗学习、贝叶斯模型、神经渲染、机器学习嗅觉等,图文并茂,涵盖最新的前沿内容,非常值得学习!最新一讲是深度序列建模。

课程地址:

http://introtodeeplearning.com/

课程介绍:

麻省理工学院的深度学习方法的导论课程,应用到计算机视觉,自然语言处理,生物学,和更多! 学生将获得深度学习算法的基础知识和在TensorFlow中构建神经网络的实践经验。先修习微积分(即求导数)和线性代数(即矩阵乘法),我们将在学习过程中尝试解释其它内容! Python方面的经验是有帮助的,但不是必需的。欢迎听众!

成为VIP会员查看完整内容
0
29

注意力(Attention)机制[2]由Bengio团队与2014年提出并在近年广泛的应用在深度学习中的各个领域,例如在计算机视觉方向用于捕捉图像上的感受野,或者NLP中用于定位关键token或者特征。谷歌团队近期提出的用于生成词向量的BERT[3]算法在NLP的11项任务中取得了效果的大幅提升,堪称2018年深度学习领域最振奋人心的消息。而BERT算法的最重要的部分便是本文中提出的Transformer的概念。

正如论文的题目所说的,Transformer中抛弃了传统的CNN和RNN,整个网络结构完全是由Attention机制组成。更准确地讲,Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。一个基于Transformer的可训练的神经网络可以通过堆叠Transformer的形式进行搭建,作者的实验是通过搭建编码器和解码器各6层,总共12层的Encoder-Decoder,并在机器翻译中取得了BLEU值得新高。

http://web.stanford.edu/class/cs224n/index.html#schedule

成为VIP会员查看完整内容
0
27

图神经网络(GNN)是学习图的主要技术,并且已经得到非常广泛的应用。但是GNN训练往往需要大量的参数且训练时间很长。这里我们可以通过组合忽略图结构的浅层模型和利用标签结构相关性的两个简单后处理步骤,来获得GNN性能的提升。例如,在OGB-Products数据集上,相对性能最好的GNN模型,我们将参数减少137倍,训练时间减少超过100倍,还能获得更好的性能。

(1)“误差相关性”,它分散训练数据中的残留错误以纠正测试数据中的错误

(2)“预测相关性”,它使测试数据上的预测变平滑。我们称此过程为“纠正和平滑”(C&S)

后处理步骤是通过从早期基于图的半监督学习方法对标准标签传播技术进行简单修改而实现的。我们的方法在各种各样的网络上都超过或接近了最新的GNN的性能基准,并且参数和运行时间大大减小。我们将标签信息直接整合到学习算法中,从而获得简单而可观的性能提升。我们还将该技术融合到大型GNN模型中,从而获得性能的提升。

成为VIP会员查看完整内容
0
27

由沃德(Brian Ward)着,姜南、袁志鹏译的《精通Linux(第2版)》讲解了Linux操作系统的工作机制以及运行Linux系统所需的常用工具和命令。根据系统启动的大体顺序,本书更深入地介绍从设备管理到网络配置的各个部分,最后演示了系统各部分的运行方式,并介绍了一些基本技巧和开发人员常用的工具。

Linux不像其他操作,会对用户隐藏很多重要的东西。相反,Linux会让用户掌控一切。而要掌控一切,就必须理解这个操作系统的工作机制,包括如何启动、如何连网,以及Linux内核如何工作。本书是畅销书的新版本,作者拥有多年的实践经验,内容通俗易懂。通过这本书,读者可以迅速从Linux新手变成老鸟,把作者丰富的经验装进自己的知识库。

<章节目录>

第1章概述 第2章基础命令和目录结构 第3章设备管理 第4章硬盘和文件系统 第5章Linux内核的启动 第6章用户空间的启动 第7章系统配置:日志、系统时间、批处理任务和用户 第8章进程与资源利用详解 第9章网络与配置 第10章网络应用与服务 第11章shell脚本 第12章在网络上传输文件 第13章用户环境 第14章Linux桌面概览 第15章开发工具 第16章从C代码编译出软件 第17章在基础上搭建

成为VIP会员查看完整内容
0
27

数据挖掘和机器学习的基本算法构成了数据科学的基础,利用自动化方法分析各种数据的模式和模型,应用范围从科学发现到商业分析。本教材面向本科和研究生课程,全面深入地介绍了数据挖掘、机器学习和统计学,为学生、研究人员和实践者提供了坚实的指导。这本书奠定了数据分析、模式挖掘、聚类、分类和回归的基础,集中在算法和潜在的代数、几何和概率概念上。新的第二版是一个完整的部分致力于回归方法,包括神经网络和深度学习。

  • 涵盖核心方法和前沿研究,包括深度学习

  • 提供了一种基于开源实现的算法方法

  • 包含了经过类测试的例子和练习,允许课程设计的灵活性和现成的参考

数据挖掘和机器学习使人能够从数据中获得基本的见解和知识。它们允许发现深刻的、有趣的和新颖的模式,以及从大规模数据中描述的、可理解的和可预测的模型。在这个领域有几本好书,但其中很多不是太高级就是太高级。这本书是一个介绍性的文本,奠定了机器学习和数据挖掘的基本概念和算法的基础。重要的概念在第一次遇到时就会被解释,并附有详细的步骤和推导。本书的主要目标是通过对数据和方法的几何、(线性)代数和概率解释的相互作用,建立公式背后的直觉。这第二版在回归上增加了一个完整的新部分,包括线性和逻辑回归,神经网络,和深度学习。其他章节的内容也进行了更新,已知的勘误表也得到了修正。本书的主要部分包括数据分析基础、频繁模式挖掘、聚类、分类和回归。这些课程涵盖了核心方法以及尖端主题,如深度学习、核方法、高维数据分析和图分析。

深度学习,核方法,高维数据分析,图分析。这本书包括许多例子来说明概念和算法。它也有结束语练习,在课堂上使用过。书中所有的算法都是由作者实现的。为了帮助实际理解,我们建议读者自己实现这些算法(例如,使用Python或R)。如幻灯片、数据集和视频等补充资源可以在该书的同伴站点在线获得:

http://dataminingbook.info

目录内容: Front Matter Contents Preface

PART I. DATA ANALYSIS FOUNDATIONS

1 Data Mining and Analysis 2 Numeric Attributes 3 Categorical Attributes 4 Graph Data 5 Kernel Methods 6 High-dimensional Data 7 Dimensionality Reduction

PART II. FREQUENT PATTERN MINING

8 Itemset Mining 9 Summarizing Itemsets 10 Sequence Mining 11 Graph Pattern Mining 12 Pattern and Rule Assessment

PART III. CLUSTERING

13 Representative-based Clustering 14 Hierarchical Clustering 15 Density-based Clustering 16 Spectral and Graph Clustering 17 Clustering Validation PART IV. CLASSIFICATION

18 Probabilistic Classification 19 Decision Tree Classifier 20 Linear Discriminant Analysis 21 Support Vector Machines 22 Classification Assessment

PART V. REGRESSION

23 Linear Regression 24 Logistic Regression 25 Neural Networks 26 Deep Learning 27 Regression Evaluation

Index

图片

成为VIP会员查看完整内容
0
24

机器学习和人工神经网络无处不在,它们对我们日常生活的影响比我们可能意识到的还要深远。这堂课是专门针对机器学习在不同科学领域的使用的介绍。在科学研究中,我们看到机器学习的应用越来越多,反映了工业技术的发展。这样一来,机器学习就成为了精确科学的通用新工具,与微积分、传统统计学和数值模拟等方法并行其道。这就提出了一个问题,在图2所示的科学工作流程中,这些新方法是最好的。

此外,一旦确定了一项特定的任务,将机器学习应用到科学领域就会面临非常具体的挑战: (i) 科学数据通常具有非常特定的结构,例如晶体图像中近乎完美的周期性; (ii) 通常情况下,我们对应该反映在机器学习分析中的数据相关性有特定的知识; (iii) 我们想要了解为什么一个特定的算法会起作用,寻求对自然机制和法则的基本见解; (iv) 在科学领域,我们习惯于算法和定律提供确定性答案,而机器学习本质上是概率性的——不存在绝对的确定性。尽管如此,定量精度在许多科学领域是至关重要的,因此是机器学习方法的一个关键基准。

这堂课是为科学领域的科学家和学生介绍基本机器学习算法。我们将涵盖:

  • 最基本的机器学习算法,
  • 该领域的术语,简要解释,
  • 监督和无监督学习的原理,以及为什么它是如此成功,
  • 各种人工神经网络的架构和它们适合的问题,
  • 我们如何发现机器学习算法使用什么来解决问题

机器学习领域充满了行话,对于不了解机器学习的人来说,这些行话掩盖了机器学习方法的核心。作为一个不断变化的领域,新的术语正在以快速的速度被引入。我们的目标是通过精确的数学公式和简洁的公式来切入俚语,为那些了解微积分和线性代数的人揭开机器学习概念的神秘面纱。

如上所述,数据是本节课所讨论的大多数机器学习方法的核心。由于原始数据在很多情况下非常复杂和高维,首先更好地理解数据并降低它们的维数往往是至关重要的。下一节,第2节将讨论在转向神经网络的重型机器之前可以使用的简单算法。

我们最关注的机器学习算法,一般可以分为两类算法,即判别算法和生成算法,如图3所示。判别任务的例子包括分类问题,如上述数字分类或分类为固体,液体和气相给出一些实验观测。同样,回归,也就是估计变量之间的关系,也是一个判别问题。更具体地说,我们在给定一些输入数据x的情况下,尝试近似某个变量y (label)的条件概率分布P(y|x)。由于这些任务中的大部分数据都是以输入数据和目标数据的形式提供的,这些算法通常采用监督学习。判别算法最直接地适用于科学,我们将在第3和第4节中讨论它们。

人工智能的前景可能引发科学领域的不合理预期。毕竟,科学知识的产生是最复杂的智力过程之一。计算机算法肯定还远没有达到那样复杂的水平,而且在不久的将来也不会独立地制定新的自然法则。尽管如此,研究人员研究了机器学习如何帮助科学工作流程的各个部分(图2)。虽然制定牛顿经典力学定律所需的抽象类型似乎难以置信地复杂,但神经网络非常擅长隐式知识表示。然而,要准确地理解它们是如何完成某些任务的,并不是一件容易的事情。我们将在第6节讨论这个可解释的问题。

第三类算法被称为强化学习(reinforcement learning),它不完全符合近似统计模型的框架. 机器学习的成功很大程度上与科学家使用适当算法的经验有关。因此,我们强烈建议认真解决伴随练习,并充分利用练习课程。

成为VIP会员查看完整内容
0
27

这些笔记是我在2014年春季和2016年秋季在普林斯顿教的课程APC 550:高维概率。我的目的是尽可能地以一种连贯的方式介绍一组关于概率、分析和几何交叉的思想,这些思想产生于不同领域的广泛的当代问题。

高维的概率是什么?这个问题没有好的答案。高维概率问题出现在科学、工程和数学的许多领域。一个(非常不完整的)列表可能包括:

• 大型随机结构:随机矩阵,随机图,…

• 统计和机器学习:高维数据的估计、预测和模型选择。

• 计算机科学中的随机算法。

• 信息理论中的随机码。

• 统计物理学:吉布斯测量、渗透、旋转眼镜……

• 随机组合结构:最长增长子序列、生成树、旅行推销员问题……

• 巴拿赫空间的概率:巴拿赫值随机变量的概率极限定理,经验过程,巴拿赫空间的局部理论,几何泛函分析,凸几何

• 高维马尔可夫链中的混合时间等现象。

成为VIP会员查看完整内容
0
27

机器学习和图形因果关系这两个领域分别出现和发展。然而,现在这两个领域的交叉发展受到越来越多的兴趣。在本文中,我们回顾了因果推理的基本概念,并将它们与机器学习的关键开放问题联系起来,包括迁移和泛化,从而分析因果关系如何对现代机器学习研究做出贡献。这也适用于相反的方向: 我们注意到,大多数因果关系的研究都是从给定因果变量的前提开始的。因此,人工智能和因果关系的一个核心问题是因果表示学习,即从低级观察中发现高级因果变量。最后,我们描述了机器学习的一些因果关系,并在这两个领域的交叉点提出了关键研究领域。

成为VIP会员查看完整内容
0
26

自1956年首次提出“人工智能”概念起,随着计算机算力和算法技术的突破,人工智能已渗透进人类生活的方方面面,不断在模拟、延伸和扩展人的智能上演进。“智适应教育”正是教育行业演进至今的重要成果,它是指基于人工智能、大数据分析等智能技术,结合大量用户数据,针对个体学习过程中的差异性提供适合个体特征的教育形式,从而为学生提供个性化的学习体验,推动真正的“因材施教”教学理念落地。

智适应教育产品形态丰富多样,市场容量亦正处于高速扩张阶段,发展极具想象空间,但同时,其技术壁垒较高,应用场景较多元化的特点,导致市场定义不清晰,用户认知有限的情况依然存在。

安永-博智隆全新发布本《中国智适应教育行业白皮书》,对行业发展现状、市场规模、竞争格局以及关键成功要素进行分析,对智适应OMO模式的商业形态及探索方向进行总结,并提出安永-博智隆对未来行业发展趋势的相关思考,希望可以帮助行业参与者、用户更好地认识市场,并帮助智适应教育行业砺行致远。

成为VIP会员查看完整内容
0
27

18个程序设计入门必学主题与活用实例

如果您曾经花费数小时处理档案的重新命名,或是更新数百个试算表内的储存格资料,就能体会这类日常的工作有多么单调无趣了。但假如能利用电脑自动完成呢?

您不需要有什么程序设计的经验,在这本书中能学到运用Python写出程式,帮您在几分钟内搞定平常以人工手动处理需要花费数小时的工作。一旦掌握了程序设计的基础知识,就能轻松使用Python编写程序,把自动化的好用和效率应用在下列这些工作上:

◆ 在一个或多个档案中搜寻文字

◆ 建立、更新、搬移和重新命名档案和资料夹

◆ 搜寻网页和下载网路上的图文内容

◆ 处理大大小小的Excel试算表内容更新和格式美化作业

◆ 处理PDF档的分割与合并,加入浮水印和加上密码等作业

◆ 传送Email和简讯

◆ 填写线上表单

本书会一步一步教您完成每支程序,并在每章最后的实作专题中启发引导您来改进这些程序的应用,发挥学到的技巧让类似的工作能自动化完成,这样就不用再浪费时间去做人工手动的作业了,您写出的Python自动化程序将会搞定这些繁琐的工作。本书是为初学者所设计的,就算从没写过一行程序,跟著书中的讲解就能学到这些应用和操作。

http://noracook.io/Books/Automation/automatetheboringstuffwithpython_new.pdf

成为VIP会员查看完整内容
0
26

学习使用Python分析数据和预测结果的更简单和更有效的方法

Python机器学习教程展示了通过关注两个核心机器学习算法家族来成功分析数据,本书能够提供工作机制的完整描述,以及使用特定的、可破解的代码来说明机制的示例。算法用简单的术语解释,没有复杂的数学,并使用Python应用,指导算法选择,数据准备,并在实践中使用训练过的模型。您将学习一套核心的Python编程技术,各种构建预测模型的方法,以及如何测量每个模型的性能,以确保使用正确的模型。关于线性回归和集成方法的章节深入研究了每种算法,你可以使用书中的示例代码来开发你自己的数据分析解决方案。

机器学习算法是数据分析和可视化的核心。在过去,这些方法需要深厚的数学和统计学背景,通常需要结合专门的R编程语言。这本书演示了机器学习可以如何实现使用更广泛的使用和可访问的Python编程语言。

使用线性和集成算法族预测结果

建立可以解决一系列简单和复杂问题的预测模型

使用Python应用核心机器学习算法

直接使用示例代码构建自定义解决方案

机器学习不需要复杂和高度专业化。Python使用了更简单、有效和经过良好测试的方法,使这项技术更容易为更广泛的受众所接受。Python中的机器学习将向您展示如何做到这一点,而不需要广泛的数学或统计背景。

成为VIP会员查看完整内容
0
26

动态神经网络是深度学习领域的一个新兴研究课题。与静态模型在推理阶段具有固定的计算图和参数相比,动态网络可以根据不同的输入调整其结构或参数,在精度、计算效率和适应性等方面具有显著优势。在本综述中,我们通过将动态网络分为三大类,全面回顾了这一快速发展的领域: 1) 使用依赖数据的架构或参数处理每个实例的实例动态模型; 2) 空间动态网络,针对图像数据的不同空间位置进行自适应计算; 3) 时间动态模型,针对视频、文本等顺序数据,沿时间维进行自适应推理。本文系统地评述了动态网络的结构设计、决策方案、优化技术及应用等重要研究问题。最后,讨论了该领域有待解决的问题以及未来的研究方向。

https://www.zhuanzhi.ai/paper/c42261b93aa5ce0b2775fc59e546acda

深度神经网络(DNNs)在计算机视觉(CV)[1]、[2]、[3]、[4]、[5]和自然语言处理(NLP)[6]、[7]、[8]等领域发挥着重要作用。近年来,我们见证了许多成功的深度模型,如AlexNet [1], VGG [2], google [3], ResNet [4], DenseNet [5], Transformers[6]。这些体系结构创新使训练更深入、更准确和更有效的模型成为可能。最近的神经结构搜索(NAS)[9],[10]进一步加速了设计更强大结构的过程。然而,目前流行的深度学习模型大多采用静态方式进行推理,即训练后计算图和网络参数都是固定的,这可能会限制其表示能力、效率和可解释性[11],[12],[13],[14]。

与静态网络不同,动态网络可以在推理过程中根据输入调整其结构或参数,因此具有静态模型所缺乏的良好特性。总的来说,深度学习环境下的动态计算具有以下优点:

  1. 效率。动态网络最显著的优势是,它们能够在测试时根据需要,通过有选择地激活模型组件(如层[12]、通道[15]或子网络[16]),以输入为条件,策略性地分配计算。因此,在相对容易识别的规范样本上花费的计算量更少,或者在输入的空间/时间位置上花费的计算量更少。

2)表示能力。动态网络由于具有数据依赖性的网络结构/参数,极大地扩大了网络的参数空间,提高了网络的表示能力。例如,通过在卷积核[13]、[17]的集合上应用特征约束的注意力权重,可以在计算量的少量增加的情况下提高模型容量。值得注意的是,流行的软注意力机制也可以统一在动态网络的框架中,在测试时间对特征的不同通道[18]、空间区域[19]或时间位置[20]进行动态加权。

3)适应能力。动态模型能够在处理动态变化的计算预算的准确性和效率之间实现理想的平衡。因此,与计算成本固定的静态模型相比,它们更能适应不同的硬件平台和不断变化的环境。

4)兼容性。动态网络与深度学习中最先进的技术兼容,包括架构设计[4],[5],优化算法[21],[22]和数据预处理[23],[24],这确保他们可以从该领域的最新进展中受益,实现最先进的性能。例如,动态网络可以继承轻量级模型[25]中的架构创新,也可以通过NAS方法[9]、[10]来设计。通过使用针对静态模型的加速方法,如网络剪枝[26]、权重量化[27]、知识蒸馏[28]和低秩近似[29],也可以进一步提高其效率。

5)通用性。作为静态深度学习技术的替代品,许多动态模型都是可以无缝应用于广泛应用的通用方法,如图像分类[12]、[30]、对象检测[31]、语义分割[32]。此外,在CV任务中开发的技术被证明可以很好地迁移到NLP任务[33]和[34]的语言模型中,反之亦然。

6)可解释性。最后,我们发现动态网络的研究可能会在深层模型的潜在机制和大脑之间架起桥梁,因为我们认为大脑以动态的方式处理信息[35],[36]。使用动态神经网络,我们可以分析在处理输入实例时,深度模型的哪些组件被激活,并观察哪些输入部分对某些预测负责。这些特性可能有助于解释DNNs的决策过程。

事实上,动态神经网络的关键思想自适应推理在现代DNNs流行之前就已经被研究过了。最经典的方法是通过级联[38]或并行[39]结构构建多个模型的自适应集成,并根据输入条件选择性地激活它们。spike neural network (SNN)[40],[41]也通过在模型中传播脉冲信号来执行数据依赖推理。然而,SNN的训练策略与流行的卷积神经网络(CNNs)有很大的不同,在视觉任务中并不常用。因此,我们在本次综述中省略了与SNN相关的工作。

在深度学习的背景下,现代深度架构下的动态推理提出了许多新的研究问题,并在近三年来引起了广泛的研究兴趣。尽管在设计各种类型的动态网络方面做了大量的工作,但对这一主题的系统和全面的回顾仍然缺乏。为此,我们撰写本研究,回顾这一快速发展领域的最新进展,目的是:1)为感兴趣的研究人员提供一个概述和新的视角; (2)指出不同组件之间的紧密联系,降低重复发明的风险; (3)总结关键挑战和未来可能的研究方向。

成为VIP会员查看完整内容
0
24
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top