时间序列是一段时间内的一系列观察结果xt。通常情况下,观测可以在整个时间间隔内进行,在一个时间间隔或固定的时间点随机采样。不同类型的时间采样需要不同的数据分析方法。

https://www.stat.tamu.edu/~suhasini/

成为VIP会员查看完整内容
0
44

相关内容

当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现,那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域,在这里研究的是持续到达的基准数据集。核心挑战是如何保护之前获得的表示,以免由于迭代参数更新而出现灾难性地遗忘的情况。然而,各个方法的比较是与现实应用程序隔离的,通常通过监视累积的测试集性能来判断。封闭世界的假设仍然占主导地位。假设在部署过程中,一个模型保证会遇到来自与用于训练的相同分布的数据。这带来了一个巨大的挑战,因为众所周知,神经网络会对未知的实例提供过于自信的错误预测,并在数据损坏的情况下崩溃。在这个工作我们认为值得注意的教训来自开放数据集识别,识别的统计偏差以外的数据观测数据集,和相邻的主动学习领域,数据增量查询等预期的性能收益最大化,这些常常在深度学习的时代被忽略。基于这些遗忘的教训,我们提出了一个统一的观点,以搭建持续学习,主动学习和开放集识别在深度神经网络的桥梁。我们的结果表明,这不仅有利于每个个体范式,而且突出了在一个共同框架中的自然协同作用。我们从经验上证明了在减轻灾难性遗忘、主动学习中查询数据、选择任务顺序等方面的改进,同时在以前提出的方法失败的地方展示了强大的开放世界应用。

https://www.zhuanzhi.ai/paper/e5bee7a1e93a93ef9139966643317e1c

概述:

随着实用机器学习系统的不断成熟,社区发现了对持续学习[1]、[2]的兴趣。与广泛练习的孤立学习不同,在孤立学习中,系统的算法训练阶段被限制在一个基于先前收集的i.i.d数据集的单一阶段,持续学习需要利用随着时间的推移而到来的数据的学习过程。尽管这种范式已经在许多机器学习系统中找到了各种应用,回顾一下最近关于终身机器学习[3]的书,深度学习的出现似乎已经将当前研究的焦点转向了一种称为“灾难性推理”或“灾难性遗忘”的现象[4],[5],正如最近的评论[6],[7],[8],[9]和对深度持续学习[8],[10],[11]的实证调查所表明的那样。后者是机器学习模型的一个特殊效应,机器学习模型贪婪地根据给定的数据群更新参数,比如神经网络迭代地更新其权值,使用随机梯度估计。当包括导致数据分布发生任何变化的不断到达的数据时,学习到的表示集被单向引导,以接近系统当前公开的数据实例上的任何任务的解决方案。自然的结果是取代以前学到的表征,导致突然忘记以前获得的信息。

尽管目前的研究主要集中在通过专门机制的设计来缓解持续深度学习中的这种遗忘,但我们认为,一种非常不同形式的灾难性遗忘的风险正在增长,即忘记从过去的文献中吸取教训的危险。尽管在连续的训练中保留神经网络表示的努力值得称赞,但除了只捕获灾难性遗忘[12]的度量之外,我们还高度关注了实际的需求和权衡,例如包括内存占用、计算成本、数据存储成本、任务序列长度和训练迭代次数等。如果在部署[14]、[15]、[16]期间遇到看不见的未知数据或小故障,那么大多数当前系统会立即崩溃,这几乎可以被视为误导。封闭世界的假设似乎无所不在,即认为模型始终只会遇到与训练过程中遇到的数据分布相同的数据,这在真实的开放世界中是非常不现实的,因为在开放世界中,数据可以根据不同的程度变化,而这些变化是不现实的,无法捕获到训练集中,或者用户能够几乎任意地向系统输入预测信息。尽管当神经网络遇到不可见的、未知的数据实例时,不可避免地会产生完全没有意义的预测,这是众所周知的事实,已经被暴露了几十年了,但是当前的努力是为了通过不断学习来规避这一挑战。选择例外尝试解决识别不可见的和未知的示例、拒绝荒谬的预测或将它们放在一边供以后使用的任务,通常总结在开放集识别的伞下。然而,大多数现有的深度连续学习系统仍然是黑盒,不幸的是,对于未知数据的错误预测、数据集的异常值或常见的图像损坏[16],这些系统并没有表现出理想的鲁棒性。

除了目前的基准测试实践仍然局限于封闭的世界之外,另一个不幸的趋势是对创建的持续学习数据集的本质缺乏理解。持续生成模型(如[17]的作者的工作,[18],[19],[20],[21],[22]),以及类增量持续学习的大部分工作(如[12]中给出的工作,[23],[24],[25],[26],[27],[28])一般调查sequentialized版本的经过时间考验的视觉分类基准如MNIST [29], CIFAR[30]或ImageNet[31],单独的类只是分成分离集和序列所示。为了在基准中保持可比性,关于任务排序的影响或任务之间重叠的影响的问题通常会被忽略。值得注意的是,从邻近领域的主动机器学习(半监督学习的一种特殊形式)中吸取的经验教训,似乎并没有整合到现代的连续学习实践中。在主动学习中,目标是学会在让系统自己查询接下来要包含哪些数据的挑战下,逐步地找到与任务解决方案最接近的方法。因此,它可以被视为缓解灾难性遗忘的对抗剂。当前的持续学习忙于维护在每个步骤中获得的信息,而不是无休止地积累所有的数据,而主动学习则关注于识别合适的数据以纳入增量训练系统的补充问题。尽管在主动学习方面的早期开创性工作已经迅速识别出了通过使用启发式[32]、[33]、[34]所面临的强大应用的挑战和陷阱,但后者在深度学习[35]、[36]、[37]、[38]的时代再次占据主导地位,这些挑战将再次面临。

在这项工作中,我们第一次努力建立一个原则性和巩固的深度持续学习、主动学习和在开放的世界中学习的观点。我们首先单独回顾每一个主题,然后继续找出在现代深度学习中似乎较少受到关注的以前学到的教训。我们将继续争论,这些看似独立的主题不仅从另一个角度受益,而且应该结合起来看待。在这个意义上,我们建议将当前的持续学习实践扩展到一个更广泛的视角,将持续学习作为一个总括性术语,自然地包含并建立在先前的主动学习和开放集识别工作之上。本文的主要目的并不是引入新的技术或提倡一种特定的方法作为通用的解决方案,而是对最近提出的神经网络[39]和[40]中基于变分贝叶斯推理的方法进行了改进和扩展,以说明一种走向全面框架的可能选择。重要的是,它作为论证的基础,努力阐明生成建模作为深度学习系统关键组成部分的必要性。我们强调了在这篇论文中发展的观点的重要性,通过实证证明,概述了未来研究的含义和有前景的方向。

成为VIP会员查看完整内容
0
28

《图像处理手册》一直被评为计算机图像处理的最佳整体介绍,涵盖二维(2D)和三维(3D)成像技术、图像打印和存储方法、图像处理算法、图像和特征测量、定量图像测量分析等等。

  • 比以前的版本有更多的计算密集型算法
  • 提供更好的组织,更多的定量结果,和最新发展的新材料
  • 包括在3D成像和在统计分析上彻底修改的一章完全重写的章节
  • 包含超过1700个参考文献的理论,方法,和应用在广泛的学科
  • 呈现了500多个全新的人物和图像,其中超过三分之二是彩色的

《图像处理手册》第七版提供一个可接近的和最新的图像处理的处理,提供广泛的覆盖和算法的比较,方法,和结果。

成为VIP会员查看完整内容
0
69

这本书的目标是介绍自动微分的基本算法,以及流行的数学和统计函数的自动微分规则的百科全书式的集合。

自动微分是一种通用的技术,用于将函数的计算值转换为可计算导数的值。导数计算只给用于计算函数值的每个操作增加一个常数的开销,因此可微函数与原始函数具有相同的复杂度阶数。在描述了自动微分的标准形式之后,这本书提供了一个百科全书收集的正切和伴随规则的前向模式和后向模式自动微分,涵盖了最广泛使用的标量,向量,矩阵和概率函数。附录包含正向模式、反向模式和混合模式自动区分的工作示例代码。

成为VIP会员查看完整内容
0
39

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
68

贝叶斯数据分析第三版,这本经典的书被广泛认为是关于贝叶斯方法的主要著作,用实用的方法来分析数据和解决研究问题。贝叶斯数据分析,第三版继续采取一种实用的方法来分析使用最新的贝叶斯方法。作者——统计界权威——在介绍高级方法之前,先从数据分析的角度介绍基本概念。在整个文本中,大量的工作示例来自实际应用和研究,强调在实践中使用贝叶斯推理。

第三版新增

  • 非参数建模的四个新章节
  • 覆盖信息不足的先验和边界回避的先验
  • 关于交叉验证和预测信息标准的最新讨论
  • 改进的收敛性监测和有效的样本容量计算迭代模拟
  • 介绍了哈密顿的蒙特卡罗、变分贝叶斯和期望传播
  • 新的和修改的软件代码

这本书有三种不同的用法。对于本科生,它介绍了从第一原则开始的贝叶斯推理。针对研究生,本文提出了有效的方法,目前贝叶斯建模和计算的统计和相关领域。对于研究人员来说,它提供了应用统计学中的各种贝叶斯方法。其他的资料,包括例子中使用的数据集,所选练习的解决方案,以及软件说明,都可以在本书的网页上找到。

贝叶斯数据分析课程

https://avehtari.github.io/BDA_course_Aalto/index.html

成为VIP会员查看完整内容
0
95

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
66
小贴士
相关VIP内容
相关资讯
【资源】机器学习数学全书,1900页PDF下载
全球人工智能
41+阅读 · 2019年10月17日
一文详解Google最新NLP模型XLNet
PaperWeekly
16+阅读 · 2019年7月1日
百页课程笔记,统计物理视角下的深度学习
机器之心
5+阅读 · 2019年1月23日
R语言时间序列分析
R语言中文社区
6+阅读 · 2018年11月19日
R语言之数据分析高级方法「时间序列」
R语言中文社区
9+阅读 · 2018年4月24日
用 Python 进行贝叶斯模型建模(1)
Python开发者
3+阅读 · 2017年7月11日
相关论文
CODA-19: Using a Non-Expert Crowd to Annotate Research Aspects on 10,000+ Abstracts in the COVID-19 Open Research Dataset
Ting-Hao 'Kenneth' Huang,Chieh-Yang Huang,Chien-Kuang Cornelia Ding,Yen-Chia Hsu,C. Lee Giles
0+阅读 · 9月17日
Yang Liu
3+阅读 · 2019年9月5日
Fast AutoAugment
Sungbin Lim,Ildoo Kim,Taesup Kim,Chiheon Kim,Sungwoong Kim
3+阅读 · 2019年5月1日
Xuelu Chen,Muhao Chen,Weijia Shi,Yizhou Sun,Carlo Zaniolo
3+阅读 · 2019年2月26日
Embedding Logical Queries on Knowledge Graphs
William L. Hamilton,Payal Bajaj,Marinka Zitnik,Dan Jurafsky,Jure Leskovec
3+阅读 · 2019年2月19日
Conditional BERT Contextual Augmentation
Xing Wu,Shangwen Lv,Liangjun Zang,Jizhong Han,Songlin Hu
8+阅读 · 2018年12月17日
Yuyu Zhang,Hanjun Dai,Kamil Toraman,Le Song
9+阅读 · 2018年5月31日
Sergey Edunov,Myle Ott,Michael Auli,David Grangier,Marc'Aurelio Ranzato
5+阅读 · 2018年5月24日
Yuxin Wu,Kaiming He
7+阅读 · 2018年3月22日
Hemayet Ahmed Chowdhury,Tanvir Alam Nibir,Md. Saiful Islam
8+阅读 · 2018年3月22日
Top