本书概述了现代数据科学重要的数学和数值基础。特别是,它涵盖了信号和图像处理(傅立叶、小波及其在去噪和压缩方面的应用)、成像科学(反问题、稀疏性、压缩感知)和机器学习(线性回归、逻辑分类、深度学习)的基础知识。重点是对方法学工具(特别是线性算子、非线性逼近、凸优化、最优传输)的数学上合理的阐述,以及如何将它们映射到高效的计算算法。

https://mathematical-tours.github.io/book/

它应该作为数据科学的数字导览的数学伴侣,它展示了Matlab/Python/Julia/R对这里所涵盖的所有概念的详细实现。

成为VIP会员查看完整内容
0
97
自然语言处理( Natural Language Processing, NLP )

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

【导读】嵌入向量( embedding)是一项广受欢迎的技术,有着众多应用。最近来自撰写了《Embeddings in Natural Language Processing Theory and Advances in Vector Representation of Meaning》,共163页pdf,该书首先解释了传统的词向量空间模型和词嵌入(如Word2Vec和GloVe),然后介绍了其他类型的嵌入,如语意、句子和文档以及图形嵌入。我们还概述了上下文化表示(如ELMo、BERT)的最新发展状况,并解释了它们在NLP中的潜力。值得关注。

自2010年代早期以来,嵌入一直是自然语言处理(NLP)的流行词汇之一。将信息编码为低维向量表示,在现代机器学习算法中很容易得到集成,这在NLP的发展中起到了核心作用。嵌入技术最初集中在单词上,但很快注意力开始转向其他形式:从图形结构(如知识库),转向其他类型的文本内容(如句子和文档)。

这本书提供了一个高层次NLP嵌入技术的综述。该书首先解释了传统的词向量空间模型和词嵌入(如Word2Vec和GloVe),然后介绍了其他类型的嵌入,如语意、句子和文档以及图形嵌入。我们还概述了上下文化表示(如ELMo、BERT)的最新发展状况,并解释了它们在NLP中的潜力。

  1. 在第二章,我们提供了一些基本的NLP和机器学习应用于语言问题的背景知识。然后,简要介绍了词汇语义中常用的一些主要的知识资源。

  2. 第3章讨论了单词表示,从传统的基于可数的模型的简要概述开始,接着是最近的基于预测的和基于字符的嵌入。在同一章中,我们还描述了一些专门用于嵌入的技术,例如跨语言单词嵌入,以及单词表示的通用评估方法。

3.第4章讨论了嵌入结构化知识资源的各种技术,特别是语义图。我们将概述最近的主要方法对于图的嵌入节点和边,并总结其应用和评价。

  1. 在第5章中,我们重点讨论了单词的个别含义的表示,即:文字意义。讨论了两类意义表示(无监督的和基于知识的),然后讨论了这类表示的评价技术。

  2. 第六章是关于上下文嵌入的最新分支。在本章中,我们首先解释这种嵌入的必要性,然后描述主要的模型以及它们如何与语言模型相联系。在同一章中,我们还介绍了解释和分析上下文模型有效性的一些工作。

  3. 第7章超越了单词的层次,描述了如何将句子和文档编码成向量表示。我们介绍了一些著名的监督和非监督技术,并讨论了这些表示的应用和评估方法。

  4. 第8章解释了最近讨论的词嵌入的一些伦理问题和固有偏见。本章还介绍了消除词嵌入的一些建议。

  5. 最后,在第九章中,我们提出了结束语和开放式研究的挑战。

成为VIP会员查看完整内容
0
70

导读:在过去的几年里,我们看到了机器学习核心问题的根本性突破,这主要是由深度神经网络的进步推动的。与此同时,在广泛的科学领域中收集的数据无论在规模和复杂性方面都在急剧地增加。综上所述,这为深度学习在科学领域的应用提供了许多令人兴奋的机会。但这方面的一个重大挑战就是知道从哪里开始的。不同深度学习技术的广度和多样性使得很难确定哪些科学问题最适合这些方法,或者哪些特定的方法组合可能提供最有效果的方法。在这篇综述中,我们专注于解决这个核心问题,提供许多广泛使用的深度学习模型的概述,包括视觉、序列和图结构化数据,相关任务和不同的训练方法,随着技术使用较少的数据深度学习和更好的理解这些复杂的模型——两个核心考虑的许多科学的用例。我们还包括对整个设计过程的概述、实现技巧,以及到社区开发的大量教程、研究总结、开源深度学习通道和预训练模型的链接。我们希望这篇综述将有助于加速在不同科学领域使用深度学习。

介绍在过去的几年里,利用深度神经网络的机器学习取得了非凡的进步。由可用的数据和计算资源的快速增长,这些神经网络模型和令人瞩目的进展,对所建模型的参数,是一种主要从语音识别技术在解决基本任务,复杂的任务在计算机视觉图像分类等(实例)分割,动作识别,和中央自然语言中存在的问题,包括问答,机器翻译和摘要。这些基本任务中的许多(通过适当的重新制定)与更广泛的领域相关,特别是在帮助研究中心科学问题方面具有巨大的潜力。 在过去的几年里,利用深度神经网络的机器学习取得了非凡的进步。在可用数据和计算资源快速增长的驱动下,这些神经网络模型和算法得到了显著的发展,如在解决基本任务从语音识别, 到复杂的任务在计算机视觉如图像分类、图像分割,动作识别等, 以及自然语言中存在的核心问题,包括问答、机器翻译和提取摘要等主要技术。通过对这些基本任务中的适当的修改可以与更广泛的领域相关,特别是在帮助研究中心科学问题方面具有巨大的潜力。 然而,开始使用深度学习的一个重要障碍是知道从哪里开始。大量的研究文献,加上大量的底层模型、任务和训练方法,使得很难确定哪些技术是最适合去尝试,或者是开始实践它们的最佳方法。 这项综述的目的就是帮助解决这一核心挑战。特别是,它有以下几点属性:

  • 综述概述了一个高度多样化的深度学习的概念,如从深层神经网络模型为不同的数据形式(CNN的视觉数据, 图神经网络,RNNs序列数据和 Transformers)的许多不同的关键任务(超分辨率图像分割,序列,序列映射等)的训练深入学习系统的多种方式。

  • 但是这些技术的解释都是高质量和简洁的,以确保核心思想能够被广泛的受众所理解,从而使整篇综述能够很容易地从头到尾地阅读。

  • 从辅助科学应用的角度,该综述详细描述了(i)使用较少数据的深度学习方法(自我监督、半监督学习等)和(ii)可解释性和表示分析技术(用于不仅限于预测任务)。这是两个引用和快速发展的研究领域,对于可能的科学用例也具有特殊的意义。

**这篇综述是为谁做的?**我们希望这篇综述对那些对机器学习有基本了解的人特别有帮助,他们有兴趣(i)对许多基本的深度学习概念有一个全面但容易理解的概述,(ii)在帮助提升实践方面的参考和指导。除了深度学习的核心领域外,综述的重点是开发数据较少的深度学习系统的方法,以及解释这些模型的技术,我们希望这些技术对那些有兴趣在科学问题中应用这些技术的人有特别的用处。然而,这些主题和其他许多的主题,以及许多代码/教程/论文参考资料可能对希望学习并实践深度学习的人有帮助。

综述大纲

这篇综述主要内容如下:

  • 第2节从高层次使用深度学习的一些考虑开始。具体来说,我们首先讨论了一些模板方法,在这些方法中,深度学习可以应用于科学领域,然后是对整个深度学习设计过程的概述,最后简要讨论了其他可能更适合于某些问题的机器学习核心技术。第一部分可能是那些考虑科学应用的人特别感兴趣的,而后两部分可能是普遍感兴趣的。

  • 第3节提供了教程、开源代码模型/算法实现和带有研究论文摘要的网站的参考,这些都是由深度学习社区开发的。本节对许多读者很有帮助,我们鼓励读者浏览所提供的链接。

  • 第4节概述了深度学习中的许多标准任务和模型,包括卷积网络及其多种用途、图神经网络、序列模型(RNNs、Transformer)和许多相关的序列任务。

  • 第5节介绍了监督学习训练过程的一些关键变体,如迁移学习、领域适应和多任务学习。这些是深度学习的许多成功应用的核心。

  • 第6节讨论了提高数据效率的方法,以开发深度神经网络模型,这是一个快速发展的研究领域,也是许多应用的主要考虑的方面,包括科学领域。它涵盖了自我监督和半监督学习的许多变体,以及数据增强和数据去噪方法。

  • 第7节概述了在可解释性和代表性分析方面的进展,这是一组关注于深入了解端到端系统内部的技术:识别数据中的重要特性,理解其对模型输出的影响,以及发现模型隐藏表示的属性。这些对于许多强调对预测准确性的理解的科学问题来说是非常重要的,而且可能对诸如帮助模型调试和预先识别故障模式等更广泛的问题有更大的意义。

  • 第8节简要介绍了更先进的深度学习方法,特别是生成式模型和强化学习。

  • 第9节总结了一些关键的实现技巧,当把一个端到端深度学习系统,我们鼓励可快速阅读!

论文部分截图:

成为VIP会员查看完整内容
0
93

课程内容:

  • 数学基础:矩阵、向量、Lp范数、范数的几何、对称性、正确定性、特征分解。无约束最优化,graident下降法,凸函数,拉格朗日乘子,线性最小二乘法。概率空间,随机变量,联合分布,多维高斯。

  • 线性分类器:线性判别分析,分离超平面,多类分类,贝叶斯决策规则,贝叶斯决策规则几何,线性回归,逻辑回归,感知机算法,支持向量机,非线性变换。

  • 鲁棒性:对抗性攻击、定向攻击和非定向攻击、最小距离攻击、最大允许攻击、基于规则的攻击。通过纳微扰。支持向量机的鲁棒性。

  • 学习理论:偏差和方差,训练和测试,泛化,PAC框架,Hoeffding不等式,VC维。

参考书籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

讲者: Stanley Chan 教授 https://engineering.purdue.edu/ChanGroup/stanleychan.html

课程目标: 您将能够应用基本的线性代数、概率和优化工具来解决机器学习问题

•你将了解一般监督学习方法的原理,并能评论它们的优缺点。 •你会知道处理数据不确定性的方法。 •您将能够使用学习理论的概念运行基本的诊断。 •您将获得机器学习算法编程的实际经验。

成为VIP会员查看完整内容
0
75

【导读】陈丹琦博士是自然语言处理研究员领域的新星大神,她从斯坦福毕业后,到普林斯顿大学任助理教授。她将深度学习用于一系列自然语言处理重要问题,帮助机器获取知识、更好地回答问题。她开设了COS 598C (Winter 2020)课程,深度学习自然语言处理, Deep Learning for Natural Language Processing,共有21讲,讲解最新NLP进展,非常值得follow。

本课程旨在介绍自然语言处理的前沿深度学习方法。本课程的主题包括词的嵌入/上下文化的词的嵌入、预训练和微调、机器翻译、问题回答、摘要、信息提取、语义分析和对话系统等。我们对每个主题进行了深入的讨论,并讨论了最近关于每个主题的重要论文,包括背景、方法、评价、目前的局限性和未来的发展方向。学生应定期阅读和提交研究论文,并完成一篇期末论文。

学习目标:

本课程旨在为您在自然语言处理方面的前沿研究做准备。我们将讨论在NLP的每个子领域中最有影响力的想法,最先进的技术和我们今天面临的主要问题。

练习你的研究技能,包括阅读研究论文,进行文献调查,口头和书面报告,以及提供建设性的反馈。

成为VIP会员查看完整内容
0
61

【导读】深度学习革新了很多应用,但是背后的理论作用机制一直没有得到统一的解释。最近来自谷歌大脑和斯坦福的学者共同撰写了深度学习统计力学的综述论文《Statistical Mechanics of Deep Learning》,共30页pdf,从物理学视角阐述了深度学习与各种物理和数学主题之间的联系。

最近,深度神经网络在机器学习领域取得了惊人的成功,这对它们成功背后的理论原理提出了深刻的疑问。例如,这样的深度网络可以计算什么?我们如何训练他们?信息是如何通过它们传播的?为什么他们可以泛化?我们如何教他们想象?我们回顾了最近的工作,其中物理分析方法植根于统计力学已经开始提供这些问题的概念上的见解。这些见解产生了深度学习与各种物理和数学主题之间的联系,包括随机景观、旋转玻璃、干扰、动态相变、混沌、黎曼几何、随机矩阵理论、自由概率和非平衡统计力学。事实上,统计力学和机器学习领域长期以来一直享有强耦合交互作用的丰富历史,而统计力学和深度学习交叉领域的最新进展表明,这些交互作用只会进一步深化。

概述

具有多层隐含层(1)的深度神经网络在许多领域都取得了显著的成功,包括机器视觉(2)、语音识别(3)、自然语言处理(4)、强化学习(5),甚至在神经科学(6、7)、心理学(8、9)和教育(10)中对动物和人类自身的建模。然而,用于获得成功的深度神经网络的方法仍然是一门高度熟练的艺术,充满了许多启发,而不是一门精确的科学。这为理论科学提出了令人兴奋的挑战和机会,以创建一个成熟的深度神经网络理论,该理论强大到足以指导在深度学习中广泛的工程设计选择。虽然我们目前离这样成熟的理论还有很长的距离,但是最近在统计力学和深度学习交叉领域出现的一批研究已经开始为深度网络的学习和计算提供理论上的见解,有时还会提出新的和改进的方法来推动这些理论的深入学习。

在这里,我们回顾了建立在统计力学和机器学习相互作用的悠久而丰富的历史基础上的这一工作体系(11-15)。有趣的是,正如我们下面所讨论的,这些工作在统计力学和深度学习之间建立了许多新的桥梁。在本介绍的其余部分中,我们将为机器学习的两个主要分支提供框架。第一个是监督学习,它涉及到从例子中学习输入-输出映射的过程。第二种是无监督学习,它涉及到学习和挖掘数据中隐藏的结构模式的过程。有了这两个框架,我们将在1.3节中介绍本综述中讨论的几个深度学习的基本理论问题,以及它们与与统计力学相关的各种主题的联系。

成为VIP会员查看完整内容
0
50

使用Python进行计算机视觉的深度学习将使您成为计算机视觉和视觉识别任务的深度学习专家。

在书中,我们将重点学习:

  • 神经网络和机器学习
  • 卷积神经网络(CNNs)
  • 目标检测/定位与深度学习
  • 训练大型(图像级)网络
  • 掌握使用Python编程语言和Keras、TensorFlow 2.0和mxnet深度学习库的实现

在用Python进行了计算机视觉的深度学习之后,您将能够用深度学习解决实际问题。

下载地址:链接: https://pan.baidu.com/s/1I8r-Vjvv4n8v-6t_5I679g 提取码: j69b

成为VIP会员查看完整内容
0
59

如今是人工智能高歌猛进的时代,机器学习的发展也如火如荼。然而,复杂的数学公式和难解的专业术语容易令刚接触这一领域的学习者望而生畏。有没有这样一本机器学习的书,能摒弃复杂的公式推导,带领读者通过实践来掌握机器学习的方法?

《机器学习与优化》正是这样一本书!它的写作脱胎于意大利特伦托大学机器学习与智能优化实验室(LION lab)的研究项目,语言轻松幽默,内容图文并茂,涵盖了机器学习中可能遇到的各方面知识。更重要的是,书中特别介绍了两个机器学习的应用,即信息检索和协同推荐,让读者在了解信息结构的同时,还能利用信息来预测相关的推荐项。

本书作者以及读者群发布的数据、指导说明和教学短片都可以在本书网站上找到:https://intelligent-optimization.org/LIONbook/。

本书内容要点: ● 监督学习——线性模型、决策森林、神经网络、深度和卷积网络、支持向量机等 ● 无监督模型和聚类——K均值、自底而上聚类、自组织映射、谱图绘制、半监督学习等 ● 优化是力量之源——自动改进的局部方法、局部搜索和反馈搜索优化、合作反馈搜索优化、多目标反馈搜索优化等 ● 应用精选——文本和网页挖掘,电影的协同推荐系统

成为VIP会员查看完整内容
0
59

贝叶斯数据分析第三版,这本经典的书被广泛认为是关于贝叶斯方法的主要著作,用实用的方法来分析数据和解决研究问题。贝叶斯数据分析,第三版继续采取一种实用的方法来分析使用最新的贝叶斯方法。作者——统计界权威——在介绍高级方法之前,先从数据分析的角度介绍基本概念。在整个文本中,大量的工作示例来自实际应用和研究,强调在实践中使用贝叶斯推理。

第三版新增

  • 非参数建模的四个新章节
  • 覆盖信息不足的先验和边界回避的先验
  • 关于交叉验证和预测信息标准的最新讨论
  • 改进的收敛性监测和有效的样本容量计算迭代模拟
  • 介绍了哈密顿的蒙特卡罗、变分贝叶斯和期望传播
  • 新的和修改的软件代码

这本书有三种不同的用法。对于本科生,它介绍了从第一原则开始的贝叶斯推理。针对研究生,本文提出了有效的方法,目前贝叶斯建模和计算的统计和相关领域。对于研究人员来说,它提供了应用统计学中的各种贝叶斯方法。其他的资料,包括例子中使用的数据集,所选练习的解决方案,以及软件说明,都可以在本书的网页上找到。

成为VIP会员查看完整内容
0
53

数据结构和算法的更新、创新方法

这个权威的指南由其领域的专家组成的作者团队编写,它甚至解释了最困难的数学概念,这样您就可以清楚地理解c++中的数据结构和算法。

权威的作者团队采用面向对象的设计范式,使用c++作为实现语言,同时还提供基本算法的直觉和分析。

  • 提供一种独特的多媒体格式,学习基本的数据结构和算法
  • 允许您可视化关键的分析概念,了解该领域的最新见解,并进行数据结构设计
  • 为开发程序提供清晰的方法
  • 具有清晰,易于理解的写作风格,打破了即使是最困难的数学概念

成为VIP会员查看完整内容
0
50

Python 官方教程(https://docs.python.org/3/tutorial/)的开头是这样写的:“Python 是一门既容易上手又强大的编程语言。”这句话本身并无大碍,但需要注意的是,正因为它既好学又好用,所以很多Python程序员只用到了其强大功能的一小部分。

只需要几个小时,经验丰富的程序员就能学会用 Python 写出实用的程序。然而随着这最初高产的几个小时变成数周甚至数月,在那些先入为主的编程语言的影响下,开发者们会慢慢地写出带着“口音”的 Python 代码。即便 Python 是你的初恋,也难逃此命运。因为在学校里,抑或是那些入门书上,教授者往往会有意避免只跟语言本身相关的特性。

另外,向那些已在其他语言领域里有了丰富经验的程序员介绍 Python 的时候,我还发现了一个问题:人们总是倾向于寻求自己熟悉的东西。受到其他语言的影响,你大概能猜到Python会支持正则表达式,然后就会去查阅文档。但是如果你从来没见过元组拆包(tuple unpacking),也没听过描述符(descriptor)这个概念,那么估计你也不会特地去搜索它们,然后就永远失去了使用这些Python独有的特性的机会。这也是本书试图解决的一个问题。

第一部分

第一部分只有单独的一章,讲解的是 Python 的数据模型(datamodel),以及如何为了保证行为一致性而使用特殊方法(比如__repr__),毕竟 Python 的一致性是出了名的。其实整本书几乎都是在讲解 Python 的数据模型,第 1 章算是一个概览。

第二部分

第二部分包含了各种集合类型:序列(sequence)、映射(mapping)和集合(set),另外还提及了字符串(str)和字节序列(bytes)的区分。说起来,最后这一点也是让亲者(Python 3 用户)快,仇者(Python 2 用户)痛的一个关键,因为这个区分致使 Python 2代码迁移到 Python 3 的难度陡增。第二部分的目标是帮助读者回忆起Python 内置的类库,顺带解释这些类库的一些不太直观的地方。具体的例子有 Python 3 如何在我们观察不到的地方对 dict 的键重新排序,或者是排序有区域(locale)依赖的字符串时的注意事项。为了达到本部分的目标,有些地方的讲解会比较大而全,像序列类型和映射类型的变种就是这样;有时则会写得很深入,比方说我会对dict 和 set 底层的散列表进行深层次的讨论。

第三部分

如何把函数作为一等对象(first-order object)来使用。第三部分首先会解释前面这句话是什么意思,然后话题延伸到这个概念对那些被广泛使用的设计模型的影响,最后读者会看到如何利用闭包(closure)的概念来实现函数装饰器(function decorator)。这一部分的话题还包括Python 的这些基本概念:可调用(callable)、函数属性(functionattribute)、内省(introspection)、参数注解(parameter annotation)和Python 3 里新出现的 nonlocal 声明。

第四部分

  到了这里,书的重点转移到了类的构建上面。虽然在第二部分里的例子里就有类声明(class declaration)的出现,但是第四部分会呈现更多的类。和任何面向对象语言一样,Python 还有些自己的特性,这些特性可能并不会出现在你我学习基于类的编程的语言中。这一部分的章节解释了引用(reference)的原理、“可变性”的概念、实例的生命周期、

如何构建自定义的集合类型和 ABC、多重继承该怎么理顺、什么时候应该使用操作符重载及其方法。

第五部分

Python 中有些结构和库不再满足于诸如条件判断、循环和子程序(subroutine)之类的顺序控制流程,第五部分的笔墨会集中在这些构造和库上。我们会从生成器(generator)起步,然后话题会转移到上下文管理器(context manager)和协程(coroutine),其中会涵盖新增的功能强大但又不容易理解的 yield from 语法。这一部分以并发性和面向事件的 I/O 来结尾,其中跟并发性相关的是 collections.futures这个很新的包,它借助 futures 包把线程和进程的概念给封装了起

来;而跟面向事件 I/O 相关的则是 asyncio,它的背后是基于协程和yield from 的 futures 包。

第六部分

  第六部分的开头会讲到如何动态创建带属性的类,用以处理诸如JSON 这类半结构化的数据。然后会从大家已经熟悉的特性(property)机制入手,用描述符从底层来解释 Python 对象属性的存取。同时,函数、方法和描述符的关系也会被梳理一遍。第六部分会从头至尾地实现一个字段验证器,在这个过程中我们会遇到一些微妙的问题,然后在最后一章中就自然引出像类装饰器(class decorator)和元类(metaclass)这些高级的概念。

成为VIP会员查看完整内容
1
56

【导读】今年特别不一样,尤其是对于毕业季的同学。最近这段时间应该各位要毕业同学提交毕业论文评审的时间。如何让自己的论文顺利过关?是大家共同关心的。这里专知小编推荐一篇来自中国科学院自动化研究所模式识别国家重点实验室宗成庆老师的报告《如何撰写毕业论文》,27页ppt,讲述了毕业论文要注意的各种要点,非常值得我们学习,帮助大家写出更好的论文。

提纲:

  1. 关于论文题目

  2. 论文的整体布局

  3. 常见的主要问题

  4. 认真对待每一个细节

  5. 结束语

要点:

评价一篇论文优劣最重要的标准是看其解决的问题是否重要、创新点是否突出、实验是否充分可靠

论文的结构是否清晰、逻辑是否清楚、表述是否流 畅、准确,具有非常重要的意义 我们提倡规范、严谨、朴实的写作风格,“标新立 异”应体现在创新思想上,而不是在写作形式上

应遵循不同学科领域的论著写作规范

上述观点和建议只代表我本人的体会,仅供参考, 不强求千篇一律。任何学生都应首先尊重自己导师 的意见。

成为VIP会员查看完整内容
0
47

获得高级数据分析概念的广泛基础,并发现数据库中的最新革命,如Neo4j、Elasticsearch和MongoDB。这本书讨论了如何实现ETL技术,包括主题爬行,这是应用在诸如高频算法交易和面向目标的对话系统等领域。您还将看到机器学习概念的示例,如半监督学习、深度学习和NLP。使用Python的高级数据分析还包括时间序列和主成分分析等重要的传统数据分析技术。

读完这本书,你将对分析项目的每个技术方面都有了经验。您将了解使用Python代码的概念,并提供在您自己的项目中使用的示例。

你会学到什么

  • 使用数据分析技术,如分类、聚类、回归和预测
  • 处理结构化和非结构化数据、ETL技术以及不同类型的数据库,如Neo4j、Elasticsearch、MongoDB和M- ySQL
  • 考察不同的大数据框架,包括Hadoop和Spark
  • 发现先进的机器学习概念,如半监督学习,深度学习,和NLP

这本书是给谁看的

对数据分析领域感兴趣的数据科学家和软件开发人员。

成为VIP会员查看完整内容
0
42

【导读】BERT的出现革新了众多自然语言处理任务中的模型架构范式,由此以BERT、为代表预训练语言模型(PLM)在多项任务中刷新了榜单,引起了学术界和工业界的大量关注。斯坦福大学经典自然语言处理课程CS224N邀请了BERT一作、Google 研究员Jacob Devlin做了关于上下文词表示BERT以及预训练语言模型的课程讲座,亲授大厂实战经验,值得关注!

预训练好的词嵌入是NLP深度学习成功的关键,因为它们允许模型利用web上几乎无限数量的未注释文本。在过去的几年里,条件语言模型被用来生成预训练上下文表示,这比简单的嵌入更加丰富和强大。本文介绍BERT(来自Transformers的双向编码器表示),它可以生成深度双向的预训练语言表示。BERT在Stanford Question Answering Dataset, MultiNLI, Stanford Sentiment Treebank和许多其他任务上获得了最先进的结果。

  • 预先训练的双向语言模型非常有效
  • 然而,这些模型非常昂贵
  • 遗憾的是,改进似乎主要来自更昂贵的模型和更多的数据
  • 推理/服务问题大多通过蒸馏“解决”

Jacob Devlin是谷歌的研究员。在谷歌,他的主要研究兴趣是开发用于信息检索、问题回答和其他语言理解任务的快速、强大和可扩展的深度学习模型。2014年至2017年,他在微软研究院担任首席研究员,领导微软翻译从基于短语的翻译过渡到神经机器翻译(NMT)。Devlin先生是ACL 2014年最佳长论文奖和NAACL 2012年最佳短论文奖的获得者。2009年,他在马里兰大学(University of Maryland)获得了计算机科学硕士学位,导师是邦尼·多尔(Bonnie Dorr)博士。

https://web.stanford.edu/class/cs224n/index.html#schedule

成为VIP会员查看完整内容
0
34

概率图模型是机器学习中的一种技术,它使用图论的概念来简明地表示和最佳地预测数据问题中的值。

图模型为我们提供了在数据中发现复杂模式的技术,广泛应用于语音识别、信息提取、图像分割和基因调控网络建模等领域。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一整章是关于朴素贝叶斯模型和隐马尔可夫模型的。这些模型已经通过实际例子进行了详细的讨论。

你会学到什么

  • 掌握概率论和图论的基本知识
  • 使用马尔可夫网络
  • 实现贝叶斯网络
  • 图模型中的精确推理技术,如变量消除算法
  • 了解图模型中的近似推理技术,如消息传递算法

图模型中的示例算法 通过真实的例子来掌握朴素贝叶斯的细节 使用Python中的各种库部署PGMs 获得隐马尔可夫模型的工作细节与现实世界的例子

详细 概率图模型是机器学习中的一种技术,它使用图论的概念来简洁地表示和最佳地预测数据问题中的值。在现实问题中,往往很难选择合适的图模型和合适的推理算法,这对计算时间和精度有很大的影响。因此,了解这些算法的工作细节是至关重要的。

这本书从概率论和图论的基础开始,然后继续讨论各种模型和推理算法。所有不同类型的模型都将与代码示例一起讨论,以创建和修改它们,并在它们上运行不同的推理算法。有一个完整的章节专门讨论最广泛使用的网络朴素贝叶斯模型和隐马尔可夫模型(HMMs)。这些模型已经通过实际例子进行了详细的讨论。

风格和方法 一个易于遵循的指南,帮助您理解概率图模型使用简单的例子和大量的代码例子,重点放在更广泛使用的模型。

成为VIP会员查看完整内容
0
28

模态是指事物发生或存在的方式,如文字、语言、声音、图形等。多模态学习是指学习多个模态中各个模态的信息,并且实现各个模态的信息的交流和转换。多模态深度学习是指建立可以完成多模态学习任务的神经网络模型。多模态学习的普遍性和深度学习的热度赋予了多模态深度学习鲜活的生命力和发展潜力。旨在多模态深度学习的发展前期,总结当前的多模态深度学习,发现在不同的多模态组合和学习目标下,多模态深度学习实现过程中的共有问题,并对共有问题进行分类,叙述解决各类问题的方法。具体来说,从涉及自然语言、视觉、听觉的多模态学习中考虑了语言翻译、事件探测、信息描述、情绪识别、声音识别和合成,以及多媒体检索等方面研究,将多模态深度学习实现过程中的共有问题分为模态表示、模态传译、模态融合和模态对齐四类,并对各问题进行子分类和论述,同时列举了为解决各问题产生的神经网络模型。最后论述了实际多模态系统,多模态深度学习研究中常用的数据集和评判标准,并展望了多模态深度学习的发展趋势。

成为VIP会员查看完整内容
0
44

内容简介这本书的前四章集中在足够的理论和基础,给你,实践者,为这本书剩下的部分一个工作的基础。最后五章将从这些概念出发,带领您通过一系列使用DL4J进行深度学习的实践路径。

  • 建立深度网络
  • 高级调优技术
  • 矢量化不同的数据类型
  • 运行深度学习工作流程的Spark

在本书中,我们交替使用DL4J和Deeplearning4j这两个名称。这两个术语都指的是Deeplearning4j库中的工具套件。

我们以这种方式设计这本书,因为我们觉得有必要让这本书既包含足够的理论,又足够的实际,以构建生产级的深度学习工作流。我们认为,这种混合方法的书的覆盖面适合这个空间。

第一章回顾了机器学习的一般概念,特别是深度学习,让读者快速了解了解本书其余部分所需要的基础知识。我们增加了这一章,因为许多初学者可以使用这些概念的复习或入门,我们想让尽可能多的读者可以访问这个项目。

第2章以第1章的概念为基础,并为您提供了神经网络的基础。它在很大程度上是神经网络理论的一个章节,但是我们的目标是用一种可访问的方式来呈现信息。

第三章在前两章的基础上更进一步,让你了解网络是如何从神经网络的基本原理发展而来的。

第四章介绍了深层网络的四种主要架构,并为本书的其余部分提供了基础。

在第5章中,我们将使用前半部分中的技术,带您浏览一些Java代码示例。

第6章和第7章讨论了调优一般神经网络的基本原理,然后讨论了如何调优深度网络的特定架构。这些章节是平台无关的,将适用于任何深度学习库的实践。

第8章是对矢量化技术和如何使用DataVec (DL4J的ETL和矢量化工作流工具)的基础知识的回顾。

第9章总结了该书的主体部分,回顾了如何在Spark和Hadoop上本地使用DL4J,并举例说明了可以在自己的Spark集群上运行的三个实际示例。

这本书有许多附录章节的主题是相关的,但不适合直接放在主要章节。主题包括:

  • 人工智能
  • 在DL4J项目中使用Maven
  • 使用GPU
  • 使用ND4J API
  • 更多

部分截图:

成为VIP会员查看完整内容
Deep Learning - A Practitioner's Approach.pdf
0
41

本文介绍了一阶优化方法及其在机器学习中的应用。这不是一门关于机器学习的课程(特别是它不涉及建模和统计方面的考虑),它侧重于使用和分析可以扩展到具有大量参数的大型数据集和模型的廉价方法。这些方法都是围绕“梯度下降”的概念而变化的,因此梯度的计算起着主要的作用。本课程包括最优化问题的基本理论性质(特别是凸分析和一阶微分学)、梯度下降法、随机梯度法、自动微分、浅层和深层网络。

成为VIP会员查看完整内容
0
36

【导读】异构网络表示学习Heterogeneous Network Representation Learning是当前自数据挖掘以及其他应用的研究热点,在众多任务中具有重要的应用。近日,UIUC韩家炜等学者发布了异构网络表示学习的综述大全,共15页pdf115篇参考文献,从背景知识到当前代表性HNE模型和应用研究挑战等,是最新可参考绝好的异构网络表示学习模型的文献。

由于现实世界中的对象及其交互通常是多模态和多类型的,所以异构网络被广泛地用作传统同构网络(图)的一个更强大、更现实和更通用的超类。与此同时,表示学习(representation learning,又称嵌入)最近得到了深入的研究,并被证明对各种网络挖掘和分析任务都是有效的。由于已有大量的异构网络嵌入(HNE)算法,但没有专门的调研综述,作为这项工作的第一个贡献,我们率先提供了一个统一的范式,对各种现有的HNE算法的优点进行系统的分类和分析。此外,现有的HNE算法虽然大多被认为是通用的,但通常是在不同的数据集上进行评估。由于HNE在应用上的天然优势,这种间接的比较在很大程度上阻碍了任务性能的改善,特别是考虑到从真实世界的应用数据构建异构网络的各种可能的方法。因此,作为第二项贡献,我们创建了四个基准数据集,这些数据集具有不同来源的尺度、结构、属性/标签可用性等不同属性,以全面评估HNE算法。作为第三个贡献,我们对十种流行的HNE算法的实现进行了细致的重构和修改,并创建了友好的接口,并在多个任务和实验设置上对它们进行了全方位的比较。

1.概述

网络和图形构成了一种规范的、普遍存在的交互对象建模范式,已经引起了各个科学领域的重要研究关注[59、30、24、3、89、87]。然而,现实世界的对象和交互通常是多模态和多类型的(例如,作者、论文、场所和出版物网络中的术语[69,65];基于位置的社交网络中的用户、地点、类别和gps坐标[101,91,94];以及生物医学网络中的基因、蛋白质、疾病和物种[38,14])。为了捕获和利用这种节点和链路的异构性,异构网络被提出并广泛应用于许多真实的网络挖掘场景中,如基于元路径的相似度搜索[70、64、92]、节点分类和聚类[18、20、11]、知识库补全[68、48、103]和推荐[23、106、31]。

与此同时,目前对图数据的研究主要集中在表示学习(图数据嵌入)方面,特别是在神经网络算法的先行者们展示了前所未有的有效而高效的图数据挖掘的经验证据之后[25,4,13]。他们的目标是将图数据(如节点[49、72、26、77、37、28、9、75]、链接[107、1、50、96]和子图[47、93、97、45])转换为嵌入空间中的低维分布向量,在嵌入空间中保留图的拓扑信息(如高阶邻近性[5、76、105、34]和结构[55、102、42、17])。这样的嵌入向量可以被各种下游的机器学习算法直接执行[58,39,10]。

在异构网络与图嵌入的交叉点上,异构网络嵌入(HNE)近年来也得到了较多的研究关注[8、85、108、16、66、67、27、22、90、35、104、57、52、99、7、98、32、83、95、82、41]。由于HNE的应用优势,许多算法在不同的应用领域分别被开发出来,如搜索和推荐[23,63,6,89]。此外,由于知识库(KBs)也属于异构网络的一般范畴,许多KB嵌入算法可以与HNE算法相比较[81、3、40、68、88、15、48、79、60]。

不幸的是,不同的HNE算法是在学术界和工业界完全不同的社区开发的。无论是在概念上还是在实验中,都没有对其进行系统全面的分析。事实上,由于缺乏基准平台(有现成的数据集和基线),研究人员往往倾向于构建自己的数据集,并重新实现一些最流行的(有时是过时的)比较算法,这使得公平的性能评估和明确的改进属性变得极其困难。

只需考虑图1中发布数据小例子。较早的HNE算法如metapath2vec [16])是在作者、论文和场所节点类型为(a)的异构网络上发展起来的,但是可以像(b)那样用大量的术语和主题作为附加节点来丰富论文,这使得基于随机游走的浅嵌入算法效果不佳,而倾向于R-GCN[57]这样的基于邻域聚合的深度图神经网络。此外,还可以进一步加入术语嵌入等节点属性和研究领域等标签,使其只适用于半监督归纳学习算法,这可能会带来更大的偏差[104、82、33、54]。最后,通常很难清楚地将性能收益归因于技术新颖性和数据调整之间的关系。

在这项工作中,我们首先制定了一个统一而灵活的数学范式,概括了所有的HNE算法,便于理解每个模型的关键优点(第2节)。特别地,基于对现有模型(以及可能的未来模型)进行清晰分类和总结的统一分类,我们提出了网络平滑度的一般目标函数,并将所有现有的模型重新组织成统一的范式,同时突出其独特的新颖贡献(第3节)。我们认为该范式将有助于指导未来新型HNE算法的发展,同时促进它们与现有算法的概念对比。

作为第二个贡献,我们通过详尽的数据收集、清理、分析和整理(第4节),特意准备了四个基准的异构网络数据集,具有规模、结构、属性/标签可用性等多种属性。这些不同的数据集,以及一系列不同的网络挖掘任务和评估指标,构成了未来HNE算法的系统而全面的基准资源。

作为第三个贡献,许多现有的HNE算法(包括一些非常流行的算法)要么没有一个灵活的实现(例如,硬编码的节点和边缘类型、固定的元路径集等),要么不能扩展到更大的网络(例如,在训练期间的高内存需求),这给新的研究增加了很多负担(例如,,在正确的重新实现中需要大量的工程工作)。为此,我们选择了10种流行的HNE算法,在这些算法中,我们仔细地重构和扩展了原始作者的实现,并为我们准备好的数据集的插件输入应用了额外的接口(第5节)。基于这些易于使用和有效的实现,我们对算法进行了全面的经验评估,并报告了它们的基准性能。实证结果在提供了与第3节的概念分析相一致的不同模型的优点的同时,也为我们的基准平台的使用提供了范例,以供今后对HNE的研究参考。

本文的其余部分组织如下。第2节首先介绍我们提出的通用HNE范式。随后,第3节对我们调查中的代表性模型进行了概念上的分类和分析。然后,我们在第4节中提供了我们准备好的基准数据集,并进行了深入的分析。在第5节中,我们对10种常用的HNE算法进行了系统而全面的实证研究,对HNE的发展现状进行了评价。第六部分是对未来HNE平台使用和研究的展望。

异构网络示例

算法分类

Proximity-Preserving Methods

如前所述,网络嵌入的一个基本目标是捕获网络拓扑信息。这可以通过在节点之间保留不同类型的邻近性来实现。在HNE中,有两类主要的接近性保护方法:基于随机步法的方法(灵感来自DeepWalk[49])和基于一阶/二阶接近性的方法(灵感来自LINE[72])。

Message-Passing Methods

网络中的每个节点都可以将属性信息表示为特征向量xu。消息传递方法的目标是通过聚合来自u邻居的信息来学习基于xu的节点嵌入eu。在最近的研究中,图神经网络(GNNs)[37]被广泛用于促进这种聚合/消息传递过程。

Relation-Learning方法

异类网络中的每条边都可以看作是一个三元组(u, l, v),由两个节点u, v∈v和一个边缘类型l∈TE(即。,实体和关系,用KG表示)。关系学习方法的目标是学习一个评分函数sl(u, v),该函数对任意三元组求值并输出一个标量来度量该三元组的可接受性。这种思想在KB嵌入中被广泛采用。由于已经有关于KB嵌入算法的调查[81],我们在这里只讨论最流行的方法,并强调它们与HNE的联系。

基准

未来方向

在这项工作中,我们对各种现有的HNE算法进行了全面的调研,并提供了基准数据集和基线实现,以方便今后在这方面的研究。尽管HNE已经在各种下游任务中表现出了强大的性能,但它仍处于起步阶段,面临着许多尚未解决的挑战。为了总结这项工作并启发未来的研究,我们现在简要地讨论一下当前HNE的局限性和几个可能值得研究的具体方向。

超越同质性。如式(1)所述,目前的HNE算法主要关注网络同质性作用。由于最近对同构网络的研究,研究位置和结构嵌入的组合,探索如何将这种设计原则和范式推广到HNE将是很有趣的。特别是在异构网络中,节点的相对位置和结构角色都可以在不同的元路径或元图下测量,这自然更具有信息性和多样性。然而,这样的考虑也带来了更困难的计算挑战。

超越准确性。大多数,如果不是全部,现有的研究主要集中在对不同的下游任务的准确性。进一步研究HNE的效率和可扩展性(用于大规模网络)、时间适应性(用于动态演化网络)、鲁棒性(用于对抗攻击)、可解释性、不确定性、公平性等将是非常有趣的。

超越节点嵌入。图级和子图级嵌入在同构网络上得到了广泛的研究,但在异构网络上却很少有研究。虽然诸如HIN2Vec[22]等现有的工作都在研究元路径的嵌入以改进节点的嵌入,但是图和子图级嵌入在异构网络环境中的直接应用仍然处于萌芽状态。

回顾KB嵌入。KB嵌入与其他HNE类型的区别主要在于节点和链接类型的数量不同。直接将KB嵌入到异构网络中不能考虑具有丰富语义的元路径,而将HNE直接应用到KB中由于元路径的数量呈指数增长而不现实。然而,研究这两组方法(以及两种类型的数据)之间的交集仍然很有趣。例如,我们如何将异构网络上的元路径和HNE在KB上嵌入转换的思想与更多的语义感知转换结合起来?我们如何设计基于截断随机游走的方法来包含高阶关系的知识库嵌入?

异构上下文建模。异构网络主要模拟不同类型的节点和链接。然而,现在的网络常常与丰富的内容相关联,这些内容提供了节点、链接和子网的上下文。因此,如何通过多模态内容和结构的集成来对多方面环境下的异构交互进行建模可能是一个具有挑战性但值得研究的领域。

理解局限性。虽然HNE(以及许多神经表示学习模型)已经在各个领域显示出了强大的性能,但值得了解其潜在的局限性。例如,与传统的网络挖掘方法(例如,路径计数、子图匹配、非神经或线性传播)相比,现代HNE算法何时能更好地工作?我们怎样才能把两个世界的优点结合起来呢?此外,虽然对同构网络数据的神经网络背后的数学机制(如平滑、低通滤波、不变和等变变换)进行了深入的研究,通过统一现有的HNE模型,本工作也旨在激发对HNE的能力和局限性的进一步理论研究。

成为VIP会员查看完整内容
0
31

改进您的编程技术和方法,成为一个更有生产力和创造性的Python程序员。本书探索了一些概念和特性,这些概念和特性不仅将改进您的代码,而且还将帮助您理解Python社区,并对Python哲学有深入的了解和详细的介绍。

专业的Python 3,第三版给你的工具写干净,创新的代码。它首先回顾了一些核心的Python原则,这些原则将在本书后面的各种概念和示例中进行说明。本书的前半部分探讨了函数、类、协议和字符串的各个方面,描述了一些技术,这些技术可能不是常见的知识,但它们共同构成了坚实的基础。后面的章节涉及文档、测试和应用程序分发。在此过程中,您将开发一个复杂的Python框架,该框架将整合在本书中所学到的思想。

这个版本的更新包括Python 3中迭代器的角色、用Scrapy和BeautifulSoup进行web抓取、使用请求调用没有字符串的web页面、用于分发和安装的新工具等等。在本书的最后,您将准备好部署不常见的特性,这些特性可以将您的Python技能提升到下一个级别。

你将学习

  • 用各种类型的Python函数实现程序
  • 使用类和面向对象编程
  • 使用标准库和第三方库中的字符串
  • 使用Python获取web站点数据
  • 通过编写测试套件来自动化单元测试
  • 回顾成像、随机数生成和NumPy科学扩展
  • 理解Python文档的精髓,以帮助您决定分发代码的最佳方式

这本书是给谁看的 熟悉Python的中级程序员,希望提升到高级水平。您应该至少编写了一个简单的Python应用程序,并且熟悉基本的面向对象方法、使用交互式解释器和编写控制结构。

成为VIP会员查看完整内容
0
44
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习 (Reinforcement learning) 是受到行为心理学启发,机器学习中研究个体 (agent) 如何在环境中采取行动以最大化奖赏 (reward) 的领域。

这一问题由于其普遍性,在许多领域中都有研究,例如博弈论,控制论,运筹学,信息论等等。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,[1]对于大型图像处理有出色表现。
命名实体识别
命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
新闻
新闻,是指报纸、电台、电视台、互联网等媒体经常使用的记录与传播信息的 [2] 一种文体,是反映时代的一种文体。新闻概念有广义与狭义之分。广义上:除了发表于报刊、广播、互联网、电视上的评论与专文外的常用文本都属于新闻,包括消息、通讯、特写、速写(有的将速写纳入特写之列)等等; [3] 狭义上:消息是用概括的叙述方式,以较简明扼要的文字,迅速及时地报道附近新近发生的、有价值的事实,使一定人群了解。新闻一般包括标题、导语、主体、背景和结语五部分。前三者是主要部分,后二者是辅助部分。写法以叙述为主兼或有议论、描写、评论等。新闻是包含海量资讯的新闻服务平台,真实反映每时每刻的重要事件。您可以搜索新闻事件、热点话题、人物动态、产品资讯等,快速了解它们的最新进展。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
Top