第一章 判别式神经网络 Discriminative Neural Networks

自2012年以来,深度神经网络已经彻底改变了机器学习。尽管这项技术相对较老,但近年来在文字、声音、图像和视频识别方面取得了令人瞩目的进步。考虑到这些方法的利害关系,在数学和算法之间的衔接问题就出现了。在本文中,我将解释这些网络的结构以及它们的监督学习的关键概念。

1.1 算法和数学学习 Algorithmics and mathematics of learning 1.2 判别式神经网络 Discriminative neural networks 1.3 神经网络监督学习 Supervised learning of a neural network 1.4 神经网络效率 The efficiency of neural networks

第二章 生成式神经网络 Generative Neural Networks

在前一篇文章中,我们了解了如何以监督的方式训练神经网络。这使得有效地解决分类问题成为可能,例如图像识别。也许更令人惊讶的是,这些神经网络也以一种无人监督的方式被用来自动生成“虚拟”文本或图像,这通常被称为“深度伪造”。在第二篇文章中,我将把生成神经网络的学习和最优运输理论联系起来。这个问题在18世纪由加斯帕德·蒙格提出,然后在20世纪中叶由列昂尼德·坎托罗维奇重新阐述。现在,它已经成为解决数据科学中重要问题的首选工具。

2.1 Generative neural networks 2.2 Unsupervised learning of generative networks 2.3 Monge’s optimal transport 2.4 The optimal transport of Kantorovitch 2.5 Adversarial networks

成为VIP会员查看完整内容
0
43

相关内容

人工神经网络(Artificial Neural Network,即ANN),它从信息处理角度对人脑神经元网络进行抽象,建立某种简单模型,按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激励函数(activation function)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重,这相当于人工神经网络的记忆。网络的输出则依网络的连接方式,权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近,也可能是对一种逻辑策略的表达。

主题: The Illustrated FixMatch for Semi-Supervised Learning

摘要: 在计算机视觉领域,深度学习已经显示出非常有希望的结果。但在医学成像等实际应用领域中,缺乏标记数据是一个重大挑战。在实际环境中,标记数据是一个耗时且昂贵的过程。尽管,您有很多图像,但由于资源限制,只能标记其中的一小部分。在这种情况下,我们如何利用剩余的未标记图像和标记图像来提高模型的性能?答案是半监督学习。FixMatch是Sohn等人最近提出的一种半监督方法。来自Google Brain,它改进了半监督学习(SSL)的最新技术。它是以前方法(如UDA和ReMixMatch)的简单组合。在这篇文章中,我们将了解FixMatch的概念,并看到它在CIFAR-10上仅用10幅图像就获得了78%的准确率。

成为VIP会员查看完整内容
0
9

书名: Hands-On Machine Learning with Scikit-Learn and TensorFlow

主要内容:

这本书分为两个部分。

第一部分,机器学习的基础知识,涵盖以下主题:

  • 什么是机器学习?它被试图用来解决什么问题?机器学习系统的主要类别和基本概念是什么?
  • 典型的机器学习项目中的主要步骤。
  • 通过拟合数据来学习模型。
  • 优化成本函数(cost function)。
  • 零、前言
  • 处理,清洗和准备数据。
  • 选择和设计特征。
  • 使用交叉验证选择一个模型并调整超参数。
  • 机器学习的主要挑战,特别是欠拟合和过拟合(偏差和方差权衡)。
  • 对训练数据进行降维以对抗 the curse of dimensionality(维度诅咒)
  • 最常见的学习算法:线性和多项式回归, Logistic 回归,k-最近邻,支持向量机,决策 树,随机森林和集成方法。

第二部分,神经网络和深度学习,包括以下主题:

  • 什么是神经网络?它们有啥优势?
  • 使用 TensorFlow 构建和训练神经网络。
  • 最重要的神经网络架构:前馈神经网络,卷积网络,递归网络,长期短期记忆网络 (LSTM)和自动编码器。
  • 训练深度神经网络的技巧。
  • 对于大数据集缩放神经网络。
  • 强化学习。

第一部分主要基于 scikit-learn ,而第二部分则使用 TensorFlow 。 注意:不要太急于深入学习到核心知识:深度学习无疑是机器学习中最令人兴奋的领域之 一,但是你应该首先掌握基础知识。而且,大多数问题可以用较简单的技术很好地解决(而 不需要深度学习),比如随机森林和集成方法(我们会在第一部分进行讨论)。如果你拥有 足够的数据,计算能力和耐心,深度学习是最适合复杂的问题的,如图像识别,语音识别或 自然语言处理。

成为VIP会员查看完整内容
Hands on Machine Learning with Scikit Learn and TensorFlow - 中文版.pdf
0
26

【导读】生成式对抗网络(Generative Adversarial Networks,GANs)作为近年来的研究热点之一,受到了广泛关注,每年在机器学习、计算机视觉、自然语言处理、语音识别等上大量相关论文发表。密歇根大学Jie Gui博士等人近期发布了《A Review on Generative Adversarial Networks: Algorithms, Theory, and Applications》,包括28页pdf,这篇综述论文对460余篇论文进行了尝试从算法,理论和应用的角度对各种GANs方法进行叙述。

【摘要】生成对抗网络(GANs)是最近的热门研究主题。自2014年以来,人们对GAN进行了广泛的研究,并且提出了许多算法。但是,很少有全面的研究来解释不同GANs变体之间的联系以及它们是如何演变的。在本文中,我们尝试从算法,理论和应用的角度对各种GANs方法进行叙述。首先,详细介绍了大多数GANs算法的动机,数学表示形式和结构。此外,GANs已与其他机器学习算法结合用于特定应用,例如半监督学习,迁移学习和强化学习。本文比较了这些GANs方法的共性和差异。其次,研究了与GANs相关的理论问题。第三,说明了GANs在图像处理和计算机视觉,自然语言处理,音乐,语音和音频,医学领域以及数据科学中的典型应用。最后,指出了GANs未来的开放性研究问题。

1. 概述

对抗生成网络已经成为了一个研究热点。深度学习领域的传奇人物Yann LeCun 在Quora上发帖称:“GANs是过去10年机器学习领域最有趣的想法。”从谷歌学术上可以发现,有大量和GANs相关的论文。例如,2018年大约有11800篇关于GANs的论文。也就是说,2018年,每天大约有32篇论文,每小时有超过一篇论文与GANs有关。GANs有两部分组成:生成器和判别器。这两个模型都由神经网络实现,该系统可以将数据从一个空间映射到另一个空间。生成器尝试捕获真实数据的分布,以生成新的数据。鉴别器通常是一个二进制分类器,要求尽可能准确地从真实的例子中鉴别出生成的例子。GANs的优化是一个最大最小优化问题。优化终止于一个鞍点,该鞍点相对于生成器是最小值,相对于鉴别器是最大值。也就是说,当优化达到Nash equilibrium的目标时,这时可以认为生成器捕获了真实数据的真实分布。本文和先前的关于GANS的综述之间的区别主要有以下几点: 1)GANs的具体应用:将GANs用于诸如图像合成和编辑,音频增强和合成等具体领域。 2)关于GANs的综合评述:最早关于GANs的相关综述是Wang et al.整理的,该论文主要介绍了2017年以前GANs 的发展进程。Z.Wang所作的“Generative adversarial networks: A survey and taxonomy”主要介绍了GANs在计算机视觉领域中的各种变体以及变体的损失函数。

到目前为止,本文是第一个从算法,理论和应用的角度为GANs提供一个全面的综述,并且介绍了GANs的最新的进展。再者,我们不仅关注GANs在图像处理和计算机视觉上的应用,而且关注了GANs在诸如自然语言处理和其他如医疗领域等相关领域中的序列数据上的应用。

2.章节内容

  • 章节1:论文摘要和介绍
  • 章节2:介绍相关工作
  • 章节3-5:分别从算法,理论和应用的角度介绍GCNs
  • 章节6:对开放性问题进行探讨
  • 章节7:总结

3. 各种相关的GANs算法

在章节3中,我们首先介绍原始的GANs。然后介绍各种具有代表性的变体和GANs的训练,评估方式以及任务驱动的GANs(如下图所示)。

GAN代表性算法

4. GANs的具体应用

GANs是一个强有力的生成式模型,该模型可以用一个随机向量生成看起来完全和真实样例一样的数据。训练过程中我们既不需要明确的知道真实数据的分布也不需要任何数学假设。基于GANs的显著优势,GANs被广泛应用于图像处理,计算机视觉和序列数据上(具体见下表)。

5. GANs的开放研究问题

  • 离散数据GAN GANs for discrete data
  • New Divergences
  • 不确定性估计 Estimation uncertainty
  • 理论 Theory
  • 其他
成为VIP会员查看完整内容
0
44
Top