报告主题: From System 1 Deep Learning to System 2 Deep Learning

报告简介: 早期,深度学习的进展主要集中在对静态数据集的学习上,主要用于各类感知任务,这些任务大都依靠人类的直觉,可以在无意识的情况下完成,可称为第一代系统需求。然而,最近几年,随着研究方向的转变和一些新工具的出现诸如soft-attention和深度强化学习领域的进展,它们为深度学习架构和训练框架的进一步发展,开启了新的大门,这种深度架构和训练框架有助于解决第二代系统需求(这种系统任务需要人类有意识的去完成),如在自然语言处理和其他应用当中的推理、规划、因果关系捕获和系统归纳等。从第一代系统的深度学习,扩展到第二代系统的任务之中,对于完成之前挖掘高层次抽象特征的目标是非常重要的,因为我们认为第二代系统需求,将会对表征学习提出更高的要求,以发掘出某种人类可以用语言进行巧妙处理的高级内容。我们认为,为了达到这个目标,soft-attention机制是关键因素,它每次都关注其中某几个概念并进行计算,因为意识先验及其相关的假设中,许多高层次的依赖关系可以被一个稀疏因子图近似地捕捉到。最后,报告介绍了元学习,这种先验意识和代理视角下的表征学习,会更加有助于以新颖的方式,支持强大的合成泛化形式。

嘉宾介绍: Yoshua Bengio是蒙特利尔大学计算机科学与运筹学系的教授,Mila和IVADO的科学总监和创始人,2018年图灵奖获得者,加拿大统计学习算法研究主席以及加拿大AI CIFAR主席。 他开创了深度学习的先河,并在2018年每天获得全球所有计算机科学家中最多的引用。 他是加拿大勋章的官员,加拿大皇家学会的成员,并于2017年被授予基拉姆奖,玛丽·维克多奖和年度无线电加拿大科学家,并且是NeurIPS顾问的成员。 ICLR会议的董事会和联合创始人,以及CIFAR“机器和大脑学习”计划的程序总监。 他的目标是帮助发现通过学习产生智力的原理,并促进AI的发展以造福所有人。

成为VIP会员查看完整内容
12+
0+
中文知识图谱(Chinese Knowledge Graph),最早起源于Google Knowledge Graph。知识图谱本质上是一种语义 网络。其结点代表实体(entity)或者概念(concept),边代表实体/概念之间的各种语义关系。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

课程名称: CS224W: Machine Learning with Graphs

课程简介:

网络是对复杂的社会、技术和生物系统建模的基本工具。结合在线社交网络的出现和生物科学中大规模数据的可用性,本课程重点分析提供了几个计算、算法和建模挑战的大规模网络。学生将学习机器学习技术和数据挖掘工具,通过研究其潜在的网络结构和相互联系,揭示对社会、技术和自然世界的洞察。

在本课程中,我们将介绍图机器学习技术,包括以下主题:

  • 食品网络和金融市场的稳固性和脆弱性;
  • 万维网的算法;
  • 图神经网络与表示学习
  • 生物网络功能模块的识别
  • 疾病暴发检测。

课程部分大纲:

  • 介绍:图结构
  • 网络的性质和随机图模型
    • 复习课:Snap.py和谷歌云教程
  • 网络中的主题和结构角色
  • 网络中的社区结构
    • 复习线性代数,概率论和证明技术
  • 谱聚类
  • 消息传递和节点分类
  • 图表示学习
  • 图神经网络
  • 图神经网络:动手练习
  • 图的深层生成模型
  • 链接分析:网页排名
  • 网络效应和级联行为
  • 概率传染和影响模型

讲师介绍:

Jurij Leskovec是斯坦福大学计算机科学副教授,研究侧重于分析和建模大型社区和信息网络,作为跨社区、技术和自然世界现象的研究。他侧重于网络结构的统计建模、网络演化、信息传播、网络影响和病毒。他所研究的问题是由大规模数据、网络和其他在线媒体引发的,同样从事文本挖掘和机器学习的应用。个人官网:https://cs.stanford.edu/~jure/

下载索引:链接:https://pan.baidu.com/s/1yvK49SCfmqIXkHMgNqRYYA;提取码:4rea

成为VIP会员查看完整内容
31+
0+

12月2日,国家工业信息安全发展研究中心发布了《人工智能中国专利技术分析报告》。在科学分类和深入研究的基础上,对人工智能下深度学习技术、语音识别、计算机视觉、云计算、自然语言处理、智能驾 驶、智能机器人这七个分支在中国的专利态势进行深度分析。该报告主题明确、内容翔实、数据严谨,前瞻探索颇具深度。

新一轮科技革命和产业变革正在萌发,在移动互联网、大数据、 超级计算、传感网、脑科学等新理论新技术的驱动下,人工智能发展 进入新阶段,智能化成为技术和产业发展的重要方向。作为引领新一 轮科技革命和产业变革的战略性技术,人工智能具有溢出带动性很强 的“头雁”效应。世界发达国家均将人工智能上升为国家战略,纷纷 出台相关计划,力图在新一轮国际科技竞争中抢占产业技术制高点。近二十年来,全球各大企业、大学、研究机构等纷纷加快人工智能技 术研发脚步,全球人工智能专利申请量成快速上升趋势,IBM、微软、 三星等国外企业均积极在人工智能领域进行专利布局。

中国高度重视人工智能产业的发展。2017 年国务院发布《新一 代人工智能发展规划》,对人工智能产业进行战略部署;在 2018 年 3 月和 2019 年 3 月的政府工作报告中,均强调指出要加快新兴产业发 展,推动人工智能等研发应用,培育新一代信息技术等新兴产业集群 壮大数字经济。截至 2019 年 10 月,中国人工智能专利申请量累计 44 万余件,超越美国成为 AI 领域专利申请量最高的国家。国家电网、 百度、中国科学院、腾讯、清华大学等国内主要专利权人正不断形成 人工智能技术积累,提升在全球人工智能专利布局中的竞争实力。

成为VIP会员查看完整内容
人工智能中国专利技术分析报告.pdf
24+
0+

讲座题目

从海量文本中构建和挖掘异构信息网络:Constructing and Mining Heterogeneous Information Networks from Massive Text

讲座简介

真实世界的数据主要以非结构化文本的形式存在。数据挖掘研究的一个重大挑战是开发有效且可伸缩的方法,将非结构化文本转换为结构化知识。根据我们的设想,将这些文本转换成结构化的异构信息网络是非常有益的,在这种网络上,可以根据用户的需要生成可操作的知识。在本教程中,我们将全面概述最近在这方面的研究和发展。首先,我们介绍了一系列有效的方法,从海量的、特定于领域的文本语料库中构建异构信息网络。然后讨论了基于用户需求挖掘文本丰富网络的方法。具体来说,我们关注的是可伸缩的、有效的、弱监督的、与语言无关的方法,这些方法可以处理各种文本。在真实的数据集(包括新闻文章、科学出版物和产品评论)上,我们进一步展示了如何构建信息网络,以及如何帮助进一步的探索性分析。

讲座嘉宾

Jingbo Shang(尚景波),伊利诺伊大学香槟分校计算机科学系博士生。他的研究重点是用最少的人力从大量文本语料库中挖掘和构建结构化知识。他的研究获得了多项著名奖项的认可,包括Yelp数据集挑战大奖(2015)、谷歌结构化数据和数据库管理博士研究金(2017-2019)。尚先生在大型会议(SIGMOD'17、WWW'17、sigmdd'17和sigmdd'18)上提供教程方面有丰富的经验。

成为VIP会员查看完整内容
1+
0+

讲座题目

视觉方法强化的可解释知识发现:nterpretable knowledge Discovery Reinforced by Visual Methods

讲座简介

本教程将涵盖知识发现领域的最新研究、开发和应用,通过可视化方法增强知识发现的可解释性,以刺激和促进未来的工作。它将服务于从数据中获取洞察力的KDD任务。这个主题是跨学科的桥梁科学研究和应用社区在知识发现,视觉分析,信息可视化,和人机交互。这是一个新的快速发展的领域,具有重要的应用和潜力。

讲座嘉宾

Boris Kovalerchuk博士是美国中央华盛顿大学(Central Washington University)计算机科学教授,他的著作包括三本书“金融数据挖掘”(Springer,2000)、“视觉与空间分析”(Springer,2005)和“视觉知识发现与机器学习”(Springer,2018),数据挖掘手册和170多份其他出版物中的一章。他的研究方向是数据挖掘、机器学习、视觉分析、不确定性建模、数据融合、概率论与模糊逻辑的关系、图像与信号处理。科瓦勒丘克博士是美国政府机构支持的这些领域研究项目的首席研究员。他曾在美国空军研究实验室担任高级访问科学家,并在美国政府机构组织的国际会议和小组中担任专家小组成员。

成为VIP会员查看完整内容
0+
0+

讲座题目

社会用户兴趣挖掘:方法与应用:Social User Interest Mining: Methods and Applications

讲座简介

社交网络上丰富的用户生成内容提供了建立模型的机会,这些模型能够准确有效地提取、挖掘和预测用户的兴趣,希望能够实现更有效的用户参与、更好质量地提供适当的服务和更高的用户满意度。虽然传统的建立用户档案的方法依赖于基于人工智能的偏好获取技术,这些技术可能被用户认为是侵入性的和不受欢迎的,但最近的进展集中在确定用户兴趣和偏好的非侵入性但准确的方法上。在本教程中,我们将介绍与有效挖掘用户兴趣相关的五个重要方面: 1)用于提取用户兴趣的信息源 2)文献中提出的各类用户兴趣简介 3)为挖掘用户利益而采用或提议的技术 4)最新方法的可扩展性和资源需求 5)文献中采用的评估方法,用于验证挖掘的用户兴趣概要的适当性。我们还将介绍现有的挑战、开放的研究问题和激动人心的工作机会。

讲座嘉宾

Fattane Zarrinkalam博士是Ryerson大学系统、软件和语义实验室(LS3)的博士后研究员,她在那里从事与支持语义的社交网络分析相关的项目。在博士研究期间,她专注于根据社交网络(尤其是Twitter)上的个人和集体行为来识别社交媒体用户的兴趣。她在CIKM、ESWC和ECIR等场馆发表了自己的作品。此外,她还在包括信息检索、信息处理和管理在内的顶级期刊上发表期刊论文。此外,在她攻读博士学位期间,她参与了两项向美国专利局提出的专利申请。

成为VIP会员查看完整内容
0+
0+

课程简介: 本课程将向学生介绍NLP的基础知识,涵盖处理自然语言的标准框架以及解决各种NLP问题的算法和技术,包括最新的深度学习方法。 涵盖的主题包括语言建模,表示学习,文本分类,序列标记,语法解析,机器翻译,问题解答等。

课程安排:

  • 概述与简介
  • 语言模型
  • 文本分类
  • 线性模型
  • 词嵌入
  • 神经网络基础
  • 序列模型
  • EM模型
  • RNN神经语言模型
  • 解析介绍
  • 机器翻译
  • 神经机器翻译
  • 文本词嵌入
  • 问答系统
  • 对话系统
  • 嘉宾讲座

嘉宾介绍:

陈丹琦,普林斯顿大学计算机科学的助理教授,在此之前,是西雅图Facebook AI Research(FAIR)的访问科学家。 斯坦福大学计算机科学系获得博士学位,并在斯坦福NLP集团工作。研究方向:自然语言处理,文本理解、知识解释。

Karthik Narasimhan,普林斯顿大学计算机科学系助理教授,研究跨越自然语言处理和强化学习。

成为VIP会员查看完整内容
3+
0+

题目: Uniform convergence may be unable to explain generalization in deep learning

摘要: 为了解释过参数化深度网络的泛化行为,最近的工作发展了各种各样的深度学习泛化界,所有这些都基于一致收敛的基本学习理论技术。虽然众所周知,许多现有的边界是数值大的,通过大量的实验,我们揭示了这些边界的一个更关注的方面:在实践中,这些界限可以{EM EM增加与训练数据集的大小。在我们的观察结果的指导下,我们给出了超参数线性分类器和梯度下降(GD)训练的神经网络的例子,其中一致收敛证明不能解释泛化“”——即使我们尽可能充分考虑GD{尽可能的\em}的隐式偏差。更准确地说,即使我们只考虑GD输出的一组分类器,它们的测试误差在我们的设置中小于一些小的值,我们也表明,对这组分类器应用(双边)一致收敛只会产生大于的空泛化保证。通过这些发现,我们对基于一致收敛的泛化界的能力提出了质疑,以提供一个完整的图片说明为什么过度参数化的深层网络泛化良好。

作者简介: Vaishnavh Nagarajan,卡内基梅隆大学(CMU)计算机科学系五年级的博士生。他的兴趣在于机器学习和人工智能的算法和基础方面。目前,他正在研究如何在有监督和无监督的学习环境中从理论上理解深度学习中的泛化。在过去,他从事过更传统的学习理论、多智能体系统和强化学习。个人主页:http://www.cs.cmu.edu/~vaishnan/home/index.html

J. Zico Kolter,卡内基梅隆大学计算机科学系助理教授,研究集中在可持续性和能源领域的计算方法上,集中在这些领域机器学习、优化和控制中出现的核心挑战上。个人主页:https://www.csd.cs.cmu.edu/people/faculty/zico-kolter

成为VIP会员查看完整内容
1+
0+
Top