自然语言处理( Natural Language Processing, NLP )

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

元学习是近几年来AI最热的研究方向之一,它可以学习如何去学习,因此可以被应用于小样本学习等场景。Uber AI(优步人工智能)的高级研究经理Jeff Clune在NeurIPS 2019上做了关于元学习的教程。

深度学习很好地解决了传统AI中特征工程的问题,用深度网络自动提取特征取代了大量繁琐的人工特征设计,使得我们可以基于标注数据有监督地训练出高性能的AI模型。然而,由于许多深度学习模型的训练需要依赖在目标任务上的大量人工标注,这些模型并不能很好地适应小样本、多任务等场景。

元学习(Meta-Learning)方法学习如何去学习(Learning to Learn)。例如,通过Learning to Learn,一些元学习模型可以基于少量的样本和较少的学习步骤学习可用的模型,并且,这些元学习模型具有泛化性,可在不同的任务上进行元学习。

在NeurIPS 2019上,Uber AI(优步人工智能)的高级研究经理Jeff Clune做了关于元学习的92页教程《How Meta-Learning Could Help Us Accomplish Our Grandest AI Ambitions, and Early, Exotic Steps in that Direction》,总结了目前元学习的一些发展情况。

教程内容大致如下:

  • 人工是否是强大AI最快的方法?
  • AI生成算法
    • 元学习
    • 三个支柱
      • 元学习架构
      • 元学习算法
      • 生成环境
  • 外来元学习算法
    • 生成式教学网络
    • 可微赫布可塑性
    • 可微神经模块赫布可塑性
    • ANMML
    • POET
成为VIP会员查看完整内容
15+
0+

由斯坦福大学发起的人工智能指数(AI Index)是一个追踪 AI 动态和进展的非营利性项目,旨在全面研究 AI 行业状况,目标是促进基于数据的 AI 的广泛交流和有效对话。刚刚,斯坦福发布了《2019人工智能指数报告》,报告指出尽管人工智能世界正在蓬勃发展,但 AI 本身仍在某些重要方面被卡着脖子。AI Index 报告在“绩效里程碑”时间表上写到:人工智能已经达到、或者超越了人类的专业知识水平,但这仅限特定领域,AI 在通用智能方面仍存在着难以逾越的鸿沟。

  • 首先:从 1998 到 2018 年,AI 相关的同行评审论文的发表数量增长了 300% 。出席会议的人数也显著增长,NeurIPS 2019 预计为 1.35 万人,较 2012 年增长 800% 。

    • 人工智能教育同样受到了追捧,有关机器学习的大学和线上课程,参与者人数也持续增加。目前看来,AI 算是北美计算机科学专业毕业生中最受欢迎的专业。
    • 超过 21% 的计算机科学博士选择了专门从 AI 研究行业,是排名第二的学科(安全 / 信息保障)的两倍多。
  • 大多数指标上,美国仍然是全球 AI 领域的领导者。尽管中国发表的 AI 相关论文数量超过了任何其它地区,但美国发表论文的影响力更大,较全球平均水平高出 50% 。

    • 中美两国私有资金对 AI 领域的投入都很大(数十上百亿美元计),AI 专利的申请数量也超过其它竞争对手(是排名第二的日本地区的三倍)。同时,AI 算法正在变得越来越快,训练的成本也越来越便宜。
    • 在流行数据集(ImageNet)的训练上,机器视觉算法所需的时间,已从 2017 年 10 月的大约 3 个小时、减少到 2019 年 7 月的 88 秒,成本也从数千美元下降到两位数。
  • 自动驾驶汽车行业获得了更多的私人投资(全球略低于 10%,约 77 亿美元),其次是医学研究和面部识别(两者都吸引了 47 亿美元)。

    • 增长最速的工业 AI 领域,相对也不那么浮华。2018 年的时候,机器人流程自动化拿到了 10 亿美元投资,供应链管理方面亦超过 5 亿美元。​
    • 在给人留下深刻印象的同时,还需注意一个重大的问题 —— 无论 AI 提升的幅度有多大,都距离媒体大肆渲染的目标相去甚远。
  • 换言之,尽管人工智能世界正在蓬勃发展,但 AI 本身仍在某些重要方面被卡着脖子。AI Index 报告在“绩效里程碑”时间表上写到:

    • 人工智能已经达到、或者超越了人类的专业知识水平,但这仅限特定领域,AI 在通用智能方面仍存在着难以逾越的鸿沟。
    • 回顾 1990 年代,当时计算机在跳棋和国际象棋上打败了人类选手,引发了人们对于 AI 未来的无限遐想。
成为VIP会员查看完整内容
ai_index_2019_report.pdf
22+
0+

中国电子工业标准化技术协会(以下简称"中电标协"),是全国电子信息产业标准化组织和标准化工作者自愿组成的社会团体。我国的电子信息行业的相关标准大多由该单位裁定。去年11月,该单位发布了《信息技术 人工智能 面向机器学习的数据 标注规程》征求意见稿,约束了信息技术产业下,人工智能分支里面向机器学习的数据的具体标注规程。

成为VIP会员查看完整内容
信息技术 人工智能 面向机器学习的数据标注规程.pdf
4+
0+

主题: Ceres: Harvesting Knowledge from Semi-Structured web pages

摘要: 在本次主题演讲中,Xin Luna Dong讲述了知识图谱的类型,讲述了为什么需要半结构网页,以及如何从半结构化网页获取知识。

嘉宾介绍: Xin Luna Dong,自2016年7月起担任亚马逊首席科学家,领导亚马逊产品知识图的构建工作,管理科学家团队开展知识管理、数据清洗与集成、信息提取、图形挖掘与嵌入、基于知识的搜索与推荐等方面的研究。

成为VIP会员查看完整内容
1+
0+

摘要: 随着机器学习技术在生产、生活等各个领域的广泛应用,机器学习算法本身的安全问题也引起越来越多的 关注。基于对抗样本的攻击方法是机器学习算法普遍面临的安全挑战之一。以机器学习的安全性问题为出发点,介 绍了当前机器学习面临的隐私攻击、完整性攻击等安全问题,归纳了目前常见对抗样本生成方法的发展过程及各自 的特点,总结了目前已有的针对对抗样本攻击的防御技术,最后对提高机器学习算法鲁棒性的方法做了进一步的展 望。

作者介绍:

朱清新:1982年1月四川师范大学数学系本科毕业获学士学位。1984年7月北京理工大学应用数学专业毕业获硕士学位。1984年8月起任西南技术物理研究所工程师、副研究员,作为技术骨干参加了国防科工委7712工程项目并获科研成果三等奖。1993年5月渥太华大学应用数学和电子工程系控制论专业毕业获博士学位。1993年5月至1996年3月在渥太华大学电子工程系和加拿大卡尔顿大学计算机学院从事博士后研究并获计算机第二硕士学位。1996年3月至1997年11月任加拿大Nortel公司和OmniMark高级研究员。1998年3月应聘回国到电子科技大学计算机学院工作,1999年6月聘为教授、2001年6月聘为博士生导师。2002年9月至2003年3月赴加拿大蒙特利尔Concordia大学计算机系任高级访问学者。现任电子科技大学计算机学院学术委员会主任,计算运筹学研究室主任。主要研究领域包括:生物信息学、信息检索、计算运筹学与最优化。

张小松: 长江学者特聘教授,国家重点研发计划网络空间安全专项首席科学家, 2017年网络安全优秀人才奖获得者。长期致力于软件安全、网络安全和数据安全领域的研究,成果在应用中取得重要的社会和经济效益,近年来多次获国家和省部级成果奖励,发表包括CCF A类期刊IT、TSE、TIFS在内的学术论文六十余篇,出版了《网络安全协议》、《恶意软件分析与检测》、《软件测试》等专著、教材和译著5部,获授权国际、国内发明专利22项,公开50多项,获软件著作权登记10项。

成为VIP会员查看完整内容
0+
0+

随着知识图谱(KG)的兴起,基于知识库的问答(KBQA)近年来受到越来越多的关注。尽管在这个问题上已经做了很多研究,但是在工业界应用KBQA技术仍然具有挑战性,因为业务知识和现实世界的问题可能相当复杂。在这篇论文中,我们提出了AliMe-KBQA,一个将KBQA应用于电子商务客户服务领域的大胆尝试。为了处理真实的知识和问题,我们扩展了经典的“主语-谓词-对象(SPO)”结构的属性层次、键-值结构和复合值类型(CVT),并利用约束识别和推理能力增强了传统的KBQA。我们在2018年“双十一”期间为商家推出营销推广场景中的AliMe-KBQA,以及之后的其他此类推广活动。在线结果表明,AliMe-KBQA不仅能够获得更好的解决方案,提高客户满意度,而且由于提供了更方便、高效的管理体验,成为业务知识型员工首选的知识管理方法。

成为VIP会员查看完整内容
1+
0+

阿里小蜜是阿里巴巴服务领域的重要人工智能产品,是服务于阿里巴巴经济体、商家、企业和政府的对话机器人家族,包括阿里小蜜、店小蜜、云小蜜。小蜜机器人是基于大数据和人工智能技术形成的智能化、体系化客服系统,可以辅助企业智能决策、节约服务成本、提高服务效率、提升用户体验。作为阿里小蜜的基石,知识是小蜜体系中不可或缺的组成部分。小蜜的知识不仅仅包括常见的 FAQ,还包括词组、知识图谱、机器阅读文档等丰富的结构形态。本文主要分享阿里小蜜体系中知识的结构化以及在实际场景中的应用。

本文的主要内容包括以下几点:

  • 阿里小蜜的简介
  • 知识的结构化
  • 基于结构化知识的应用:KBQA 和 EBQA
  • 展望和挑战
成为VIP会员查看完整内容
2+
0+

题目: Brain-Like Object Recognition with High-Performing Shallow Recurrent ANNs

简介: 尽管最初受到大脑解剖学的启发,但在过去的几年中,这些人工神经网络已经从AlexNet中的简单的八层体系结构演变为更加复杂的体系结构,由于机器学习的典型深层模型的层数众多且缺少生物学上重要的连接,因此通常难以映射到大脑的解剖结构。在这里,我们证明,与大脑更好的解剖结构对齐以及在机器学习以及神经科学措施方面的高性能不一定是矛盾的。我们开发了CORnet-S,这是一种浅神经网络,具有四个解剖学映射的区域和经常性连接,并在Brain-Score(一种新的大规模的神经和行为基准测试组合)的指导下进行了开发,用于量化灵长类动物腹侧视觉流模型的功能保真度。尽管比大多数模型要浅得多,但CORnet-S是Brain-Score上的顶级模型,其性能优于ImageNet上类似模型。此外,我们对CORnet-S电路变体的广泛分析表明,是Brain-Score和ImageNet top-1性能的主要预测因素。最后,我们报告了CORnet-S“ IT”的时间演变 神经种群类似于实际的猴子IT种群动态。综上所述,这些结果使CORnet-S(一种紧凑的循环神经网络)成为灵长类动物腹侧视觉流的当前最佳模型。

成为VIP会员查看完整内容
0+
0+

推荐@日月光华老师 2019年最新Tensorflow2.0版本系统教程,讲解深度学习的各种概念、操作和使用方法,针对Tensorflow 2.0的基础知识,在传统数据分析中应用、CNN和RNN都进行详细讲解,并给出了丰富的深度学习模型实战。目前最好最系统的 Tensorflow 2.0 教程,没有之一[doge]

0+
0+

#全球新兴科技峰会# 【EmTech 圆桌会议】如何正确看待年度热门话题5G?今天上午,EmTech 现场《麻省理工科技评论》中国副出版人 陈序,京东集团副总裁、京东人工智能事业部总裁周伯文,毕尔肯大学教授、5G极化码之父、香农奖得主Erdal Arikan对此进行了解读。

Erdal Arikan认为5G技术还处于最开始的阶...全文

0+
0+

摘要:视觉惯性 SLAM 指的是将视觉传感器获得的图像信息与惯性传感器测得的数据进行鲁棒融合,完成同时定位与建图的过程。视觉惯性 SLAM 作为视觉 SLAM 进行多传感器融合的一个重要突破口,成为当下的机器人视觉 研究热点和核心技术。对视觉 SLAM、惯性导航和视觉惯性 SLAM 进行了介绍,详细介绍了视觉 SLAM 的框架结构和细分部分,罗列了近年来出色的视觉 SLAM 模型。最后在视觉惯性里程计的(visual inertial odometry,VIO) 基础上,对现有的不同派别的开源视觉惯性 SLAM 进行深入分析与比较,探讨视觉惯性 SLAM 的发展趋势与动向。

作者介绍

田红丽,女,博士研究生,河北工业大学人工智能与数据科学学院计算机科学与技术系副教授。研究方向:嵌入式、FPGA、大数据处理。

成为VIP会员查看完整内容
0+
0+
登录查看的更多。 返回顶部
本周荟萃主题
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习 (Reinforcement learning) 是受到行为心理学启发,机器学习中研究个体 (agent) 如何在环境中采取行动以最大化奖赏 (reward) 的领域。

这一问题由于其普遍性,在许多领域中都有研究,例如博弈论,控制论,运筹学,信息论等等。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,[1]对于大型图像处理有出色表现。
命名实体识别
命名实体识别(Named Entity Recognition,简称NER),又称作“专名识别”,是指识别文本中具有特定意义的实体,主要包括人名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
图灵奖
图灵奖(A.M. Turing Award,又译“杜林奖”),由 美国计算机协会(ACM)于1966年设立,又叫“A.M. 图灵奖”,专门奖励那些对计算机事业作出重要贡献的个人。其名称取自计算机科学的先驱、英国科学家 阿兰·麦席森·图灵
图像识别
从图像中提取出有意义、有实用价值的信息。
Top