Attention模型目前已经成为神经网络中的一个重要概念,注意力模型(AM)自机器翻译任务【Bahdanau et al 2014】首次引入进来,现在已经成为主流的神经网络概念。这一模型在研究社区中非常受欢迎,适用领域非常广泛,包括自然语言处理、统计学习、语音和计算机视觉方面的应用。本篇综述提供了关于注意力模型的全面概述,并且提供了一种将现有注意力模型进行有效分类的分类法,调查了用于不同网络结构的注意力模型,并显示了注意力机制如何提高模型的可解释性,最后,讨论了一些受到注意力模型较大影响的应用问题。

An Attentive Survey of Attention Models.pdf
1+
0+

近年来,零样本学习(ZSL,zero-shot learning)已经在大量的任务中受到了广泛的关注。大多数机器学习方法,均侧重于那些训练集中广泛存在的样本进行分类。但现实场景中,许多的任务需要对从未见过的样本进行分类。零样本学习是一种非常强大的学习范式,本篇综述,首先,概述了零样本学习,根据学习过程中使用到的数据模型,我们将其划分为三种学习类型;第二,描述了零样本学习过程中所采用的不同语义空间;第三,对现有零样本学习方法进行了分类,并在每个类别下介绍了具有代表性的方法;第四,讨论了零样本学习的不同应用方向;最后,我们介绍了零样本学习的未来研究方向。

A Survey of Zero-Shot Learning.pdf
8+
0+

文章由斯坦福大学与Google研究组合作撰写,主要介绍了深度学习领域中各类方法在医疗领域中的应用前景,文章分别从计算机视觉、自然语言处理、强化学习、广义深度学习方法四个方面进行了阐述。

A guide to deep learning in healthcare.pdf
4+
0+

深度学习(DL)在我们的生活中扮演着越来越重要的角色。它已经在癌症诊断、精准医疗、自动驾驶汽车、预测预测和语音识别等领域产生了巨大的影响。在传统的学习、分类和模式识别系统中使用的人工制作的特征提取器对于大型数据集是不可扩展的。在许多情况下,根据问题的复杂性,DL还可以克服早期浅层网络的限制,这些限制阻碍了有效的训练和多维培训数据分层表示的抽象。深度神经网络(DNN)使用多个(深度)单元层,具有高度优化的算法和体系结构。来自美国AJAY SHRESTHA等学者撰写了深度学习算法与架构回顾综述论文,包括深度学习算法类型与训练方法,深入研究了最近深度网络中使用的训练算法背后的数学原理。本文还介绍了深度卷积网络、深度残差网络、递归神经网络、增强学习、变分自编码器等不同类型的深度结构。

2+
0+

【读不懂古文字?深度学习来帮助】#AI# #人工智能# #深度学习#

最近,牛津大学的研究人员(Thea Sommerschield和乔纳森·普拉格教授)和DeepMind的研究人员(Yannis Assael)构建了Pythia,用以训练神经网络猜测希腊铭文中缺少的单词或字符。这些字符出现在石材,陶瓷和金属等材料的表面上,年龄普遍...全文

0+
0+

知识图谱一直是研究的热点,东南大学漆桂林老师等发表了一篇关于中文知识图谱构建的综述论文,详细讲述了当前中文知识图谱的研究进展,是非常好的学习资料。

随着智能技术的不断发展,作为人工智能支柱的知识图谱以其强大的知识表示和推理能力受到了学术界和产业界的广泛关注。近年来,知识图谱在语义搜索、问答、知识管理等领域得到了广泛的应用。构建中文知识图谱的技术也在迅速发展,不同的中文知识图谱以支持不同的应用。同时,我国在知识图谱开发方面积累的经验对非英语知识图谱的开发也有很好的借鉴意义。本文旨在介绍中文知识图谱的构建技术及其应用,然后介绍了典型的中文知识图谱,此外我们介绍了构建中文知识图谱的技术细节,并介绍了了中文知识图谱的几种应用。

A Survey of Techniques for Constructing Chinese.pdf
2+
0+

【风口上的RPA:是AI落地缓冲剂,还是创投圈的一场炒作?】

风口上的RPA:是AI落地缓冲剂,还是创投圈的一场炒作?

2019 年,在大部分人刚刚搞懂人工智能是怎么回事儿的时候,一个新概念又冒了出来。按说科技圈子偶尔出现一两个新概念并不是什么新鲜事儿,但是这个词语的出现让科技圈、创投圈都陷入了一段狂热之中。

RPA,机器人流...全文

4+
0+

最近一期的计算机顶级期刊ACM Computing Surveys (CSUR)出版,涵盖最新的GANs综述论文,146篇参考文献, 本文的作者来自首尔大学数据科学与人工智能实验室的师生,研究方向为深度学习和机器学习。本综述论文介绍了GAN的原理和应用。

生成对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的实际数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,作者从各个角度探讨GAN的细节。此外,作者还解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,作者将重点放在如何将GAN与自动编码器框架相结合。最后,作者列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。

How Generative Adversarial Networks and Their Variants Work An Overview.pdf
5+
0+

随着基于机器学习(ML)系统在医学、军事、汽车、基因组以及多媒体和社交网络等多种应用中的广泛应用,对抗式学习(AL)攻击(adversarial learning attacks)有很大的潜在危害。此篇AL的综述,针对统计分类器的攻击的防御。在介绍了相关术语以及攻击者和维护者的目标和可能的知识范围后,我们回顾了最近在test-time evasion (TTE)、数据中毒(DP)和反向工程(RE)攻击方面的工作,特别是针对这些攻击的防御。在此过程中,我们将鲁棒分类与异常检测(AD)、无监督和基于统计假设的防御和无攻击(no attack)假设的防御区分开来;我们识别了特定方法所需的超参数、其计算复杂性以及评估其性能的指标和质量。然后,我们深入挖掘,提供新的见解,挑战传统智慧,并针对尚未解决的问题,包括:1)稳健的分类与AD作为防御策略;2)认为攻击的成功程度随攻击强度的增加而增加,这忽略了对AD的敏感性;3)test-time evasion (TTE)攻击的小扰动:谬误或需求?4)一般假设的有效性,即攻击者知道要攻击的示例的真实程度;5)黑、灰或白盒攻击作为防御评估标准;6)基于查询的RE对广告防御的敏感性。 然后,我们给出了几种针对TTE、RE和DP攻击图像的防御的基准比较。论文最后讨论了持续的研究方向,包括检测攻击的最大挑战,其目的不是改变分类决策,而是简单地嵌入“假新闻”或其他虚假内容,而不被发现。

Adversarial Learning in Statistical Classification.pdf
0+
0+

文本分类,是NLP的基础任务,旨在对给定文本预测其类别。然而,基础任务不代表简单任务:文本来源复杂多样,文本粒度有大有小,文本标签之间也有各种关系。面对各种问题,文本分类,仍在飞速发展中。来自美国弗吉尼亚大学的Kamran Kowsari博士等人,用了68页A4纸的篇幅,从0开始,细致的总结了文本分类近些年的发展,循序渐进,新手友好!

近年来,复杂文档和文本的数量呈指数级增长,需要对机器学习方法有更深刻的理解,才能在许多应用中准确地对文本进行分类。许多机器学习方法在自然语言处理方面取得了卓越的成绩。这些学习算法的成功依赖于它们理解复杂模型和数据中的非线性关系的能力。然而,为文本分类找到合适的结构、体系和技术对研究人员来说是一个挑战。本文简要介绍了文本分类算法。本文概述了不同的文本特征提取、降维方法、现有的分类算法和技术以及评估手段。最后,讨论了每种技术的局限性及其在实际问题中的应用。

Text Classification Algorithms A Survey.pdf
8+
0+

匹配是搜索和推荐中的关键问题,在很多任务中都有着广泛的应用,比如很多自然语言处理任务(信息检索,自动问答,机器翻译,对话系统)都可以抽象成文本匹配问题。过去传统的匹配问题只要集中在人工定义特征之上的关系学习,模型的效果很依赖特征的设计。而深度学习的引入,能够从大量数据中自动学习特征表示,并且能够更好的拟合复杂的交互关系。在WSDM 2019上来自中国人民大学的徐君研究员,中科大的何向南教授,以及今日头条副总裁李航博士共同带来深度学习匹配搜索和推荐深度学习匹配在搜索和推荐中这两个任务中的应用。

20190212 wsdm_2019_tutorial Deep Learning for Matching in Search and Recommendation.pdf
3+
0+

【人工智能也能有触觉?人造皮肤也怕痒】#AI# #人工智能# #人造皮肤#

布里斯托尔和巴黎的研究人员开发了一款新的皮肤界面(皮肤界面:一种生物驱动的人工皮肤设计方法,可覆盖交互式设备),通过提供一种人造皮肤状膜来增强手机、可穿戴设备以及计算机等交互式设备。这种皮肤界面,不仅模仿了人类皮...全文

0+
0+

#印度筹建全球最大人脸识别系统# 治安效果受期待】CNN报道称,印度国家犯罪记录局已于日前发布了一份172页的文件,详细列出了人脸识别项目招标要求,有意向的公司须在本月11日前提交竞标书。
CNN获得的会议纪要显示,大约有80家供应商代表参加了7月底在国家犯罪记录局德里办事处举行的竞标前会议。他...全文

0+
0+

【清华“天机芯”斩获世界互联网领先科技成果】10月20日,清华大学团队“面向人工通用智能的异构融合天机芯片”斩获第六届#世界互联网大会# 世界互联网领先科技成果。清华大学类脑计算研究中心主任施路平教授在领先科技成果发布会上介绍道:“'天机芯'支持单一范式平台展示的人工智能应用,还支持多计...全文

0+
0+
深度学习—从算法到实战,涵盖深度学习算法和应用实例,包括计算机视觉的目标检测、图像生成,自然语言处理的文本自动摘要等,帮助学员了解、理解、掌握深度学习的基础和前沿算法,并拥有深度学习算法实战经验。本课程由完整全面、脉络清晰的深度学习核心算法入门,到当前学界、工业界热门的深度学习应用实战,有效提高学生解决实际问题的能力。通过学习本课程,学员可以:掌握深度学习核心算法技术;掌握面向不用场景任务的深度学习应用技术;熟悉各种不同深度神经网络的拓扑结构及应用;熟悉前沿深度学习强化学习等热点技术,把握深度学习的技术发展趋势;提升解决深度学习实际问题的能力。 本次课程由专知团队携人工智能领域一线教授博士精心制作,重磅推出!这是一次毫无保留的传授与交流,人工智能未来已来,学习永不止步。希望能与各位一起迎接2019,共同成长。 https://study.163.com/course/introduction/1006498024.htm
Top