主题: Learning Colour Representations of Search Queries

摘要: 图像搜索引擎依赖于适当设计的排名功能,这些功能可以捕获内容语义的各个方面以及历史上的流行。在这项工作中,我们考虑了色彩在相关性匹配过程中的作用。观察到很大一部分用户查询具有与之相关的固有颜色,这促使我们开展工作。虽然某些查询包含明确的颜色提及(例如“黑色汽车”和“黄色雏菊”),但其他查询却包含隐式的颜色概念(例如“天空”和“草”)。此外,颜色的基础查询不是到单一颜色的映射,而是颜色空间中的分布。例如,对“树”的搜索往往会在绿色和棕色之间形成双峰分布。我们利用历史点击数据为搜索查询生成颜色表示,并提出一种递归神经网络架构,将看不见的查询编码到颜色空间中。我们还展示了如何从印象日志中的交叉模式相关性排序器中学习该嵌入,在印象日志中单击了结果图像的子集。我们证明了查询图像颜色距离功能的使用可改善排名性能,该性能通过用户对点击图像和跳过图像的偏好来衡量。

成为VIP会员查看完整内容
0
8

相关内容

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等

主题: Exploring Deep Learning for Search

摘要: 本书作者Tommaso Teofili着重介绍了他的著作《深度学习搜索》三章。 书中介绍了神经搜索如何通过自动执行以前手动完成的工作来节省用户时间并提高搜索效率以及如何通过循环神经网络(RNN)向搜索引擎添加文本生成功能来扩展搜索网络。 在最后一章中,深入研究了如何使用卷积神经网络(CNN)为图像编制索引,并使它们可按其内容进行搜索。 借助这份以激光为重点的指南,读者将掌握通过深度学习改善搜索的基础知识。

成为VIP会员查看完整内容
0
28

题目: Natural Language Processing and Query Expansion

简介:

大量知识资源的可用性刺激了开发和增强信息检索技术的大量工作。用户的信息需求以自然语言表达,成功的检索很大程度上取决于预期目的的有效沟通。自然语言查询包含多种语言功能,这些语言功能代表了预期的搜索目标。导致语义歧义和对查询的误解以及其他因素(例如,对搜索环境缺乏了解)的语言特征会影响用户准确表示其信息需求的能力,这是由概念意图差距造成的。后者直接影响返回的搜索结果的相关性,而这可能不会使用户满意,因此是影响信息检索系统有效性的主要问题。我们讨论的核心是通过手动或自动捕获有意义的术语,短语甚至潜在的表示形式来识别表征查询意图及其丰富特征的重要组成部分,以手动或自动捕获它们的预期含义。具体而言,我们讨论了实现丰富化的技术,尤其是那些利用从文档语料库中的术语相关性的统计处理或从诸如本体之类的外部知识源中收集的信息的技术。我们提出了基于通用语言的查询扩展框架的结构,并提出了基于模块的分解,涵盖了来自查询处理,信息检索,计算语言学和本体工程的主题问题。对于每个模块,我们都会根据所使用的技术回顾分类和分析的文献中的最新解决方案。

成为VIP会员查看完整内容
0
30

主题: Learning Term Discrimination

摘要: 文档索引是有效信息检索(IR)的关键组件。经过诸如词干和停用词删除之类的预处理步骤之后,文档索引通常会存储term-frequencies(tf)。与tf(仅反映一个术语在文档中的重要性)一起,传统的IR模型使用诸如反文档频率(idf)之类的术语区分值(TDV)在检索过程中偏向于区分性术语。在这项工作中,我们建议使用浅层神经网络学习TDV,以进行文档索引,该浅层神经网络可以近似TF-IDF和BM25等传统的IR排名功能。我们的建议在nDCG和召回方面均优于传统方法,即使很少有带有正标签的查询文档对作为学习数据。我们学到的TDV用于过滤区分度为零的词汇,不仅可以显着降低倒排索引的内存占用量,而且可以加快检索过程(BM25的速度提高了3倍),而不会降低检索质量。

成为VIP会员查看完整内容
0
11

题目: Learning Representations For Images With Hierarchical Labels

摘要:

图像分类已经得到了广泛的研究,但是除了传统的图像标签对之外,在使用非常规的外部指导来训练这些模型方面的工作还很有限。在本文中,我们提出了一组利用类标签引起的语义层次信息的方法。在论文的第一部分,我们将标签层次知识注入到任意的分类器中,并通过实验证明,将这些外部语义信息与图像的视觉语义相结合,可以提高整体性能。在这个方向上更进一步,我们使用自然语言中流行的基于保留顺序的嵌入模型来更明确地建模标签-标签和标签-图像的交互,并将它们裁剪到计算机视觉领域来执行图像分类。尽管在本质上与之相反,在新提出的、真实世界的ETH昆虫学收集图像数据集上,注入层次信息的CNN分类器和基于嵌入的模型都优于不可知层次的模型。

成为VIP会员查看完整内容
0
27

随着网络新闻的爆炸式增长,个性化的新闻推荐对于网络新闻平台帮助用户发现感兴趣的信息变得越来越重要。现有的新闻推荐方法通过从新闻内容和用户与新闻的直接交互(如点击)中构建精确的新闻表示和用户表示来实现个性化,而忽略了用户与新闻之间的高阶关联。**本文提出了一种新闻推荐方法,通过对用户和新闻之间的关系进行图形化建模,增强用户和新闻之间的表示学习。**在我们的方法中,用户和新闻都被看作是历史用户点击行为构造的二部图中的节点。对于新闻表示,首先利用transformer架构构建新闻语义表示。然后通过一个图注意力网络将其与图中相邻新闻信息相结合。对于用户表示,我们不仅表示来自其历史上单击的新闻的用户,而且还仔细地将其邻居用户的表示合并到图中。在大型真实数据集上的改进性能验证了我们所提方法的有效性。

成为VIP会员查看完整内容
0
39

题目:

Transfer Learning in Visual and Relational Reasoning

简介:

迁移学习已成为计算机视觉和自然语言处理中的事实上的标准,尤其是在缺少标签数据的地方。通过使用预先训练的模型和微调,可以显着提高准确性。在视觉推理任务(例如图像问答)中,传递学习更加复杂。除了迁移识别视觉特征的功能外,我们还希望迁移系统的推理能力。而且,对于视频数据,时间推理增加了另一个维度。在这项工作中,我们将迁移学习的这些独特方面形式化,并提出了一种视觉推理的理论框架,以完善的CLEVR和COGdatasets为例。此外,我们引入了一种新的,端到端的微分递归模型(SAMNet),该模型在两个数据集上的传输学习中均显示了最新的准确性和更好的性能。改进的SAMNet性能源于其将抽象的多步推理与序列的长度解耦的能力及其选择性的关注能力,使其仅能存储与问题相关的信息外部存储器中的对象。

目录:

成为VIP会员查看完整内容
0
33

简介: 主导图神经网络(GNN)完全依赖图连接,已经存在几个严重的性能问题,例如,过度平滑问题。此外,由于内存限制了节点之间的批处理,因此固定连接的特性会阻止图形内的并行化,这对于大型数据输入至关重要。在本文中,引入一种新的图神经网络,即GRAPH-BERT(基于图的BERT),该网络仅基于注意力机制而无需任何图卷积或聚合算法。本文在局部上下文中使用采样的无连接子图训练GRAPH-BERT。此外,如果有任何监督的标签信息或某些面向应用的目标,则可以使用其他最新的输出层对预训练的GRAPH-BERT模型进行微调。我们已经在多个基准图数据集上测试了GRAPH-BERT的有效性。在预训练的GRAPH-BERT具有节点属性重构和结构恢复任务的基础上,我们进一步针对节点分类和图聚类任务进一步调整GRAPH-BERT。

成为VIP会员查看完整内容
0
71

书名: Deep Learning for Search

简介:

深度学习搜索是一本实用的书,关于如何使用(深度)神经网络来帮助建立有效的搜索引擎。这本书研究了一个搜索引擎的几个组成部分,提供了关于它们如何工作的见解以及如何在每个环境中使用神经网络的指导。重点介绍了基于实例的实用搜索和深度学习技术,其中大部分都有代码。同时,在适当的地方提供相关研究论文的参考资料,以鼓励阅读更多的书籍,加深对特定主题的知识。

读完这本书,将对搜索引擎的主要挑战有所理解,它们是如何被普遍解决的以及深度学习可以做些什么来帮助。并且将对几种不同的深度学习技术以及它们在搜索环境中的适用范围有一个理解,将很好地了解Lucene和Deeplearning4j库。

这本书主要分为3个部分:

  • 第1部分介绍了搜索、机器学习和深度学习的基本概念。第一章介绍了应用深度学习技术来搜索问题的原理,涉及了信息检索中最常见的方法。第2章给出了如何使用神经网络模型从数据中生成同义词来提高搜索引擎效率的第一个例子。

  • 第2部分讨论了可以通过深度神经网络更好地解决的常见搜索引擎任务。第3章介绍了使用递归神经网络来生成用户输入的查询。第四章在深度神经网络的帮助下,在用户输入查询时提供更好的建议。第5章重点介绍了排序模型:尤其是如何使用词嵌入提供更相关的搜索结果。第6章讨论了文档嵌入在排序函数和内容重新编码上下文中的使用。

  • 第3部分将介绍更复杂的场景,如深度学习机器翻译和图像搜索。第7章通过基于神经网络的方法为你的搜索引擎提供多语言能力来指导你。第8章讨论了基于内容的图像集合的搜索,并使用了深度学习模型。第9章讨论了与生产相关的主题,如微调深度学习模型和处理不断输入的数据流。

作者简介:

Tommaso Teofili是一名软件工程师,他对开源机器学习充满热情。作为Apache软件基金会的成员,他为许多开放源码项目做出了贡献,从信息检索到自然语言处理和机器翻译等主题。他目前在Adobe工作,开发搜索和索引基础结构组件,并研究自然语言处理、信息检索和深度学习等领域。他曾在各种会议上发表过搜索和机器学习方面的演讲,包括BerlinBuzzwords、计算科学国际会议、ApacheCon、EclipseCon等。

成为VIP会员查看完整内容
0
137

简介: 人们在阅读文章时,可以识别关键思想,作出总结,并建立文章中的联系以及对其他需要理解的内容等方面都做得很出色。深度学习的最新进展使计算机系统可以实现类似的功能。用于自然语言处理的深度学习可教您将深度学习方法应用于自然语言处理(NLP),以有效地解释和使用文章。在这本书中,NLP专家Stephan Raaijmakers提炼了他对这个快速发展的领域中最新技术发展的研究。通过详细的说明和丰富的代码示例,您将探索最具挑战性的NLP问题,并学习如何通过深度学习解决它们!

自然语言处理是教计算机解释和处理人类语言的科学。最近,随着深度学习的应用,NLP技术已跃升至令人兴奋的新水平。这些突破包括模式识别,从上下文中进行推断以及确定情感语调,从根本上改善了现代日常便利性,例如网络搜索,以及与语音助手的交互。他们也在改变商业世界!

目录:

  • NLP和深度学习概述
  • 文本表示
  • 词嵌入
  • 文本相似性模型
  • 序列NLP
  • 语义角色标签
  • 基于深度记忆的NLP
  • 语言结构
  • 深度NLP的超参数

1深度NLP学习

  • 1.1概述
  • 1.2面向NLP的机器学习方法
  • 1.2.1感知机
  • 1.2.2 支持向量机
  • 1.2.3基于记忆的学习
  • 1.3深度学习
  • 1.4语言的向量表示
  • 1.4.1表示向量
  • 1.4.2运算向量
  • 1.5工具
  • 1.5.1哈希技巧
  • 1.5.2向量归一化
  • 1.6总结

2 深度学习和语言:基础知识

  • 2.1深度学习的基本构架
  • 2.1.1多层感知机
  • 2.1.2基本运算符:空间和时间
  • 2.2深度学习和NLP
  • 2.3总结

3文字嵌入

  • 3.1嵌入
  • 3.1.1手工嵌入
  • 3.1.2学习嵌入
  • 3.2word2vec
  • 3.3doc2vec
  • 3.4总结

4文字相似度

  • 4.1问题
  • 4.2数据
  • 4.2.1作者归属和验证数据
  • 4.3数据表示
  • 4.3.1分割文件
  • 4.3.2字的信息
  • 4.3.3子字集信息
  • 4.4相似度测量模型
  • 4.5.1多层感知机
  • 4.5.2CNN
  • 4.6总结

5序列NLP和记忆

  • 5.1记忆和语言
  • 5.1.1问答
  • 5.2数据和数据处理
  • 5.3序列模型的问答
  • 5.3.1用于问答的RNN
  • 5.3.2用于问答的LSTM
  • 5.3.3问答的端到端存储网络
  • 5.4总结

6NLP的6种情景记忆

  • 6.1序列NLP的记忆网络
  • 6.2数据与数据处理
  • 6.2.1PP附件数据
  • 6.2.2荷兰小数据
  • 6.2.3西班牙语词性数据
  • 6.3监督存储网络
  • 6.3.1PP连接
  • 6.3.2荷兰小商品
  • 6.3.3西班牙语词性标记
  • 6.4半监督存储网络
  • 6.5半监督存储网络:实验和结果
  • 6.6小结
  • 6.7代码和数据

7注意力机制

  • 7.1神经注意力机制
  • 7.2数据
  • 7.3静态注意力机制:MLP
  • 7.4暂态注意力机制:LSTM
  • 7.4.1实验
  • 7.5小结

8多任务学习

  • 8.1简介
  • 8.2数据
  • 8.3.1数据处理
  • 8.3.2硬参数共享
  • 8.3.3软参数共享
  • 8.3.4混合参数共享
  • 8.4主题分类
  • 8.4.1数据处理
  • 8.4.2硬参数共享
  • 8.4.3软参数共享
  • 8.4.4混合参数共享
  • 8.5词性和命名实体识别数据
  • 8.5.1数据处理
  • 8.5.2硬参数共享
  • 8.5.3软参数共享
  • 8.5.4混合参数共享
  • 8.6结论

附录

附录A:NLP

附录B:矩阵代数

附录C:超参数估计和分类器性能评估

成为VIP会员查看完整内容
0
32
小贴士
相关论文
Financial Time Series Representation Learning
Philippe Chatigny,Jean-Marc Patenaude,Shengrui Wang
8+阅读 · 2020年3月27日
Wenwu Zhu,Xin Wang,Peng Cui
18+阅读 · 2020年1月2日
Guanglin Niu,Yongfei Zhang,Bo Li,Peng Cui,Si Liu,Jingyang Li,Xiaowei Zhang
7+阅读 · 2019年12月28日
Chao Zhang,Zichao Yang,Xiaodong He,Li Deng
57+阅读 · 2019年11月10日
Learning Disentangled Representations for Recommendation
Jianxin Ma,Chang Zhou,Peng Cui,Hongxia Yang,Wenwu Zhu
4+阅读 · 2019年10月31日
Risk-Aware Active Inverse Reinforcement Learning
Daniel S. Brown,Yuchen Cui,Scott Niekum
4+阅读 · 2019年1月8日
Learning to Focus when Ranking Answers
Dana Sagi,Tzoof Avny,Kira Radinsky,Eugene Agichtein
3+阅读 · 2018年8月8日
A Survey on Deep Transfer Learning
Chuanqi Tan,Fuchun Sun,Tao Kong,Wenchang Zhang,Chao Yang,Chunfang Liu
10+阅读 · 2018年8月6日
Srinivas Ravishankar, Chandrahas,Partha Pratim Talukdar
6+阅读 · 2018年1月8日
Bryan Perozzi,Rami Al-Rfou,Steven Skiena
7+阅读 · 2014年6月27日
Top