深度推荐系统近年来取得了显著的进步。尽管其具有较高的排名精度,但其运行效率和内存消耗在现实中成为严重的瓶颈。为了克服这两个限制,我们提出了LightRec,这是一个轻量级的推荐系统,具有快速的在线推理和经济的内存消耗。LightRec的主干是B码本,每个B码本由W个潜在向量组成,称为码字。在这种结构的顶部,LightRec将有一个项目表示为B码字的附加组合,这些B码字是从每个码本中最佳选择的。为了从数据中有效地学习代码本,我们设计了一个端到端学习工作流,其中所提出的技术克服了固有的可微性和多样性方面的挑战。此外,为了进一步提高表示质量,我们使用了一些蒸馏策略,这些策略可以更好地保存用户-项目的相关性分数和相对的排序顺序。LightRec通过四个真实世界的数据集进行了广泛的评估,这产生了两个经验发现:1)与最先进的轻量级基线相比,LightRec在召回性能方面取得了超过11%的相对改进;2)与传统推荐算法相比,在top-k推荐算法中,LightRec的精度下降幅度可以忽略不计,但速度提高了27倍以上。

成为VIP会员查看完整内容
0
45

相关内容

由于硬件资源有限,深度学习模型的训练目标通常是在训练和推理的时间和内存限制下最大化准确性。在这种情况下,我们研究了模型大小的影响,关注于计算受限的NLP任务的Transformer模型:自监督的预训练和高资源机器翻译。我们首先展示了,尽管较小的Transformer模型在每次迭代中执行得更快,但更广、更深入的模型在显著更少的步骤中收敛。此外,这种收敛速度通常超过了使用更大模型的额外计算开销。因此,计算效率最高的训练策略是反直觉地训练非常大的模型,但在少量迭代后停止。

这导致了大型Transformer 模型的训练效率和小型Transformer 模型的推理效率之间的明显权衡。然而,我们表明大模型比小模型在压缩技术(如量化和剪枝)方面更健壮。因此,一个人可以得到最好的两个好处: 重压缩,大模型比轻压缩,小模型获得更高的准确度

https://www.zhuanzhi.ai/paper/4d7bcea8653fcc448137766511ec7d8a

概述:

在当前的深度学习范式中,使用更多的计算(例如,增加模型大小、数据集大小或训练步骤)通常会导致更高的模型准确度(brock2018large;raffel2019exploring)。最近自监督预训练的成功进一步论证了这种趋势经模型。因此,计算资源日益成为提高模型准确度的关键制约因素。这个约束导致模型训练的(通常是隐含的)目标是最大化计算效率:如何在固定的硬件和训练时间下达到最高的模型准确度。

最大化计算效率需要重新考虑关于模型训练的常见假设。特别是,有一个典型的隐式假设,即模型必须经过训练直到收敛,这使得较大的模型在有限的计算预算下显得不太可行。我们通过展示以收敛为代价来增加模型大小的机会来挑战这一假设。具体地说,我们表明,训练Transformer 模型的最快方法(vaswani2017attention)是大幅度增加模型大小,但很早停止训练。

在我们的实验中,我们改变了Transformer模型的宽度和深度,并在自监督的预训练(RoBERTa (liu2019roberta)在Wikipedia和BookCorpus上训练)和机器翻译(WMT14英语→法语)上评估了它们的训练时间和准确性。对于这些任务,我们首先展示了更大的模型比更小的模型在更少的梯度更新中收敛到更低的验证错误(第3节)。此外,这种收敛速度的增加超过了使用更大模型所带来的额外计算开销——计算效率最高的模型是非常大的,并且远远不能收敛(例如,图2,左)。我们还表明,收敛的加速主要是参数计数的函数,只有模型宽度、深度和批大小的微弱影响。

虽然较大的模型训练速度更快,但它们也增加了推理的计算和内存需求。这种增加的成本在现实应用中尤其成问题,推理成本占训练成本的主要比例(jouppi2017datacenter;crankshaw2017clipper;metz2017tpu)。然而,对于RoBERTa来说,这种明显的权衡可以与压缩相协调:与小型模型相比,大型模型在压缩方面更加健壮(第4节)。因此,使用可比较的推理成本,大型重压缩的模型优于小型轻压缩的模型(例如,图2,右)。

成为VIP会员查看完整内容
0
43

图卷积网络(GCN)已经成为协同过滤的最新技术。然而,其推荐的有效性的原因还没有很好地理解。现有的将GCN用于推荐的工作缺乏对GCN的深入消融分析,GCN最初是为图分类任务而设计的,并配备了许多神经网络操作。然而,我们实证发现,两种最常见的设计-特征转换和非线性激活-对协同过滤的性能贡献很小。更糟糕的是,包括他们增加了训练的难度,降低了推荐的效果。在这项工作中,我们的目标是简化GCN的设计,使其更简洁,更适合推荐。我们提出了一个新的模型LightGCN,它只包含GCN中最重要的组件——邻域聚合——用于协同过滤。具体来说,LightGCN通过在用户-项目交互图上线性传播用户和项目嵌入来学习它们,并使用在所有层上学习到的嵌入的加权和作为最终的嵌入。这种简单、线性、简洁的模型更容易实现和训练,在完全相同的实验设置下,比神经图协同过滤(NGCF)——一种最先进的基于GCN的推荐模型——有了显著的改进(平均大约16.0%的相对改进)。从分析和实证两方面进一步分析了简单LightGCN的合理性。我们的实现在TensorFlow和PyTorch中都可用。

成为VIP会员查看完整内容
0
58

知识图谱被广泛用于提高推荐准确度。知识图谱上的多跳用户-物品连接还提供了关于为什么推荐某个项的推理。然而,路径推理是一个复杂的组合优化问题。传统的推荐方法通常采用蛮力方法来寻找可行路径,这导致了与可解释性和收敛性相关的问题。在本文中,我们通过更好地监督寻路过程来解决这些问题。关键思想是用最小的标记努力提取不完美的路径演示,并有效地利用这些演示来指导寻路。特别地,我们设计了一个基于演示的知识图推理框架用于可解释推荐。我们还提出了一个反面的actor批评家(ADAC)模型用于演示导向的寻路。在三个真实基准上的实验表明,我们的方法比最先进的基准更快地收敛,并且具有更好的推荐精度和可解释性。

成为VIP会员查看完整内容
0
60

题目: A Transformer-based Embedding Model for Personalized Product Search

摘要: 产品搜索是人们在电子商务平台上浏览和购买商品的重要方式。虽然客户倾向于根据他们的个人品味和偏好做出选择,但对商业产品搜索日志的分析表明,个性化并不总是能提高产品搜索质量。然而,大多数现有的产品搜索技术在搜索会话之间执行无差异的个性化设置。他们要么用一个固定的系数来控制个性化的影响,要么用一个注意力机制让个性化一直发挥作用。唯一值得注意的例外是最近提出的零注意模型(zero-attention model, ZAM),该模型允许查询关注一个零向量,从而自适应地调整个性化的效果。尽管如此,在ZAM中,个性化最多可以发挥与查询同等重要的作用,并且不管用户的历史购买中同时出现的item是什么,item的表示在整个集合中都是静态的。考虑到这些局限性,我们提出了一种基于Transformer的个性化产品搜索嵌入模型(TEM),该模型通过使用Transformer架构对查询序列和用户购买历史进行编码,从而动态地控制个性化的影响。个性化可以在必要时发挥主导作用,在计算注意力权重时可以考虑item之间的交互。实验结果表明,TEM的性能明显优于目前最先进的个性化产品检索模型。

成为VIP会员查看完整内容
0
20

题目: Order-Preserving Key Compression for In-Memory Search Trees

简介:

本文提出了一种用于内存搜索树的高速保序编码器(HOPE)。HOPE是一个快速的基于字典的压缩器,它可以对任意键进行编码,同时保持它们的顺序。HOPE的方法是在细粒度上识别常见的键模式,并利用熵实现小字典的高压缩率。我们首先建立了一个理论模型来推理关于保留订单的字典设计。在此基础上,选取了6种具有代表性的压缩方案,并进行了实验验证。这些方案在压缩率和编码速度之间进行了不同的权衡。我们对数据库中使用的五种数据结构进行了评估:SuRF、ART、HOT、B+tree和Prefix B+tree。我们的实验表明,对于大多数字符串键工作负载,使用HOPE允许搜索树同时实现更低的查询延迟(最多降低40%)和更好的内存效率(最多降低30%)。

成为VIP会员查看完整内容
0
10

摘要:

推荐系统经常面对包含高度个性化的用户历史数据的异构数据集,单个模型无法为每个用户提供最佳的推荐。我们在公共和私有数据集上观察到这种普遍存在的现象,并解决了为每个用户优化推荐质量的模型选择问题。我们提出了一个元学习框架,以促进用户级自适应模型选择推荐系统。在该框架中,用来自所有用户的数据对推荐器集合进行训练,在此基础上通过元学习对模型选择器进行训练,为具有特定用户历史数据的每个用户选择最佳模型。我们在两个公共数据集和一个真实的生产数据集上进行了大量的实验,证明我们提出的框架在AUC和LogLoss方面实现了对单个模型基线和样本级模型选择器的改进。特别是,这些改进可能会带来巨大的利润收益时,部署在网上推荐系统。

地址:

https://arxiv.org/abs/2001.10378

成为VIP会员查看完整内容
0
51
小贴士
相关资讯
基于深度交叉特征的推荐系统
微信AI
7+阅读 · 2019年2月1日
论文浅尝 | LightRNN:存储和计算高效的 RNN
开放知识图谱
3+阅读 · 2018年12月26日
卷积神经网络(CNN)融合PMF模型构建推荐系统
数据挖掘入门与实战
7+阅读 · 2018年4月12日
推荐|网易云音乐分析之推荐算法
人人都是产品经理
8+阅读 · 2018年2月26日
推荐|机器学习中的模型评价、模型选择和算法选择!
【推荐系统】深度解析京东个性化推荐系统演进史
产业智能官
22+阅读 · 2017年12月8日
关系推理:基于表示学习和语义要素
计算机研究与发展
15+阅读 · 2017年8月22日
相关论文
Jiani Zhang,Xingjian Shi,Shenglin Zhao,Irwin King
9+阅读 · 2019年5月27日
Adaptive Neural Trees
Ryutaro Tanno,Kai Arulkumaran,Daniel C. Alexander,Antonio Criminisi,Aditya Nori
3+阅读 · 2018年12月10日
Konstantinos Skianis,Nikolaos Tziortziotis,Michalis Vazirgiannis
6+阅读 · 2018年7月12日
Xiangyu Zhao,Long Xia,Liang Zhang,Zhuoye Ding,Dawei Yin,Jiliang Tang
6+阅读 · 2018年5月7日
Liwei Wu,Cho-Jui Hsieh,James Sharpnack
6+阅读 · 2018年2月28日
Yun Chen,Yang Liu,Victor O. K. Li
4+阅读 · 2018年2月9日
Han Zhu,Pengye Zhang,Guozheng Li,Jie He,Han Li,Kun Gai
7+阅读 · 2018年1月8日
Joel A. Tropp,Alp Yurtsever,Madeleine Udell,Volkan Cevher
4+阅读 · 2018年1月2日
Top