题目: Order-Preserving Key Compression for In-Memory Search Trees

简介:

本文提出了一种用于内存搜索树的高速保序编码器(HOPE)。HOPE是一个快速的基于字典的压缩器,它可以对任意键进行编码,同时保持它们的顺序。HOPE的方法是在细粒度上识别常见的键模式,并利用熵实现小字典的高压缩率。我们首先建立了一个理论模型来推理关于保留订单的字典设计。在此基础上,选取了6种具有代表性的压缩方案,并进行了实验验证。这些方案在压缩率和编码速度之间进行了不同的权衡。我们对数据库中使用的五种数据结构进行了评估:SuRF、ART、HOT、B+tree和Prefix B+tree。我们的实验表明,对于大多数字符串键工作负载,使用HOPE允许搜索树同时实现更低的查询延迟(最多降低40%)和更好的内存效率(最多降低30%)。

成为VIP会员查看完整内容
0
10

相关内容

Since hardware resources are limited, the objective of training deep learning models is typically to maximize accuracy subject to the time and memory constraints of training and inference. We study the impact of model size in this setting, focusing on Transformer models for NLP tasks that are limited by compute: self-supervised pretraining and high-resource machine translation. We first show that even though smaller Transformer models execute faster per iteration, wider and deeper models converge in significantly fewer steps. Moreover, this acceleration in convergence typically outpaces the additional computational overhead of using larger models. Therefore, the most compute-efficient training strategy is to counterintuitively train extremely large models but stop after a small number of iterations. This leads to an apparent trade-off between the training efficiency of large Transformer models and the inference efficiency of small Transformer models. However, we show that large models are more robust to compression techniques such as quantization and pruning than small models. Consequently, one can get the best of both worlds: heavily compressed, large models achieve higher accuracy than lightly compressed, small models.

0
10
下载
预览

题目: A Transformer-based Embedding Model for Personalized Product Search

摘要: 产品搜索是人们在电子商务平台上浏览和购买商品的重要方式。虽然客户倾向于根据他们的个人品味和偏好做出选择,但对商业产品搜索日志的分析表明,个性化并不总是能提高产品搜索质量。然而,大多数现有的产品搜索技术在搜索会话之间执行无差异的个性化设置。他们要么用一个固定的系数来控制个性化的影响,要么用一个注意力机制让个性化一直发挥作用。唯一值得注意的例外是最近提出的零注意模型(zero-attention model, ZAM),该模型允许查询关注一个零向量,从而自适应地调整个性化的效果。尽管如此,在ZAM中,个性化最多可以发挥与查询同等重要的作用,并且不管用户的历史购买中同时出现的item是什么,item的表示在整个集合中都是静态的。考虑到这些局限性,我们提出了一种基于Transformer的个性化产品搜索嵌入模型(TEM),该模型通过使用Transformer架构对查询序列和用户购买历史进行编码,从而动态地控制个性化的影响。个性化可以在必要时发挥主导作用,在计算注意力权重时可以考虑item之间的交互。实验结果表明,TEM的性能明显优于目前最先进的个性化产品检索模型。

成为VIP会员查看完整内容
0
20

主题: A Survey of Methods for Model Compression in NLP

摘要: 近年来,基于Transformer的语言模型在神经机器翻译,自然语言推理和许多其他自然语言理解任务方面取得了实质性进展。 通过语言建模损失的变体进行自我监督的预训练意味着,在广泛的语料库上训练的模型可以提高在一系列任务上的下游性能。 但是,高参数数量和大计算量意味着BERT和友人的生产部署仍然很困难。 值得庆幸的是,在过去的两年中,已经开发出了多种技术来缓解疼痛并缩短预测时间。 特别是,本文重点介绍在基础模型预训练后应用的以下方法,以减少预测的计算成本:

  • 数值精度降低
  • 操作融合
  • 修剪
  • 知识蒸馏
  • 模块更换

成为VIP会员查看完整内容
0
28

深度推荐系统近年来取得了显著的进步。尽管其具有较高的排名精度,但其运行效率和内存消耗在现实中成为严重的瓶颈。为了克服这两个限制,我们提出了LightRec,这是一个轻量级的推荐系统,具有快速的在线推理和经济的内存消耗。LightRec的主干是B码本,每个B码本由W个潜在向量组成,称为码字。在这种结构的顶部,LightRec将有一个项目表示为B码字的附加组合,这些B码字是从每个码本中最佳选择的。为了从数据中有效地学习代码本,我们设计了一个端到端学习工作流,其中所提出的技术克服了固有的可微性和多样性方面的挑战。此外,为了进一步提高表示质量,我们使用了一些蒸馏策略,这些策略可以更好地保存用户-项目的相关性分数和相对的排序顺序。LightRec通过四个真实世界的数据集进行了广泛的评估,这产生了两个经验发现:1)与最先进的轻量级基线相比,LightRec在召回性能方面取得了超过11%的相对改进;2)与传统推荐算法相比,在top-k推荐算法中,LightRec的精度下降幅度可以忽略不计,但速度提高了27倍以上。

成为VIP会员查看完整内容
0
46

资源标题

强化学习整合:Awesome Reinforcement Learning

资源列表

  • 代码
  • 理论研究
  • 应用
  • 教程
  • 在线样例
  • 开源强化学习平台
成为VIP会员查看完整内容
0
51

论文题目: Privacy-Preserving Gradient Boosting Decision Trees

论文作者: Qinbin Li, Zhaomin Wu, Zeyi Wen, Bingsheng He

论文摘要: 梯度提升决策树(GBDT)是近年来用于各种任务的流行机器学习模型。在本文中,我们研究如何在保留差异性隐私的有力保证的同时提高GBDT的模型准确性。敏感度和隐私预算是差异化私人模型有效性的两个关键设计方面。现有的具有差分隐私保护的GBDT解决方案由于过于宽松的敏感性界限和无效的隐私预算分配(尤其是GBDT模型中的不同树)而导致严重的准确性损失。松散的灵敏度范围导致更多的噪声以获得固定的优先级。无效的隐私预算分配使准确性降低,尤其是在树的数量很大时。因此,我们提出了一种新的GBDT训练算法,该算法可实现更严格的灵敏度范围和更有效的噪声分配。具体而言,通过研究梯度的属性和每棵树在GBDT中的贡献,我们提出针对每个迭代和叶节点修剪自适应地控制训练数据的梯度,以收紧敏感度范围。此外,我们设计了一种新颖的增强框架,可以在树之间分配隐私预算,从而可以减少准确性损失。我们的实验表明,与其他基准相比,我们的方法可以实现更好的模型准确性。

成为VIP会员查看完整内容
0
26

论文题目: A Survey on Edge Computing Systems and Tools

论文摘要: 在物联网和5G通信的愿景驱动下,边缘计算系统在网络边缘集成了计算,存储和网络资源,以提供计算基础架构,从而使开发人员能够快速开发和部署边缘应用程序。 如今,边缘计算系统已在业界和学术界引起了广泛关注。 为了探索新的研究机会并帮助用户选择适合特定应用的边缘计算系统,本调查报告对现有边缘计算系统进行了全面概述,并介绍了代表性的项目。 根据开放源代码工具的适用性进行了比较。 最后,我们重点介绍了边缘计算系统的能源效率和深度学习优化。 本次调查还研究了用于分析和设计边缘计算系统的未解决问题。

成为VIP会员查看完整内容
0
56

Pre-trained deep neural network language models such as ELMo, GPT, BERT and XLNet have recently achieved state-of-the-art performance on a variety of language understanding tasks. However, their size makes them impractical for a number of scenarios, especially on mobile and edge devices. In particular, the input word embedding matrix accounts for a significant proportion of the model's memory footprint, due to the large input vocabulary and embedding dimensions. Knowledge distillation techniques have had success at compressing large neural network models, but they are ineffective at yielding student models with vocabularies different from the original teacher models. We introduce a novel knowledge distillation technique for training a student model with a significantly smaller vocabulary as well as lower embedding and hidden state dimensions. Specifically, we employ a dual-training mechanism that trains the teacher and student models simultaneously to obtain optimal word embeddings for the student vocabulary. We combine this approach with learning shared projection matrices that transfer layer-wise knowledge from the teacher model to the student model. Our method is able to compress the BERT_BASE model by more than 60x, with only a minor drop in downstream task metrics, resulting in a language model with a footprint of under 7MB. Experimental results also demonstrate higher compression efficiency and accuracy when compared with other state-of-the-art compression techniques.

0
17
下载
预览
小贴士
相关资讯
滴滴离线索引快速构建FastIndex架构实践
InfoQ
19+阅读 · 2020年3月19日
【论文笔记】Graph U-Nets
专知
60+阅读 · 2019年11月25日
【NeurIPS 2019】7篇自动化神经网络搜索(NAS)论文简读
中国人工智能学会
15+阅读 · 2019年9月13日
Deep Compression/Acceleration:模型压缩加速论文汇总
极市平台
12+阅读 · 2019年5月15日
CVPR 2019 | 一个高阶张量搞定整个全卷积网络
机器之心
9+阅读 · 2019年5月12日
已删除
将门创投
7+阅读 · 2018年11月5日
Dynamic Zoom-in Network 论文笔记
统计学习与视觉计算组
6+阅读 · 2018年7月18日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
16+阅读 · 2018年5月25日
相关论文
Zhuohan Li,Eric Wallace,Sheng Shen,Kevin Lin,Kurt Keutzer,Dan Klein,Joseph E. Gonzalez
10+阅读 · 2020年6月23日
Fang Liu,Guoming Tang,Youhuizi Li,Zhiping Cai,Xingzhou Zhang,Tongqing Zhou
19+阅读 · 2019年11月7日
Extreme Language Model Compression with Optimal Subwords and Shared Projections
Sanqiang Zhao,Raghav Gupta,Yang Song,Denny Zhou
17+阅读 · 2019年9月25日
Yu Cheng,Duo Wang,Pan Zhou,Tao Zhang
46+阅读 · 2019年9月8日
Auto-DeepLab: Hierarchical Neural Architecture Search for Semantic Image Segmentation
Chenxi Liu,Liang-Chieh Chen,Florian Schroff,Hartwig Adam,Wei Hua,Alan Yuille,Li Fei-Fei
5+阅读 · 2019年1月10日
Open Set Chinese Character Recognition using Multi-typed Attributes
Sheng He,Lambert Schomaker
4+阅读 · 2018年8月27日
Seq2Seq2Sentiment: Multimodal Sequence to Sequence Models for Sentiment Analysis
Hai Pham,Thomas Manzini,Paul Pu Liang,Barnabas Poczos
4+阅读 · 2018年8月6日
Ghazaleh Beigi,Huan Liu
4+阅读 · 2018年3月16日
Tom Young,Devamanyu Hazarika,Soujanya Poria,Erik Cambria
7+阅读 · 2018年2月20日
Han Zhu,Pengye Zhang,Guozheng Li,Jie He,Han Li,Kun Gai
7+阅读 · 2018年1月8日
Top