推荐系统广泛应用于在线服务,如搜索广告、新闻推荐和在线广告,提供个性化的预测和推荐来提高用户满意度和在线服务的收益。在推荐系统中,点击率(Click-Through-Rate,CTR)预测用于预测用户在特定上下文对不同商品点击的概率,直接影响到推荐系统的效果。近年来,由于深度学习技术在特征表示方面的良好性能,越来越多的深度点击率预测模型被提出和部署,如Google Play的Wide&Deep[3]、华为应用市场的DeepFM[1]和阿里巴巴的DIN[4]。主流的深度点击率预测模型由Embedding层和MLP层构成(如图1所示[5, 6]):Embedding层将推荐搜索数据中高维稀疏的id特征(商品id、用户id等)映射为低维稠密向量;MLP层捕捉特征之间的非线性组合关系以得到更为准确的点击率预测值。由于推荐数据十分高维,特征维度可达亿级甚至百亿级别,Embedding层参数量很容易达到百GB甚至TB。面对超大规模Embedding的推荐模型,需要在尽可能少的时间内使用海量数据训练推荐模型的海量参数,以保证模型的时效性和预测效果。因此,如何基于海量数据完成超大规模推荐模型的高效训练,对于推荐系统十分关键。

本文将介绍华为诺亚推荐搜索与AI系统工程联合团队最新发表在SIGIR2021上的研究成果:ScaleFreeCTR: MixCache-based Distributed Training System for CTR Models with Huge Embedding Table。ScaleFreeCTR针对超大规模Embedding的深度推荐模型,提出CPU-GPU协同训练系统,通过自研的MixCache缓存机制和高效的流水线设计,实现CPU-GPU数据传输延迟的降低,提升了并行效率。同等硬件下,训练性能超过HugeCTR的5倍,目前已在华为多个业务场景中应用,ScaleFreeCTR近期将在华为深度学习框架MindSpore进行开源。

成为VIP会员查看完整内容
27

相关内容

分布式計算( Distributed computing )是一種把需要進行大量計算的工程數據分割成小塊,由多台計算機分別計算,在上傳運算結果後,將結果統一合并得出數據結論的科學。目前常見的分布式計算項目通常使用世界各地上千萬志願者計算機的閒置計算能力,通過互聯網進行數據傳輸。如分析計算蛋白質的內部結構和相關藥物的Folding@home項目,該項目結構龐大,需要驚人的計算量,由一台電腦計算是不可能完成的。即使現在有了計算能力超強的超級電腦,但是一些科研機構的經費卻又十分有限。
【IJCAI2021】深度点击率预估模型综述论文,9页pdf
专知会员服务
27+阅读 · 2021年5月11日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
58+阅读 · 2021年4月21日
专知会员服务
137+阅读 · 2021年3月30日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
30+阅读 · 2021年2月27日
专知会员服务
22+阅读 · 2020年9月8日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
86+阅读 · 2019年10月21日
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
FastSpeech语音合成系统技术升级,微软联合浙大提出FastSpeech2
微软研究院AI头条
4+阅读 · 2020年6月23日
TensorFlow 2.0 分布式训练
TensorFlow
8+阅读 · 2020年1月19日
阿里云发布机器学习平台PAI v3.0
雷锋网
12+阅读 · 2019年3月22日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
[推荐] 这些年,我用过的点击率(CTR)预估模型!!!
菜鸟的机器学习
28+阅读 · 2017年7月31日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
Arxiv
0+阅读 · 2021年6月5日
Fast AutoAugment
Arxiv
4+阅读 · 2019年5月1日
dynnode2vec: Scalable Dynamic Network Embedding
Arxiv
13+阅读 · 2018年12月6日
Arxiv
4+阅读 · 2016年9月20日
VIP会员
相关VIP内容
【IJCAI2021】深度点击率预估模型综述论文,9页pdf
专知会员服务
27+阅读 · 2021年5月11日
【SIGIR2021】基于嵌入的增量式时序知识图谱补全框架
专知会员服务
58+阅读 · 2021年4月21日
专知会员服务
137+阅读 · 2021年3月30日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
【WWW2021】场矩阵分解机推荐系统
专知会员服务
30+阅读 · 2021年2月27日
专知会员服务
22+阅读 · 2020年9月8日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
86+阅读 · 2019年10月21日
相关资讯
3倍加速CPU上的BERT模型部署
ApacheMXNet
11+阅读 · 2020年7月13日
FastSpeech语音合成系统技术升级,微软联合浙大提出FastSpeech2
微软研究院AI头条
4+阅读 · 2020年6月23日
TensorFlow 2.0 分布式训练
TensorFlow
8+阅读 · 2020年1月19日
阿里云发布机器学习平台PAI v3.0
雷锋网
12+阅读 · 2019年3月22日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
阿里搜索技术,在AI路上走了多远?
机器学习研究会
11+阅读 · 2017年12月29日
[推荐] 这些年,我用过的点击率(CTR)预估模型!!!
菜鸟的机器学习
28+阅读 · 2017年7月31日
今日头条推荐系统架构演进之路
QCon
32+阅读 · 2017年6月21日
微信扫码咨询专知VIP会员