如何解决点击率预估?英伟达工程师详解HugeCTR训练框架(一)

2019 年 11 月 13 日 机器之心
近年来,随着 GPU 解决方案在深度学习各项任务中的普及,有越来越多的算法和模型训练得到了显著的加速,从而也反过来鼓励着大家进而探索将 GPU 加速应用到新的领域。 点击率预估的训练传统上存在着几个困扰着广大开发者的问题: 巨大的哈希表(Embedding Table),较少的矩阵计算,大量的数据吞吐。


HugeCTR 是首个全部解决以上问题的开源 GPU 训练框架,与现有 CPU 和混合 CPU / GPU 解决方案相比,它的速度提高了 12 倍至 44 倍。 HugeCTR 是一种端到端训练解决方案,其所有计算都在 GPU 上执行,而 CPU 仅用于 I / O。 GPU 哈希表支持动态缩放。 它利用 MPI 进行多节点训练,以支持任意大的嵌入尺寸。 它还还支持混合精度训练,在 Volta GPU 及其后续版本上可以利用 Tensor cores 进一步加速。


11 月 19 日 ,NVIDIA GPU 计算高级专家王泽寰将来带一场线上分享,详解 HugeCTR。 通过本次在线上分享,您将了解以下内容:


  • 点击率预估概述
  • 目前的挑战
  • HugeCTR 介绍


本次线上分享详情如下

主题:HugeCTR - 端到端点击率预估训练解决方案介绍(一)

日期:2019 年 11 月 19 日,星期二

时间:20:00-21:30


演讲嘉宾

王泽寰(Joey Wang)

NVIDIA GPU 计算高级专家


2012 年加入英伟达 GPU 专家团队,现任团队 Tech Lead,主要负责企业用户 GPU 计算开发支持工作; 近年来主要负责推荐系统和语音相关项目,设计并管理了 HugeCTR 训练框架。 「RNNEngine」RNN 推理加速引擎的开发。


点击 阅读原文 ,立即报名。


Accelerating your future


NVIDIA GPU 计算专家团队致力于为中国客户提供基于 GPU 系统的最快解决方案,工作内容涉及视频图像处理、语音识别和合成、自然语言处理、推荐系统等各个方面,通过代码优化、模型优化和 Pipeline 优化,提供端到端的解决方案。 本团队开源了若干原型项目,帮助用户评估 GPU 可以带来的业务收益,并通过进一步开发集成,利用 GPU 为用户降低成本,提高效率。
登录查看更多
1

相关内容

【CVPR 2020-商汤】8比特数值也能训练卷积神经网络模型
专知会员服务
26+阅读 · 2020年5月7日
斯坦福2020硬课《分布式算法与优化》
专知会员服务
123+阅读 · 2020年5月6日
近期必读的12篇KDD 2019【图神经网络(GNN)】相关论文
专知会员服务
63+阅读 · 2020年1月10日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
96+阅读 · 2019年12月4日
【推荐系统/计算广告/机器学习/CTR预估资料汇总】
专知会员服务
88+阅读 · 2019年10月21日
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
14+阅读 · 2019年9月18日
Tensorflow框架是如何支持分布式训练的?
AI100
9+阅读 · 2019年3月26日
刚刚,阿里开源首个深度学习框架 X-Deep Learning!
阿里技术
4+阅读 · 2018年12月21日
Google、阿里、京东的CTR预估模型
InfoQ
8+阅读 · 2018年3月16日
【机器学习】推荐13个机器学习框架
产业智能官
8+阅读 · 2017年9月10日
[推荐] 这些年,我用过的点击率(CTR)预估模型!!!
菜鸟的机器学习
28+阅读 · 2017年7月31日
Arxiv
8+阅读 · 2019年5月20日
Few-shot Adaptive Faster R-CNN
Arxiv
3+阅读 · 2019年3月22日
Arxiv
4+阅读 · 2015年8月25日
VIP会员
相关资讯
英伟达Faster Transformer:作者带你揭秘BERT优化
机器之心
14+阅读 · 2019年9月18日
Tensorflow框架是如何支持分布式训练的?
AI100
9+阅读 · 2019年3月26日
刚刚,阿里开源首个深度学习框架 X-Deep Learning!
阿里技术
4+阅读 · 2018年12月21日
Google、阿里、京东的CTR预估模型
InfoQ
8+阅读 · 2018年3月16日
【机器学习】推荐13个机器学习框架
产业智能官
8+阅读 · 2017年9月10日
[推荐] 这些年,我用过的点击率(CTR)预估模型!!!
菜鸟的机器学习
28+阅读 · 2017年7月31日
Top
微信扫码咨询专知VIP会员