【O'Reilly TensorFlow Conference 2019】如何优化加速tensorflow（How Criteo optimized and sped up its TensorFlow models by 10x and served them under 5 ms），Alibaba | Nicolas kowalski (Criteo), Axel Antoniotti (Criteo)

主题： How Criteo optimized and sped up its TensorFlow models by 10x and served them under 5 ms

报告简介： 当您访问网页时，诸如Criteo之类的竞标者必须在几十毫秒内确定是否要购买该页面上的广告空间。那时，将进行实时拍卖，一旦您消除了所有的通信交换延迟，它就会剩下几毫秒的时间来精确计算出价。在过去的一年中，Criteo投入了大量精力来重塑负责进行此类预测的内部机器学习堆栈，尤其是将其开放给TensorFlow等新技术使用。 不幸的是，即使对于简单的逻辑回归模型和小型神经网络，Criteo最初的TensorFlow实现也将推理时间增加了100，从300微秒增加到30毫秒。 Nicolas Kowalski和Axel Antoniotti概述了Criteo如何解决此问题，并讨论了Criteo如何分析其模型以了解其瓶颈。为什么通常共享的解决方案（如针对目标硬件优化TensorFlow构建，冻结和清理模型以及使用加速线性代数（XLA））最终变得乏味；以及如何从头开始重写Criteo的模型，使用低级TF操作重新实现交叉功能和哈希函数，以便在其模型中尽可能多地分解所有TensorFlow节点。

嘉宾介绍： Nicolas Kowalski是Criteo的高级软件工程师。 他的工作重点是开发平台和工具，所有Criteo都使用该平台和工具来创建任何类型的机器学习模型，对其进行培训，在网上为其提供服务并监视其行为。 此前，Nicolas在巴黎大学的Pierre和Marie Curie获得了应用数学博士学位，并在学术界度过了一段时间，在那里他在国际期刊和会议上发表了八篇论文，其中包括2012年国际网格划分圆桌会议上的最佳论文。

Axel Antoniotti 是Criteo的一名高级软件工程师。 他的工作重点是开发平台和工具，所有Criteo都使用该平台和工具来创建任何类型的机器学习模型，对其进行培训，在网上为其提供服务并监视其行为。 他拥有EPITA（法国计算机科学专业的高级文凭）的工程硕士学位。