报告主题:How to deploy large-scale distributed data analytics and machine learning on containers (sponsored by HPE)

报告摘要

数据量和复杂性每天都在增加,因此,公司必须了解其业务需求才能保持竞争优势。得益于AI,机器学习和深度学习(DL)项目(例如Apache Spark,H2O,TensorFlow和Horovod),这些组织不再需要锁定特定的供应商技术或专有解决方案来维持这种竞争优势。这些功能丰富的深度学习应用程序可直接从开源社区获得,其中包含针对特定用例量身定制的许多不同算法和选项。 企业面临的最大挑战之一是如何以一种简单且一致的方式部署这些开源工具(请记住,其中一些工具具有操作系统内核和软件组件)。例如,TensorFlow可以利用NVIDIA GPU资源,但是在GPU上运行TensorFlow要求用户在主机上设置NVIDIA CUDA库,并安装和配置TensorFlow应用程序以利用GPU计算工具。设备驱动程序,库和软件版本的组合可能令人望而生畏,并可能对许多用户造成失败。 此外,由于GPU是一种高级资源,因此组织希望最大限度地利用它们。使用这些资源的群集需要按需配置,并在计算完成后立即释放。 Docker容器是启用这种即时集群置备和取消置备的理想选择。它们还确保可重复且一致的部署。 Thomas Phelan演示了如何在安全的多租户环境中使用Docker容器上的GPU硬件加速功能来部署AI,ML和DL应用程序,包括Spark,TensorFlow和Horovod。在Docker容器中使用基于GPU的服务确实需要仔细考虑,因此他还将探索一些最佳实践。

嘉宾简介

Thomas Phelan是BlueData的联合创始人兼首席架构师。 此前,Silicon Graphics原始团队的成员设计并实现了XFS,这是第一个商业上可用的64位文件系统。 他是VMware的一名早期员工,一名高级工程师和ESX存储体系结构团队的关键成员,他在其中设计和开发了ESX存储I / O负载平衡子系统和模块化可插拔存储体系结构,并领导了许多关键团队 存储计划,例如云存储网关和vFlash。

成为VIP会员查看完整内容
How to deploy large-scale distributed data analytics and machine learning on containers _sponsored by HPE_ Presentation.pdf
16

相关内容

“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。” ——中文维基百科

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
【2020新书】图机器学习,Graph-Powered Machine Learning
专知会员服务
337+阅读 · 2020年1月27日
Gartner 报告:人工智能的现状与未来
InfoQ
12+阅读 · 2019年11月29日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
如何用TF Serving部署TensorFlow模型
AI研习社
26+阅读 · 2019年3月27日
Gartner 2019 年 CMP 关键能力报告解读
云头条
19+阅读 · 2019年3月17日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
Gartner「首份」云管理平台(CMP)魔力象限
云头条
7+阅读 · 2019年1月14日
2017年四巨头的深度学习框架之战,你支持谁?
全球人工智能
6+阅读 · 2017年12月29日
TensorFlow神经网络教程
Python程序员
4+阅读 · 2017年12月4日
Arxiv
42+阅读 · 2019年12月20日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
3+阅读 · 2018年10月5日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
6+阅读 · 2018年1月11日
VIP会员
相关VIP内容
【2020新书】图机器学习,Graph-Powered Machine Learning
专知会员服务
337+阅读 · 2020年1月27日
相关资讯
Gartner 报告:人工智能的现状与未来
InfoQ
12+阅读 · 2019年11月29日
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
如何用TF Serving部署TensorFlow模型
AI研习社
26+阅读 · 2019年3月27日
Gartner 2019 年 CMP 关键能力报告解读
云头条
19+阅读 · 2019年3月17日
联邦学习或将助力IoT走出“数据孤岛”?
中国计算机学会
20+阅读 · 2019年3月16日
Gartner「首份」云管理平台(CMP)魔力象限
云头条
7+阅读 · 2019年1月14日
2017年四巨头的深度学习框架之战,你支持谁?
全球人工智能
6+阅读 · 2017年12月29日
TensorFlow神经网络教程
Python程序员
4+阅读 · 2017年12月4日
相关论文
Arxiv
42+阅读 · 2019年12月20日
Arxiv
20+阅读 · 2019年11月24日
Arxiv
3+阅读 · 2018年10月5日
Arxiv
5+阅读 · 2018年6月12日
Arxiv
6+阅读 · 2018年1月11日
微信扫码咨询专知VIP会员