报告主题:Deep learning with Horovod and Spark using GPUs and Docker containers

报告摘要: 数据量和复杂性每天都在增加,因此公司必须了解其业务需求才能保持竞争优势。得益于AI,机器学习和深度学习(DL)项目(例如Apache Spark,H2O,TensorFlow和Horovod),不再需要锁定特定的供应商技术或专有解决方案来维持这种竞争优势。这些功能丰富的深度学习应用程序可直接从开源社区获得,其中包含针对特定用例量身定制的许多不同算法和选项。 企业面临的最大挑战之一是如何以一种简单且一致的方式部署这些开源工具。由于GPU是一种高级资源,因此组织希望最大限度地利用它们。使用这些资源的群集需要按需配置,并在计算完成后立即释放。Docker容器是启用这种即时集群置备和取消置备的理想选择。它们还可以确保可重复且一致的部署。 Thomas Phelan演示了如何在安全的多租户环境中使用Docker容器上的GPU硬件加速功能来部署AI,ML和DL应用程序,包括Spark,TensorFlow和Horovod 。在Docker容器中使用基于GPU的服务确实需要仔细考虑,因此他还将探索一些最佳实践。

邀请嘉宾:Thomas Phelan是全球领先的自动室内无人机系统提供商Verity的创始人,首席执行官兼董事长。ROBO Global的联合创始人,世界上第一个机器人交易所交易基金的创建者;苏黎世联邦理工学院动力系统与控制教授(休假)。他于2003年与他人共同创立了Kiva Systems(现为Amazon Robotics)。从1999年至2003年,他曾四次夺得世界冠军康奈尔RoboCup团队的系统架构师和教职顾问。此外,他还是一位新媒体艺术家,并在各个国际场所举办过展览,包括威尼斯双年展,FRAC中心和加拿大国家美术馆。其他创作和项目包括“飞行器竞技场”,“分布式飞行阵列”,“平衡立方体”,“ Cubli”,“飞行组装式建筑”,“盲杂耍者”,“机器人座椅”和“机器人地球”。他的TED演讲有近2000万次,两次演讲激发了一代人追求工程技术,机器人技术和计算机科学的灵感。

成为VIP会员查看完整内容
Deep learning with Horovod and Spark using GPUs and Docker containers Presentation.pdf
19

相关内容

Horovod是针对TensorFlow,Keras,PyTorch和MXNet的分布式培训框架。Horovod的目标是使分布式深度学习快速且易于使用。
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
Gartner「首份」云管理平台(CMP)魔力象限
云头条
7+阅读 · 2019年1月14日
热烈祝贺南京某高校DGX-1深度学习超级计算机集群顺利交付
北京思腾合力科技有限公司
5+阅读 · 2017年11月18日
Spark App自动化分析和故障诊断
CSDN大数据
7+阅读 · 2017年6月22日
Learning in the Frequency Domain
Arxiv
11+阅读 · 2020年3月12日
Efficient and Effective $L_0$ Feature Selection
Arxiv
5+阅读 · 2018年8月7日
Arxiv
6+阅读 · 2018年1月11日
VIP会员
相关VIP内容
相关资讯
微信扫码咨询专知VIP会员