会员服务
Amazon · 总体代价 · Amazon EC2 · Ray · 代价 ·
2023 年 1 月 10 日
Exoshuffle-CloudSort
翻译：Exhoshuffle- Cloud Sort 外舍封套
Frank Sifei Luan,Stephanie Wang,Samyukta Yagati,Sean Kim,Kenneth Lien,Isaac Ong,Tony Hong,SangBin Cho,Eric Liang,Ion Stoica
Frank Sifei Luan,Stephanie Wang,Samyukta Yagati,Sean Kim,Kenneth Lien,Isaac Ong,Tony Hong,SangBin Cho,Eric Liang,Ion Stoica

We present Exoshuffle-CloudSort, a sorting application running on top of Ray using the Exoshuffle architecture. Exoshuffle-CloudSort runs on Amazon EC2, with input and output data stored on Amazon S3. Using 40 i4i.4xlarge workers, Exoshuffle-CloudSort completes the 100 TB CloudSort Benchmark (Indy category) in 5378 seconds, with an average total cost of $97.


翻译：我们展示了Exoshffle-CloudSort,这是使用Exoshoffle结构在Ray上方运行的排序应用程序。Exoshoffle-CloudSort在亚马逊EC2上运行,输入和输出数据储存在亚马逊S3上。 Exoshffle-CloudSort使用40 i44大型工人,在5378秒内完成100个TB云体基准(Indy类别),平均总费用为97美元。
0
下载
关闭预览

相关内容

亚马逊公司（Amazon，简称亚马逊；NASDAQ：AMZN），是美国最大的一家网络电子商务公司，位于华盛顿州的西雅图。是网络上最早开始经营电子商务的公司之一，亚马逊成立于1995年，一开始只经营网络的书籍销售业务，现在则扩及了范围相当广的其他产品，已成为全球商品品种最多的网上零售商和全球第二大互联网企业，在公司名下，也包括了AlexaInternet、a9、lab126、和互联网电影数据库（Internet Movie Database，IMDB）等子公司。
不可错过！《机器学习100讲》课程，UBC Mark Schmidt讲授
不可错过！《机器学习100讲》课程，UBC Mark Schmidt讲授
专知会员服务
71+阅读 · 2022年6月28日
Linux导论，Introduction to Linux，96页ppt
Linux导论，Introduction to Linux，96页ppt
专知会员服务
76+阅读 · 2020年7月26日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
CVPR 2020 论文开源项目合集
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看！13篇CVPR2020论文链接/开源代码/解读
抢鲜看！13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
31+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
53+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
InfoQ
0+阅读 · 2022年8月26日
VALSE Webinar 22-06期 总第272期 我要找到你：2D/3D物体检测和定位
VALSE Webinar 22-06期 总第272期 我要找到你：2D/3D物体检测和定位
VALSE
2+阅读 · 2022年3月17日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
局部学习的特征选择：Local-Learning-Based Feature Selection
局部学习的特征选择：Local-Learning-Based Feature Selection
我爱读PAMI
14+阅读 · 2019年9月20日
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
专知
11+阅读 · 2018年6月24日
【推荐】NiftyNet：面向医学图像分析和图像引导治疗的开源CNN平台（附代码）
【推荐】NiftyNet：面向医学图像分析和图像引导治疗的开源CNN平台（附代码）
机器学习研究会
12+阅读 · 2018年1月27日
ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
【推荐】ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【推荐】YOLO实时目标检测(6fps)
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】GAN架构入门综述(资源汇总)
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
mPFC神经环路中突触结构重塑与慢性应激大鼠抑郁样行为的关系研究
国家自然科学基金
0+阅读 · 2015年12月31日
纳米分辨率显微视频的像素级数据挖掘研究
国家自然科学基金
0+阅读 · 2015年12月31日
诊断超声击破载Aβ抗体微泡联合NSCs跨BBB治疗阿尔茨海默病的研究
国家自然科学基金
0+阅读 · 2014年12月31日
早年应激与nectin-afadin系统调控海马环路发育与可塑性的分子机制
国家自然科学基金
0+阅读 · 2014年12月31日
DG区突触外NMDAR-2B 与DAPK1结合介导APP/PS1小鼠海马内环路损伤的机制
国家自然科学基金
0+阅读 · 2013年12月31日
晶粒细化、Al元素、Zr（Hf， Sc）微量元素协同效应对核结构材料ODS钢的耐腐蚀性和力学性能的优化及机理研究
国家自然科学基金
0+阅读 · 2012年12月31日
高能物理数据分析的Hadoop/HBASE平台研究
国家自然科学基金
1+阅读 · 2012年12月31日
地理参照条带模式星载SAR理论与方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
汽车嵌入式系统服务与数据融合中间件研究
国家自然科学基金
2+阅读 · 2012年12月31日
图像匹配的新方法研究：李群约束的优化算法
国家自然科学基金
0+阅读 · 2009年12月31日
Predicted Embedding Power Regression for Large-Scale Out-of-Distribution Detection
Arxiv
0+阅读 · 2023年3月7日
Cross-validatory model selection for Bayesian autoregressions with exogenous regressors
Arxiv
0+阅读 · 2023年3月7日
Enhancing Fine-Grained 3D Object Recognition using Hybrid Multi-Modal Vision Transformer-CNN Models
Arxiv
0+阅读 · 2023年3月6日
Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem
Arxiv
0+阅读 · 2023年3月6日
DRKF: Distilled Rotated Kernel Fusion for Efficient Rotation Invariant Descriptors in Local Feature Matching
Arxiv
0+阅读 · 2023年3月6日
Coarse-to-Fine Point Cloud Registration with SE(3)-Equivariant Representations
Arxiv
0+阅读 · 2023年3月4日
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
Arxiv
0+阅读 · 2023年3月3日
Distributed Machine Learning on Mobile Devices: A Survey
Distributed Machine Learning on Mobile Devices: A Survey
Arxiv
35+阅读 · 2019年9月18日
Detect-to-Retrieve: Efficient Regional Aggregation for Image Search
Arxiv
15+阅读 · 2018年12月4日
Rotation-Sensitive Regression for Oriented Scene Text Detection
Arxiv
12+阅读 · 2018年3月14日
VIP会员
文章信息
前往arXiv
下载PDF
相关主题
Amazon
总体代价
Amazon EC2
Ray
代价
相关VIP内容
不可错过！《机器学习100讲》课程，UBC Mark Schmidt讲授
不可错过！《机器学习100讲》课程，UBC Mark Schmidt讲授
专知会员服务
71+阅读 · 2022年6月28日
Linux导论，Introduction to Linux，96页ppt
Linux导论，Introduction to Linux，96页ppt
专知会员服务
76+阅读 · 2020年7月26日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
161+阅读 · 2020年3月18日
CVPR 2020 论文开源项目合集
专知会员服务
109+阅读 · 2020年3月12日
抢鲜看！13篇CVPR2020论文链接/开源代码/解读
抢鲜看！13篇CVPR2020论文链接/开源代码/解读
专知会员服务
49+阅读 · 2020年2月26日
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
Connections between Support Vector Machines, Wasserstein distance and gradient-penalty GANs
专知会员服务
31+阅读 · 2019年10月17日
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
Deep Learning Based Detection and Correction of Cardiac MR Motion Artefacts During Reconstruction for High-Quality Segmentation
专知会员服务
53+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
30+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
144+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
[综述]深度学习下的场景文本检测与识别
专知会员服务
77+阅读 · 2019年10月10日
热门VIP内容
相关资讯
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
字节跳动开源自研 Shuffle 框架——Cloud Shuffle Service
InfoQ
0+阅读 · 2022年8月26日
VALSE Webinar 22-06期 总第272期 我要找到你：2D/3D物体检测和定位
VALSE Webinar 22-06期 总第272期 我要找到你：2D/3D物体检测和定位
VALSE
2+阅读 · 2022年3月17日
【ICIG2021】Latest News & Announcements of the Plenary Talk1
【ICIG2021】Latest News & Announcements of the Plenary Talk1
中国图象图形学学会CSIG
0+阅读 · 2021年11月1日
局部学习的特征选择：Local-Learning-Based Feature Selection
局部学习的特征选择：Local-Learning-Based Feature Selection
我爱读PAMI
14+阅读 · 2019年9月20日
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
【代码资源】GAN | 七份最热GAN文章及代码分享（Github 1000+Stars）
专知
11+阅读 · 2018年6月24日
【推荐】NiftyNet：面向医学图像分析和图像引导治疗的开源CNN平台（附代码）
【推荐】NiftyNet：面向医学图像分析和图像引导治疗的开源CNN平台（附代码）
机器学习研究会
12+阅读 · 2018年1月27日
ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
全球人工智能
19+阅读 · 2017年12月17日
【推荐】ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
【推荐】ResNet, AlexNet, VGG, Inception：各种卷积网络架构的理解
机器学习研究会
20+阅读 · 2017年12月17日
【推荐】YOLO实时目标检测(6fps)
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】GAN架构入门综述(资源汇总)
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
相关论文
Predicted Embedding Power Regression for Large-Scale Out-of-Distribution Detection
Arxiv
0+阅读 · 2023年3月7日
Cross-validatory model selection for Bayesian autoregressions with exogenous regressors
Arxiv
0+阅读 · 2023年3月7日
Enhancing Fine-Grained 3D Object Recognition using Hybrid Multi-Modal Vision Transformer-CNN Models
Arxiv
0+阅读 · 2023年3月6日
Learning linear operators: Infinite-dimensional regression as a well-behaved non-compact inverse problem
Arxiv
0+阅读 · 2023年3月6日
DRKF: Distilled Rotated Kernel Fusion for Efficient Rotation Invariant Descriptors in Local Feature Matching
Arxiv
0+阅读 · 2023年3月6日
Coarse-to-Fine Point Cloud Registration with SE(3)-Equivariant Representations
Arxiv
0+阅读 · 2023年3月4日
A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning
Arxiv
0+阅读 · 2023年3月3日
Distributed Machine Learning on Mobile Devices: A Survey
Distributed Machine Learning on Mobile Devices: A Survey
Arxiv
35+阅读 · 2019年9月18日
Detect-to-Retrieve: Efficient Regional Aggregation for Image Search
Arxiv
15+阅读 · 2018年12月4日
Rotation-Sensitive Regression for Oriented Scene Text Detection
Arxiv
12+阅读 · 2018年3月14日
相关基金
mPFC神经环路中突触结构重塑与慢性应激大鼠抑郁样行为的关系研究
国家自然科学基金
0+阅读 · 2015年12月31日
纳米分辨率显微视频的像素级数据挖掘研究
国家自然科学基金
0+阅读 · 2015年12月31日
诊断超声击破载Aβ抗体微泡联合NSCs跨BBB治疗阿尔茨海默病的研究
国家自然科学基金
0+阅读 · 2014年12月31日
早年应激与nectin-afadin系统调控海马环路发育与可塑性的分子机制
国家自然科学基金
0+阅读 · 2014年12月31日
DG区突触外NMDAR-2B 与DAPK1结合介导APP/PS1小鼠海马内环路损伤的机制
国家自然科学基金
0+阅读 · 2013年12月31日
晶粒细化、Al元素、Zr（Hf， Sc）微量元素协同效应对核结构材料ODS钢的耐腐蚀性和力学性能的优化及机理研究
国家自然科学基金
0+阅读 · 2012年12月31日
高能物理数据分析的Hadoop/HBASE平台研究
国家自然科学基金
1+阅读 · 2012年12月31日
地理参照条带模式星载SAR理论与方法研究
国家自然科学基金
0+阅读 · 2012年12月31日
汽车嵌入式系统服务与数据融合中间件研究
国家自然科学基金
2+阅读 · 2012年12月31日
图像匹配的新方法研究：李群约束的优化算法
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员
Top