4-基于Multi-GPU平台的大规模图数据处理

2018 年 1 月 15 日 计算机研究与发展 张珩,张立波等
基于Multi-GPU平台的大规模图数据处理

在面向新型加速硬件的数据管理方面,GPU能够提供大规模线程的并行环境、高吞吐的内存和缓冲访问机制,因此基于GPU的大规模图数据处理算法和系统日益成为研究热点。但是,单个GPU的访存空间容量限制了图数据的规模。

张珩等作者在论文基于Multi-GPU平台的大规模图数据处理中提出了一个基于多GPU平台的支持高效、可扩展的大规模图数据处理系统GFlowGFlow提出了适用于多GPU的图数据切分策略和双展滑动窗口算法,合理布局图的属性数据、图结构数据和迭代计算的中间结果,从SSD存储至GPU设备动态地加载数据分块,从而有效地支持GPU对大规模图的计算。实验表明GFlow在多GPU平台下相比其他外存图处理系统有明显的性能优势。


【引用】

张珩,张立波,武延军. 基于Multi-GPU平台的大规模图数据处理[J]. 计算机研究与发展,2018,55(2):273-288.
Zhang Heng,Zhang Libo, WuYanjun. Large-Scale Graph Processing on Multi-GPU Platforms. Journal of Computer Research and Development, 2018,55(2):273-288

点击文末“阅读全文”可抢鲜阅读。

       《计算机研究与发展》面向新型硬件的数据管理专题内容涵盖面向新型非易失存储NVM的数据管理和面向新型加速硬件的数据管理两大方面,并反映了国内学术领域和华为、阿里等产业界在面向新型硬件的数据管理方面的主要工作。包括7篇文章:

NV-Shuffle:基于非易失内存的Shuffle机制

面向大数据处理的基于Spark的异质内存编程框架

基于高性能SOC FPGA阵列的NVM验证架构设计与验证

基于Multi-GPU平台的大规模图数据处理

大数据处理中Hash Joins的加速实例

面向数据库的持久化事务内存

X-DB:软硬一体的新型数据库系统

登录查看更多
0

相关内容

FPGA加速系统开发工具设计:综述与实践
专知会员服务
63+阅读 · 2020年6月24日
专知会员服务
78+阅读 · 2020年6月20日
基于深度学习的多标签生成研究进展
专知会员服务
140+阅读 · 2020年4月25日
【大规模数据系统,552页ppt】Large-scale Data Systems
专知会员服务
58+阅读 · 2019年12月21日
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
35+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
3D Face Modeling from Diverse Raw Scan Data
Arxiv
5+阅读 · 2019年2月13日
Accelerated Methods for Deep Reinforcement Learning
Arxiv
6+阅读 · 2019年1月10日
Rapid Customization for Event Extraction
Arxiv
7+阅读 · 2018年9月20日
Arxiv
4+阅读 · 2018年9月11日
Arxiv
7+阅读 · 2018年6月19日
Arxiv
3+阅读 · 2018年3月2日
VIP会员
相关资讯
分布式智能计算系统前沿
中国计算机学会
18+阅读 · 2019年10月8日
分布式入门,怎样用PyTorch实现多GPU分布式训练
机器之心
7+阅读 · 2019年5月3日
基于统计关系学习的自动数据清洗
FCS
7+阅读 · 2019年3月1日
面向云端融合的分布式计算技术研究进展与趋势
中国计算机学会
18+阅读 · 2018年11月27日
【知识图谱】大规模知识图谱的构建、推理及应用
产业智能官
35+阅读 · 2017年9月12日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
相关论文
Top
微信扫码咨询专知VIP会员