异构并行环境下的MapReduce资源调度模型与方法研究

项目名称： 异构并行环境下的MapReduce资源调度模型与方法研究

项目编号： No.61370095

项目类型： 面上项目

立项/批准年度： 2013

项目学科： 自动化技术、计算机技术

项目作者： 李克勤

作者单位： 湖南大学

项目金额： 79万元

中文摘要： 如何构建面向CPU/GPU异构环境的Map-Reduce系统将有助于解决超级计算在大数据处理方面的实际应用难题。本课题首先通过分析异构机群系统的特点，提出其面向Map-Reduce的结构划分策略，并由此提出 Map-Reduce在大数据处理中的随机任务图模型，以描述随机任务间的基本关系。其次提出了基于随机概率分布的任务量动态预测算法，并在此基础上实现了基于计算任务类型的动态资源调度模型。最后通过在CPU/GPU节点上建立面向大数据处理的线程级负载均衡及节点容错模型，推进了Map-Reduce资源调度模型在异构机群上的实现。本课题将基于国家超算长沙中心的天河1号异构超级计算机系统对本项目的理论和原型进行全面的性能评估与测试。本项目中的所建立的异构环境下的Map-Reduce资源调度模型将是云服务在超算平台上部署和应用的突破，是提升大数据处理并行计算性能的关键，具有重要的理论与实际价值。

中文关键词： 异构系统；并行计算；MapReduce；任务调度；

英文摘要： Developing CPU/GPU based heterogeneous Map-Reduce systems helps to solve Big Data processing problems in super computing environments. This project first presents a Map-Reduce based heterogeneous cluster system multi-layer architecture partitioning mechan

英文关键词： Heterogeneous System；parallel computing；MapReduce；Task Scheduling；