项目名称: 基于数据多维属性的低能耗数据分布策略研究

项目编号: No.60873028

项目类型: 面上项目

立项/批准年度: 2009

项目学科: 金属学与金属工艺

项目作者: 王芳

作者单位: 华中科技大学

项目金额: 30万元

中文摘要: 近年来,随数字信息爆炸性增长,数据中心规模越来越大。磁盘因其旋转机械特性等,使得存储系统相关能耗所占比例越来越高。项目根据磁盘的三种工作状态能耗特征,分析挖掘数据间的依赖关系,对传统磁盘阵列上的数据分布进行优化,在分析传统日志数据布局基础上,提出了更加高效节能的旋转日志架构;基于此,利用新型存储器件固态盘设计了异构混合存储架构(H2A),在此存储架构上实现了一种动态的数据重分布方法,在保证读写性能同时,降低存储系统能耗;提出动态数据重分布方法(LoRo),利用I/O负载局部性和双峰分布特点,将读请求定向到随机读性能具有优势的固态盘,而将写请求定向到顺序写性能具有优势的磁盘,以进一步降低由固态盘和磁盘构成的混合磁盘系统能耗;研究分析了新型固态存储设备内部优化调度方法;通过分析数据内在关系删除冗余数据以提高系统备份存储服务效率;提出高可靠存储节点的性能优化方法。 项目按计划完成了研究内容,申报国家发明专利15 项,已获授权3 项。发表论文26 篇,其中SCI 收录4篇,EI 收录17篇。相关研究成果作为关键技术之一,获2011年湖北省技术发明一等奖。

中文关键词: 海量存储系统;固态盘;数据布局;低能耗;负载特征

英文摘要: With the explosive expansion of digital information, the size of data center is growing in recent years. Mechanical components of disk make it one of the major energy consumers of storage subsystem. According to the three states of disk, we analyzed dependencies of multiple data, optimized the data layout of disk-based RAID, and then developed an energy-efficient rotating log architecture. And we designed an hybrid storage architecture(H2A) by using SSDs and disks, and implemented a dynamic data redistribution method in this architecture to reduce storage power consumption as well as to ensure high performance. At the same time, we presented a dynamic data redistribution method(LoRo) which maked use of the I/O workloads locality and bimodal distribution to redirect random read requests to SSD, but write requests to disk to further reduce energy consumption in hybrid storage system. We researched the possible method of SSD scheduling, data de-duplication policy to provide high performance backup services, and put forward performance optimization policy of highly reliable storage nodes. The planned research works are finished according to the project application. The related technologies have applied 15 invention patents in which 3 had been authorized. 26 papers are published, 4 papers are indexed by SCI, and 17 papers are selected by EI. One Hubei province technical invention award of first class was awarded.

英文关键词: Massive Storage System;Solid State Disks; Data Layout; Low Power Consumption;Workload Characteristics

成为VIP会员查看完整内容
0

相关内容

数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
面向端边云协同架构的区块链技术综述
专知会员服务
45+阅读 · 2021年12月24日
专知会员服务
15+阅读 · 2021年8月6日
专知会员服务
36+阅读 · 2021年7月8日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
41+阅读 · 2021年3月28日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
专知会员服务
48+阅读 · 2020年12月19日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
综述 | 基于GNN的异常检测
图与推荐
1+阅读 · 2021年9月27日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
已删除
将门创投
12+阅读 · 2017年10月13日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
小贴士
相关VIP内容
数据中心产业图谱研究报告,41页pdf
专知会员服务
53+阅读 · 2022年1月31日
面向端边云协同架构的区块链技术综述
专知会员服务
45+阅读 · 2021年12月24日
专知会员服务
15+阅读 · 2021年8月6日
专知会员服务
36+阅读 · 2021年7月8日
图计算加速架构综述
专知会员服务
47+阅读 · 2021年4月5日
专知会员服务
41+阅读 · 2021年3月28日
【WWW2021】大规模智能手机数据的异质联邦学习
专知会员服务
39+阅读 · 2021年3月8日
专知会员服务
48+阅读 · 2020年12月19日
大规模时间序列分析框架的研究与实现,计算机学报
专知会员服务
58+阅读 · 2020年7月13日
相关资讯
综述 | 基于GNN的异常检测
图与推荐
1+阅读 · 2021年9月27日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
亿级订单数据的访问与存储,怎么实现与优化?
码农翻身
16+阅读 · 2019年4月17日
使用 Canal 实现数据异构
性能与架构
20+阅读 · 2019年3月4日
已删除
将门创投
12+阅读 · 2017年10月13日
相关基金
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员