The amount of remote sensing (RS) data has increased at an unexpected scale, due to the rapid progress of earth-observation and the growth of satellite RS and sensor technologies. Traditional relational databases attend their limit to meet the needs of high-resolution and large-scale RS Big Data management. As a result, massive RS data management is currently one of the most imperative topics. To address this problem, this paper describes a distributed architecture for big RS data storage based on a unified metadata file, pyramid model, and Hilbert curve for data composition and indexing using NoSQL databases (i.e, Apache Hbase). In this paper, a Hadoop-based framework in AzureInsight cloud platform is designed to manage massive RS data in a parallel and distributed way. Experimental results prove that our method has the potential to overcome the weakness of traditional methods. The proposed model is suitable for massive high-resolution image data management.


翻译:由于地球观测的迅速进步以及卫星RS和传感器技术的发展,遥感数据的数量在意外规模上增加了。传统的关系数据库在满足高分辨率和大规模RS大数据管理需要方面尽其所能。结果,大规模的RS数据管理目前是最迫切的议题之一。为了解决这一问题,本文件描述了一个分布式的大型RS数据储存结构,其基础是统一的元数据文档、金字塔模型和Hilbert曲线,用于利用NOSQL数据库(即Apache Hbase)的数据构成和索引编制。本文中,AzureInsight云平台的Hadoop框架旨在平行和分散地管理大量的RS数据。实验结果证明我们的方法有可能克服传统方法的弱点。拟议的模型适合于大规模高分辨率图像数据管理。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
最新《Transformers模型》教程,64页ppt
专知会员服务
278+阅读 · 2020年11月26日
专知会员服务
38+阅读 · 2020年9月6日
【2020新书】Kafka实战:Kafka in Action,209页pdf
专知会员服务
65+阅读 · 2020年3月9日
强化学习最新教程,17页pdf
专知会员服务
168+阅读 · 2019年10月11日
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
计算机 | ISMAR 2019等国际会议信息8条
Call4Papers
3+阅读 · 2019年3月5日
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年4月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Arxiv
20+阅读 · 2021年2月28日
Arxiv
3+阅读 · 2017年10月1日
VIP会员
相关资讯
分布式并行架构Ray介绍
CreateAMind
9+阅读 · 2019年8月9日
计算机 | ISMAR 2019等国际会议信息8条
Call4Papers
3+阅读 · 2019年3月5日
神器Cobalt Strike3.13破解版
黑白之道
12+阅读 · 2019年3月1日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
计算机类 | ISCC 2019等国际会议信息9条
Call4Papers
5+阅读 · 2018年12月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
16+阅读 · 2018年12月24日
已删除
将门创投
7+阅读 · 2018年4月25日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
Top
微信扫码咨询专知VIP会员