数据库存储模型简述

2017 年 8 月 28 日 大数据和云计算技术 朱洁

数据库现在应该是无人不知,无人不晓,讲到数据库必然要提到两个人:

1、一个是E.F. Codd,这个是理论的开创者,来瞻仰下:

埃德加·弗兰克·科德(Edgar Frank Codd,1923-2003)是密执安大学哲学博士,IBM公司研究员,被誉为“关系数据库之父”,并因为在数据库管理系统的理论和实践方面的杰出贡献于1981年获图灵奖。1970年,科德发表题为“大型共享数据库的关系模型”的论文,文中首次提出了数据库的关系模型。由于关系模型简单明了、具有坚实的数学理论基础,所以一经推出就受到了学术界和产业界的高度重视和广泛响应,并很快成为数据库市场的主流。

2、另外一个是Michael Stonebrake,获得2015年图领奖。这位大师就是实践的代表,没发表了几篇论文,但是确实数据库行业的开创者。

在1970年代前期,Michael Stonebraker就在Edgar Codd的关系数据库论文启发下,组织伯克利的师生,开始开发最早的两个关系数据库之一Ingres(另一个是IBM System R),Ingres的基础上后来发展出Sybase和SQL Server两大主流数据库。Ingres在关系数据库的查询语言设计、查询处理、存取方法、并发控制和查询重写等技术上都有重大贡献。

1980年代他又开发了POSTGRES项目,目的是在关系数据库之上增加对更复杂的数据类型的支持,包括对象、地理数据、时间序列数据等。后来这个系统演变为开源的PostgreSQL,Greenplum、Aster Data、Netezza和Stonebraker自己创办的Ilustra(后被Informix收购)等多个商业公司和开源的产品都是基于PostgreSQL开发的。

1990年代,他启动了联邦数据库Mariposa,基于此创办了Cohera公司,后被PeopleSoft收购。Mariposa和稍早的XPRS(与Randy Katz、David Patterson和John Ousterhout诸位大牛合作)和Distributed Ingres两个项目开了一代分布式数据库风起之先。Shared Nothing架构这一重要概念也是那个时期提出来的,这已经成为如今大数据系统的基石之一。

3、数据库存储模型分类和适合场景

按关系模型来组织和管理,存储数据,流行了30多年,最近这十年才因为数据量爆炸,为了保证性能,工业界在关系模型上做了一定的妥协,针对不同的场景,采用不同的存储方式,没有完全遵守数据库模型。类似redis这种的又是非关系型数据库,这类技术被称之为NoSQL,还有新出现的一类数据库,NewSQL,NewSQL是不仅具有NoSQL对海量数据的存储管理能力,还保持了传统数据库对ACID和SQL特性的支持。

NoSQL相对传统数据库是实践的妥协,为了实现高吞吐量,不支持ACID数据库的设计范式。NoSQL没有统一的查询语言。

按照存储模型来说分为以下4类。

  列式存储模型

  文档数据模型

  键值数据模型

  图式数据模型

  • 列式存储模型

应用场景:分布式数据存储,在分布式文件系统上支持随机读写的分布式数据存储。

典型的产品:Hadoop/Hbase,Hypertable

数据模型:以“列”为中心进行存储,将同一列数据存储在一起。

优点:快速查询,高可扩展性,易于实现分布式扩展。

  • 文档数据模型

应用场景:非强事务需求的web应用。

典型的产品:MongoDB,Elasticsearch

数据模型:键值模型,存储为文档模型

优点:数据模型无须事先定义,存储很随意。

  • 键值数据模型

应用场景:内容缓存,用于大量的并行数据访问的高负载场景。

典型的产品:Redis,DynamoDB,LevelDB

数据模型:基于哈希表实现的key-value

有点:查询迅速,写入迅速

缺点:数据没有什么结构

  • 图式数据模型

应用场景:社交网络、推荐系统,关系图谱(如陌陌的附近的人这样的功能)

典型的产品:Neo4J

数据模型:图式结构

优点:适用于图式计算场景



为了方便大家相互交流学习,创建了一个公众号同名微信群:《大数据和云计算技术交流群》,欢迎大家加下面我的微信,我拉大家进群,自由交流。


登录查看更多
0

相关内容

关系模型:在AI领域,关系模型,强调对象之间关系的研究,多用于自然语言处理,关系分析,如序列关系分析。
【硬核书】可扩展机器学习:并行分布式方法
专知会员服务
81+阅读 · 2020年5月23日
【Manning新书】现代Java实战,592页pdf
专知会员服务
98+阅读 · 2020年5月22日
【干货】大数据入门指南:Hadoop、Hive、Spark、 Storm等
专知会员服务
94+阅读 · 2019年12月4日
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
17+阅读 · 2018年12月21日
知识图谱的系统工程观
中国计算机学会
18+阅读 · 2018年11月13日
PyTorch 1.0尝鲜版,这些改进你需要注意
专知
4+阅读 · 2018年10月3日
【智能商务】海量商品查找利器—苏宁搜索系统
产业智能官
5+阅读 · 2017年12月1日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
Federated Learning for Mobile Keyboard Prediction
Arxiv
4+阅读 · 2018年11月8日
Arxiv
8+阅读 · 2018年2月23日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
3+阅读 · 2012年11月20日
VIP会员
相关资讯
工行基于MySQL构建分布式架构的转型之路
炼数成金订阅号
15+阅读 · 2019年5月16日
蚂蚁金服微服务实践(附演讲PPT)
开源中国
17+阅读 · 2018年12月21日
知识图谱的系统工程观
中国计算机学会
18+阅读 · 2018年11月13日
PyTorch 1.0尝鲜版,这些改进你需要注意
专知
4+阅读 · 2018年10月3日
【智能商务】海量商品查找利器—苏宁搜索系统
产业智能官
5+阅读 · 2017年12月1日
大规模知识图谱的构建、推理及应用
人工智能头条
15+阅读 · 2017年8月29日
干货 | 大规模知识图谱的构建、推理及应用
机器学习研究会
11+阅读 · 2017年8月28日
相关论文
Federated Learning for Mobile Keyboard Prediction
Arxiv
4+阅读 · 2018年11月8日
Arxiv
8+阅读 · 2018年2月23日
Arxiv
6+阅读 · 2018年1月29日
Arxiv
3+阅读 · 2012年11月20日
Top
微信扫码咨询专知VIP会员