spark的核心设计思想是什么?

关注者
36
被浏览
5,647
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

Spark作为Hadoop中MapReduce的一个改进,核心设计思想即弹性分布式数据集,也就是我们常说的RDD。关于RDD可以看我这个回答:

RDD实际上是Spark的最基本的数据结构,比起简单的MapReduce,Spark在RDD上定义了很多操作,例如Filter、flatMap、groupByKey等等。另外,相对于Hadoop会将每一步的计算结果写入硬盘,Spark是将中间结果缓存进内存,这样能够降低读写时间,提高了数据的处理速度。