时间：2024-07-17 19:01:05
Spark是怎么做内存计算的？Spark为什么比MapReduce 快？
Spark会产生DAG图，DAG图会基于分区和宽窄依赖关系划分阶段。一个阶段的内部都是窄依赖，窄依赖内，如果形成前后1：1的分区对应关系，就可以产生许多内存迭代计算的管道。
这些内存迭代计算的管道，就是一个个具体的执行Task，一个Task是一个具体的线程，任务跑在一个线程内，就是走内存计算了。
Spark的算子丰富，MapReduce算子圆乏(Map和Reduce)，MapReduce这个编程模型，很难在一套MR中处理复杂的任务。很多的复杂任务，是需要写多个MapReduce进行串联.多个MR串联通过磁盘交互数据。
《spark是怎么做内存计算的》不代表本网站观点，如有侵权请联系我们删除
