基于机器学习的 MapReduce 调度算法的设计文献综述

 2021-10-14 20:47:38

毕业论文课题相关文献综述

MapReduce 是被广泛使用的在大规模的计算机集群下并行计算的开发模型。

Apache 的 hadoop和 Google 的 MapReduce都是这种架构在成千上万的机器的集群中的实现。

MapReduce 的应用广泛,例如网络搜索和大数据处理。

MapReduce框架的基本原理是每个工作都经过几个相互独立的阶段处理,每个阶段都包含许多并行运行的任务。

其中相互独立的阶段一般分为:map阶段,shuffle阶段和reduce阶段。

其中map阶段和reduce阶段数据处理的主要工作,shuffle阶段主要是传输中间数据。

现在许多的MapReduce 的优化研究都将重点放在数据处理阶段,也就是上面提到的map和reduce阶段。

相关的算法包括:经典的先来先服务算法(FIFO), Yahoo 公司提出的考虑Capacity的调度算法, Facebook提出的考虑公平性Fair算法。

由于上述的三个算法的一个基本假定是:系统中处理器节点是同质的。

后来又有学者针对处理节点的能力不同,提出了最长时间估计算法(LATE 算法),自适应的 MapReduce 调度算法(SAMR 算法)。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。