基于改进模拟退火算法的Hadoop云平台下新型调度器的研究和开发
太原理工大学 李悦
本文所做工作如下： 首先,针对目前的Hadoop平台,分析,研究了Hadoop的设计理念,运行机制,掌握了MapReduce的处理框架,并对Hadoop现有调度器进行了深入的学习,包括Hadoop默认的FIFO先进先出调度器,Hadoop中自带的公平调度器,计算能力调度器,以及在MapReduce事项列表中正式提出且已设计出但尚未在Hadoop2.0之前的版本中正式使用的资源感知调度器和自适应调度器。针对以上五种调度器,探讨了它们的设计理念,并对它们的调度机理进行了研究和分析,指出了目前各种调度器中所存在的不同问题。 然后,根据之前的工作中所总结的在现有各种调度器中所存在的普遍问题,本文提出并设计了一种新型的调度器,能有效地解决之前调度器中所存在的对大内存需求作业调度吃紧的问题。设计思路采用改进型的模拟退火算法,首先对传统的模拟退火算法进行了分析,之后对如何在调度器中应用给出了改进方法,根据Hadoop平台下的调度器原理进行了基于模拟退火算法新型调度策略的设计并依据该策略开发了新型的Hadoop调度器。 最后,本文对新型调度器进行了实际情况测试,包括Hadoop中实现调度器的自由切换,针对不同类型作业的调度情况测试,在同一种作业下与计算能力调度器的调度对比测试等等。
基于改进模拟退火算法的Hadoop云平台下新型调度器的研究和开发
