随着互联网、物联网和人工智能等技术的广泛应用,大数据分析在各行各业中都变得越来越重要。如今的大数据处理系统,如Hadoop Map Reduce、Spark和Flink等,都将上层的大数据应用抽象为一组待调度的作业。由于数据处理作业的逻辑高度复杂,所处理的大数据作业状态动态变化,现有的静态作业调度算法考虑的重点有限,无法同时兼顾调度算法的高性能与集群资源的高效使用。因此,如何设计合适的调度器,使得在作业调度的过程中能够降低作业平均周转时间和作业最大完成时间,同时又能达到高效且稳定的资源使用,是一个在学术界和工业界都存在的重大挑战。针对上述问题,本文提出了一种基于作业完成时间预测模型和调度增益评价算法的云环境下大数据处理系统作业调度算法。论文首先针对作业调度问题的评价指标进行分析建模,然后基于该性能模型,给出了云环境下大数据处理系统作业调度问题的正式定义,目标是在满足用户资源使用范围的约束条件下,减少作业平均周转时间和作业最大完成时间。最后,本文将设计的调度算法与其他四种经典的作业调度算法进行对比,得出研究结论。本文具体研究内容包括以下三个方面:（1）基于云环境下的大数据处理系统,对大数据处理系统中的作业调度问题进行数学建模。从作业调度过程、调度算法性能指标和集群资源利用指标等方面进行建模,涵盖了作业调度算法所涉及的作业平均周转时间和作业最大完成时间和资源利用率等各方面因素。（2）针对不同作业类型与集群资源使用情况的关系,建立作业完成时间预测模型,对作业在不同的集群资源使用情况下的完成时间进行预测。对于单个作业,在不同的资源利用率环境下进行独立实验,并测量记录完成时间,通过回归技术进行拟合,即可对作业在不同资源使用情况下的作业完成时间进行预测。（3）设计并实现了一种作业调度性能优化调度算法（Performance-aware Scheduling Algorithm,PAS）。在每一个调度间隙,采用贪婪算法和单步向前算法,以提升单次作业调度的调度收益,从而达到降低作业平均周转时间和作业最大完成时间的目的。本文采用业界常用的开源大数据作业管理系统Hadoop YARN系统进行作业调度算法的性能验证,并通过对比其他四种调度算法AHP算法、SJF算法、FIFO算法和DRF算法对本文提出的PAS算法进行性能评估。实验结果表明本文提出的PAS算法效果比现有的四个主流调度算法,在作业平均周转时间上最高提升达到42.08%,在作业最大完成时间上最高提升达到20.9%,并且在资源可利用率上更加稳定高效,达到了优化的目标。