组合分类器是近年来机器学习领域非常热门的一种建模方法。组合学习是这样一个过程，多种模型，如分类器或专家系统，以某种策略分别产生并组合起来解决一个特定的计算智能问题。组合学习主要是用来提高模型的性能，或降低选择一个很差的模型的可能性。本文以组合分类器为主要研究对象，重点对几种组合分类器算法，装袋，提升，随机森林，旋转森林进行了深入的研究。本文通过实验对bagging，AdaBoost和random forest算法进行了比较，证实了random forest的设计思想：在bagging的基础上引入变量选择的随机性，是非常有效的。Random forest不仅能显著减少算法的运行时间，而且绝大多数情况下可以提高预测的准确率，这也正是random forest适合处理高维数据的原因。在UCI数据集上进行实验，确定了rotation forest算法中两个参数的最佳取值方法，证实了rotation forest在小规模集成情况下即可获得较好的识别率。根据不平衡数据集的特点，改进random forest和AdaBoost算法。AdaBoost中引入基分类器对样本不同类别的识别权重。随机森林则在三个方面：自助样本的生成，最佳分离值的寻找，叶子结点标签的确定都加入了样本权重。在UCI数据集上进行实验，证实了改进的AdaBoost算法的有效性及存在的缺陷，确定了weighted random forest算法中正负类权重的设置范围。实验表明，处理不平衡数据类的时候，若权重设置合适，weighted random forest可以取得比random forest更好的识别效果。