目前,批流融合数据处理是大数据领域研究和应用的热点,批流融合数据处理涉及的批式大数据处理、流式大数据处理及批流混合处理等内容都对运行支撑环境提出了更高、更复杂的需求。而传统的数据支撑环境主要是基于物理服务器和云服务器来实现对数据处理引擎工具的整合和使用。其在部署的敏捷性、资源利用的高效性和服务状态的实时性等方面有较大的资源开销。批流融合的数据处理要求更加剧了上述问题的发生。传统的大数据处理支撑环境已经不能有效地应对数据处理的要求。容器化技术作为近几年新兴的轻量级虚拟化技术,为实验和开发人员构建分布式应用提供了新的渠道。而容器化技术在快速革新的过程中也对批流数据处理服务提供了很好的支持。不过,大数据容器化服务在容器跨主机通信、容器调度等方面还有些许不足,在构建数据处理支撑环境方面还有诸多挑战。本文利用虚拟化容器作为批流数据处理支撑环境部署容器服务的承载平台,以Kubernetes作为基础工具使容器的管理和编排更加合理。通过前端可视化界面对开发人员需要的数据处理引擎进行部署和运维。通过批流融合数据处理支撑环境部署的容器化服务可以极大地提高服务节点的资源利用率和实验和研发人员的研发效率,并能够合理的对容器服务进行调度。针对上述问题,本文开展的主要工作如下:(1)设计了容器化的批流融合数据处理支撑环境架构。首先分析了批流融合处理应用对支撑环境的配置管理、执行环境的调整和资源负载的调整等方面的需求以及主流的批处理、流处理框架容器化后间通信和监控需求,提出了容器化的批流融合数据支撑环境分层架构以及相应的容器化服务,并重点设计了支撑环境的容器跨主机通信机制和容器状态监控机制。(2)针对批流融合数据处理服务在数据处理过程中对资源的动态需求问题,提出了批流融合数据处理支撑环境的容器资源自定义调度算法,并根据实际情况构建了规模化容器调度的约束模型以及衡量调度算法有效性的适应度模型,通过仿真实验平台CloudSim验证了调度算法在降低服务器节点CPU、内存等资源负载的有效性。保证通过支撑系统部署的容器化服务能够快速部署到相应的服务器节点。(3)基于Kubernetes实现了容器化批流融合数据处理支撑环境,重点对支撑环境的通信、监控以及调度等核心模块的实现进行了详细介绍。此外,还在物理服务器集群进行了搭建和部署,并通过实验室服务互联网、电网大数据多个相关项目进行了测试,为项目的研发、测试提供了大数据处理支撑环境。相关的应用结果表明了支撑环境在快速部署、服务状态监控以及控制服务器节点CPU、内存等资源负载情况方面具有较好的效果。