论文部分内容阅读
随着现今网络视频点播服务(VOD)的发展,如何在大用户量、高并发流的环境下,保证点播质量、提高系统的负载能力是视频点播技术所面临的关键问题。从系统的角度分析,负载能力问题研究通常包括系统架构、视频编解码、传输协议、接入控制、存储调度等方面的内容,近年来快速发展的云计算技术可以为我们提供新的研究思路。因此,如何结合云计算相关技术来构建新的点播模型和改进负载能力,就变得既具有挑战性,又具有十分重要的现实意义。本文结合近年作者参与视频点播类项目中的实际经验,深入细致地分析、比较了典型视频点播集群架构、接入控制和存储调度的设计思路、实现方法、部署方法及其性能优缺点,围绕基于互联网的大规模视频点播负载能力核心问题,综合利用资源预测技术、虚拟化技术和云存储技术,从优化和改进大规模视频点播的负载能力入手,重点研究了系统架构、资源调度、接入控制、云存储等方面的内容。本文具体工作如下:(1)设计了一个基于全虚拟化的点播服务云架构,该架构模型可以根据虚拟化节点的监测数据进行动态调度物理资源,相比传统的物理部署模式,大大提高了硬件资源的利用率,扩充了集群的负载支撑能力。(2)提出了一个基于资源预测的动态集群调度管理策略:根据对硬件资源的实际需求(由点播文件的热度、受欢迎程度决定),动态调整虚拟机之间资源的分配比例,提升资源的利用效率以及平衡虚拟机间的负载。相比EDF、Credit算法,本算法可以使得访问热点资源的点播服务所在虚拟机能获得更多物理资源的支撑,从而有效提高了整个集群模型的弹性服务能力。(3)本文把蚁群聚类引入到热度分析算法中,尝试做前期无干预的非规则聚类,然后再根据聚类结果来形成热点视频集合,并对于这些集合资源的访问做优先访问控制,这样不仅避免了zipf算法中α取值的不确定性,并且还可以更加真实的保证目标视频热点内容的覆盖范围。(4)实现了一种基于视频热度的接入控制算法。该算法主要针对视频点播服务进行行为度量及分析,相比传统的robin、贪婪法和访问次数等接入控制算法,该算法根据初始接入的测量带宽、客户端类型、被请求视频文件热度等参数来设定权值,最大可能满足用户对热点资源的点播请求,也间接提高了系统的服务负载能力。(5)设计和实现了一个轻量级简化的视频点播云存储模型LiDFS (LightweightData File System)。该模型采用松弛耦合非对称低成本阵列(LCA)架构,精简了通信协议、优化了同步机制及文件块存储定位机制,相比GoogleFS、MongoDB等开源存储模型有着更好的快速资源共享能力及低成本构建能力,且对于资源类大文件存取有着更高的读写速率和可用度。(6)提出了一个热度优先的视频内容副本调度算法。该算法根据热度(文件访问次数、请求时间、时间段频率等)来决定对文件做镜像、预迁移的操作,保证文件最快速被请求和减少传输距离(路由),从而有效提高了视频文件响应速度,以便于保证尽可能多的文件请求被接受,进而更好地实现视频服务的调度,有效提高整个视频点播服务系统的负载能力。实验结果表明以上方法从多角度较好地改进了视频点播的负载能力。本文所述工作已有部分成功应用于广州大学数字校园的建设项目中,且取得了较好的应用效果。