论文部分内容阅读
随着Internet的迅猛发展和普及,远程教育、视频点播、视频会议等流媒体服务系统越来越受到人们的青睐,而由于用户量的剧增与Internet网络传输的突发性和尽力服务,迫切需要高吞吐量、可扩展并适应Internet网络传输的流媒体服务系统。针对这些问题,中科院计算所提出了可动态伸缩的流媒体服务器系统BigHammer,该系统不但采用了动态伸缩的集群结构,在系统性能和扩展性方面表现出很好的特性,而且致力于开发更贴近网络传输特性的流媒体传输协议,使整个系统更易于获取网络资源。本文以BigHammer系统为背景,着重研究了流媒体服务器系统中的媒体数据管理系统MMCSS(Multimedia data Management for Clustered Streaming Servers)。 媒体数据管理系统MMCSS是保证流媒体服务器系统动态伸缩性的基础,它负责管理系统中媒体数据的定位和分布存储,为上层应用提供媒体文件的读取与写入服务;在系统存储容量改变后,对媒体数据进行重组,保证配置改变后的系统性能。 论文首先介绍了BigHammer流媒体服务器系统的总体结构与需求,对当前几种典型的媒体数据管理系统进行了比较分析,发现对于存储动态变化的系统来说,数据重组代价是一个影响系统性能的关键因素,其中包括迁移数据块量和重组计算时间两方面,而现有媒体数据管理系统在这些方面显现出了不足,因此如何减少重组代价成为了MMCSS设计与实现的主要目标。 然后,论文给出了MMCSS的详细设计,系统由Library、Manager和Storager三个模块组成,将提供数据更新、数据重组和数据读取三种服务;另外媒体文件采用CDL的方法进行分块,数据块以伪随机存储的方式及interleaving的存储技术分布在系统内的存储单元中。 最后论文讨论了MMCSS的实现,其中包括数据更新、数据重组和数据读取三种服务的实现。在数据更新的服务中,提出了伪随机的数据存储算法,不但使数据块定位的计算量非常小,而且不需要辅助的空间来存储数据位置信息;在数据重组的服务中,提出了HDRR数据重组算法,算法在保持负载均衡性的基础上减