论文部分内容阅读
遥感影像空间分辨率的提高使遥感的数据总量增加,遥感领域新型传感器技术的革新也给遥感各大平台的数据处理能力提出了新的要求。未来遥感领域的发展越来越多样化,遥感数据的结构和组成越来越复杂,数据的存储和分发面临新的挑战。只有引入高效的数据分发技术,遥感科学的发展才能更好地服务于大众。实现遥感数据的快速分发,面对大量网络并发请求时能保持系统数据传输的高效性和稳定性,关键在于减少I/O操作处理时间和选择高效的数据传输节点。已有的网络通信技术开发大多采用I/O阻塞流和多线程技术进行数据大文件的I/O操作处理,难以胜任在资源请求多、并发量高的分布式网络内的海量数据传输任务。本文通过大量分析遥感数据传输现状,结合已有成熟的网络传输技术,提出了基于Reactor模型的数据传输策略。该模型运用NIO技术在节点连接的时候采用同步非阻塞的I/O操作,不会造成连接阻塞,同时高效利用CPU资源,减少系统等待时间。另外,在节点选择的时候根据当前节点的带宽利用率,负载度,网络的时延,分析不同的影响传输性能的各个因素以及下载资源的分布情况,合理分配下载任务。本文的主要工作和成果如下:(1)研究了分布式网络通信数据分发相关技术以及该领域国内外研究成果。(2)提出基于NIO的Reactor主从线程模型,在客户端发来连接请求的时候,使用双向非阻塞的Channel通道,使用Selector对Channel进行轮询访问多个客户端发来的连接,提高I/O的执行效率。(3)通过理论带宽,“使用率乘积法”和Ping值分析资源节点的带宽利用率,网络负载度和当前网络时延等因素,分析最优节点因子σ,根据资源节点的下载任务对节点选择进行算法改进,找出一种最优的节点选择方案,适时调整下载节点,避开网络阻塞,最终提高海量遥感大数据的并行传输性能。