新型web服务器文件系统设计实现

来源 :第18届全国信息存储技术学术会议 | 被引量 : 0次 | 上传用户:xiaomay2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  随着计算机其他部件如CPU,内存等性能的不断提升,磁盘日益成为系统性能的瓶颈,尤其是使用文件系统组织管理磁盘上的数据。当前web应用环境中,保存在web服务器上的文件数量特别多(千万至亿),单个文件比较小(KB级别),因而文件系统就成为了web服务器性能进一步提升的阿喀琉斯之踵。如何更高效地组织管理web服务器上的小文件,提升小文件的IO性能一直是研究的热点。本文中对现有文件系统针对小文件应用场景进行了阐述与分析,并重点介绍了作者自行设计的针对web应用场景的文件系统NewWebFs,通过更简化的文件元数据和自适应的磁盘空间分配等策略,在提高磁盘空间利用率的同时有效提升了小文件的IO性能,并通过测试数据验证了本文工作的有效性。
其他文献
在raid5写条带(strip)数据的时候,如果突然系统断电、系统崩溃、磁盘位错误等故障,可能导致写条带数据单元( chunk)数据丢失的发生,从而导致在降级模式下无法通过正常的异或运算计算出正确的数据.RAID-5的写漏洞问题一直是一个影响raid-5可靠性的重要问题.本研究提出了一种利用条带伸缩重定向(Flexible Stripe Redirection,FSR)解决raid-5的写漏洞问题
本文对适用于NAND Flash的BCH编码所产生的ECC校验码进行有效性分析,为设计高效能的ECC校验码提供参考。本文对不同BCH编码方案生成的ECC校验码的平均纠错能力、存储利用率及随机差错概率进行了分析研究,分析结果表明在Flash页面预留空间限制内,应尽可能使用纠错能力更强的ECC校验码对大数据块进行保护,能取得更好的纠错效果和差错抵抗能力。
目前,为了加快芯片的上市周期,SoC(System on Chip)更趋向于使用可复用的IP(Intellectual Property)核。由于高速内存接口DDR3采用了8次预取技术,其主流速度可以达到800Mbps,因而也备受青睐。当DDR3 PHY作为一个高速IP核时,其DFT(Design For Testability)集成设计和验证难度加大。本文采用了从JTAG(Joint Test
在实际应用中,RAID5有比较广泛的应用,因此本文讨论RAID5.在不同的行业,请求的数据块大小可能不同,因此,有必要对不同数据块大小的请求进行分析.本文分析不同数据块大小对写性能的影响,深入RAID5内部机制,并讨论了一些提高性能的方法.
本文介绍了65nm CMOS工艺下一款64×21b,1W/2R高速高密度SRAM的设计.采用读写端口分离的10管1W/2R SRAM单元,提升了读写操作的噪声容限.采用两级动态译码电路产生字线脉冲、层次式位线和动态读出电路,提高了SRAM的速度,并降低了功耗.版图后的模拟结果表明,在典型工作条件下,存储器的读出延时为245ps,平均功耗为4.26mW.
存储技术和处理器技术发展速度极不匹配,存储器性能是提高计算机系统性能的主要制约因素,存储器带宽已成为计算机系统的关键资源.DDR3是JEDEC制定的新一代DDR内存技术标准,在深入研究了DDR3的特点和规范的基础上,提出了一种基于DDR3的贪婪启发式访存调度策略,加快了访存请求的调度,提高了存储器带宽的利用率.
本文提出了一种FPGA逻辑调试与数据采集方法。通过在FPGA中嵌入一个PicoBlaze软核处理器设计了能对FPGA内部逻辑的实时数据采集与调试的方案;制定了一套具有CRC校验功能的通信协议,用于规范PicoBlaze处理器与PC之间的数据交换;并最终通过PC机上的控制台实现了对FPGA上的硬件逻辑进行实时地调试和所有内部数据的采集与分析。我们采用该方法实现了一套MIPS教学平台,取到了很好的效果
随着InfiniBand(IB)网络技术的发展,IB网络以其高性能,低延迟以及低功耗和低成本的优势逐渐在数据中心占据重要的地位.而作为重要的网络通讯模型,远程过程调用(RRC)协议如何利用IB网络的Remote Direct Memory Access (RDMA)特性是一个重要议题.NFSoRDMA解决了内核态下网络文件系统(NFS)利用RDMA协议传输数据的问题.然而面向跨越内核态和用户态的R
企业的关键信息以几何级的速度增长,如何更好的在主存储上保存PB级海量数据成为研究的重点,降低存储设备的成本,实现高效存储和数据安全成为用户衡量主存储解决方案的重要指标。本文基于ZFS文件系统提出了一种主存储的高效存储解决方案,该解决方案利用虚拟存储、数据减缩、自动精简配置等技术对主存储介质进行高效的存储和管理,为用户降低了成本。通过测试验证,该存储解决方案在性能上基本没有降低,符合用户对数据读写速
科学计算数据场中,数据具有量大而访问次数少的特征,适宜存储于传统的文件系统;元数据具有量小而访问频繁的特征,适宜存储于低延迟的固态盘文件系统。统一的数据格式屏蔽了存储资源的性能特点,使得高层I/O库不能按需优化数据存储。本文根据科学计算数据与元数据在存储特征上的差异,设计数据与元数据独立存储的数据格式,并在双通道高层I/O库中实现。实验表明,数据与元数据分离存储且位置优化后最高可以提高科学计算数据