基于MapReduce的天文数据处理方法与应用研究

被引量 : 7次 | 上传用户:sisisi22
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着天文数据也呈现爆炸式的增长,数据处理的流程越来越呈现出海量和并行化的特征,数据格式也出现非格式化和格式化的形式。加之数据处理的底层系统一般使用集群来搭建,在天文海量数据处理的问题上,空间计算的复杂性和数据量的大规模化使得传统的并行数据处理流程的实现方法如DBMS、网格计算等在性能和可扩展性的问题上难以满足天文应用的需求。因此,如何对海量科学数据进行有效处理成为一个亟待解决的问题。MapReduce是一种简洁抽象的分布式计算模型。它不仅架构简单、免费开源、伸缩性强、可用性强以及有效支持数据密集型应用,而且它很好地解决了并行计算的负载均衡、数据分布、容错、资源分配和网络存储等方面的问题,使人们能轻松地操纵大规模的集群系统而无须考虑硬件细节,从而有效地提高了工作效率。科学家逐渐开始关注本领域的研究问题。本文在分析MapReduce模型的基础上,结合天文数据的具体特点,通过MapReduce框架实现锥型检索服务,并在此基础上就如何运用MapReduce进行完整的讨论。第一,本文提出了基于MapReduce的天文数据处理方法。在研究MapReduce框架技术方面的一些学术和应用成果的基础之上,结合天文数据的具体特点,分析说明了MapReduce框架技术在天文数据处理中的优势。并且针对锥形检索服务实例,详细描述了基于MapReduce的天文数据处理的方法。第二,本文设计并实现了基于MapReduce的锥形检索服务。在搭建的Hadoop集群环境下,根据星表数据的特点运用Hadoop进行了数据分析,将锥形检索表示成MapReduce作业,并分别在本地和集群上测试运行锥形检索服务。第三,本文通过搭建实验平台,分别进行六组测试实验,包括基于MapReduce的锥形检索服务对文本格式星表数据的处理性能分析;在大小集群两种环境下基于MapReduce和MySQL的锥形检索的对比实验;对基于MapReduce的锥形检索服务的系统差时间测试;通过参数调优实验测试出基于MapReduce锥形检索服务的最优输入数据分块大小以及文件分块大小。实验证明,基于MapReduce的锥形检索服务的设计和实现是成功的,验证了基于MapReduce的天文数据处理方法在处理能力方面的大幅提高。
其他文献
本文回顾了美联储实施量化宽松政策的来由、操作及其对美国经济复苏的作用,随后着重分析了美联储退出量化宽松的实施步骤及其对美国房地产市场、财政、美联储与全球货币市场
<正>新的初中语文教材,加大了中国古代优秀诗文的比例,七到九年级的教材,每册六个单元,古文均占了两个单元。《新课程标准》也规定:中学生应该能够诵读一定数量的古代诗词和
近年来,多酚类物质对人体的保健防病作用日益受到人们的关注,对其清除机体内自由基、防癌、抗辐射、抗过敏、抗炎症、抗菌及抗血栓等生物活性功能的发现,使得多酚的研究和应
随着微博的发展,微新闻事业也蒸蒸日上。自2009年至今,微新闻已经发展为我国新闻传媒事业一项全新的发布形式。面对微新闻的发展,不仅仅是各大传统媒体纷纷借力微新闻渠道扩
本论文主要对江西井冈山产中药蓝桉(Eucalyptus globulus)果实(俗称一口盅)的乙酸乙酯提取物进行了较为系统的化学成分研究以及初步的生物活性测试。通过运用正相硅胶柱层析
<正>恢复重建将用时3年,资金总需求约860亿元将城乡居民住房恢复重建摆在突出和优先位置优先安排学校、医疗卫生机构等公共服务设施的恢复重建及恢复交通、水利、能源、通信
<正>中医治病是运用诊法进行辩证和论治,其中诊法是诊断疾病的方法,辩证是分析、辩论疾病证候的方法,论治是根据辩证的结果确定相应的治疗方法。中医诊疗的过程,就是认识疾病
碾压式沥青混凝土施工质量受工程所在地温度、气候等因素影响较大,在寒冷地区采用常规施工技术冬季低温期无法施工,导致工期延长、机械设备利用率低、施工成本增加等一系列问题
随着社会的不断发展,城镇化战略的不断创新,对基础设施和服务的需求日渐高涨,单一财政投入方式已经难以满足这种需求。在这个大背景之下,PPP模式成为了解决这种问题的一种有效方式,它以其自身特有的高经济效率的优势,在我国得到广泛的应用。而要判断某个项目能否采用PPP模式,根据我国财政部颁发的指引,需要在决策前期对项目进行物有所值评价,物有所值评价时包含定性评价和定量评价。本文结合垃圾焚烧发电的特点,构建
城市中村镇园林绿化已经成为城市园林绿化和生态环境优化的瓶颈。包头市城市村镇有7个镇,149个村。通过实地调查,目前包头市村镇园林绿化存在以下几个问题:一是绿化覆盖率虽然达