IA:一种科学数据云分析服务管理引擎

来源 :数据与计算发展前沿 | 被引量 : 0次 | 上传用户:joshua5201314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
[目的]随着科学大数据技术的发展,问题导向的数据端分析成为常态.科学数据处理以云计算的形式跑在数据端,并提供安全的用户访问方式、可选的算法资源库、高效的数据存取接口、便捷的用户交互工具、有效扩展的计算和存储资源,将有力提升科学家的数据分析探索效率.[方法]本文提出一种基于容器技术的科学数据端云分析服务管理引擎设计方案:资源节点以自动注册的方式进行横向扩展,资源节点可以是物理主机或虚拟主机;当在用资源达到阈值,管理节点通过接口启动资源节点的注册,同时资源入池;可选的算法资源库、高效的数据和计算访问接口均以容器镜像的方式进行版本控制,在构造资源池时选用.容器实例池的健康度在节点内部进行维护,根据用户的最长使用时间、静默时间等进行实例生命周期管理;内部资源池的容器实例有准备中、准备好、使用中、消亡中几种状态,并始终维护资源池的固定大小.用户认证访问时,根据用户的领域算法库的选择和资源池的使用率进行新用户资源的接入,并通过代理配置提供唯一的标识入口以供用户访问;用户以安全加密的网络访问方式访问交互编程组件或交互应用组件,即可使用数据端的数据资源和计算资源.每个交互组件均在独立的容器实例中,可以进行有效的资源隔离.[结果]基于以上科学数据端云分析服务管理引擎构建的交互分析云服务系统IA(Interactive Analysis Cloud Service System)V1.0,实现了科学数据端云分析资源的统一管理服务,可以通过服务门户直接面向终端科学家使用,也可以通过API接口以docker容器交付的方式给其它现有数据系统调用.已逐步构建生命健康、生态环境、气象水文等领域的科学数据端云分析服务,已应用于中国科学院战略先导专项A、中国科学院战略先导专项B、国家烟草专卖局重大专项等重大项目;已应用于国家微生物科学数据中心、国家空间科学数据中心等国家科学数据中心;已应用于地理空间数据云、DarwinTree分子数据与应用环境等领域公共平台.并提供面向R、TensorFlow、Data Science、All Spark等的常用工具服务,用户可以https的方式访问交互编程组件(iJupyter)或交互应用组件(iWorkflow),即可使用数据端的数据资源和计算资源.
其他文献
【目的】农业是大数据技术应用的重要领域。本文旨在综述大数据在农业领域的应用重点和方向,对农业大数据关键技术进行思考,推动农业大数据发展。【方法】对大数据技术进行整体介绍,从精准农业、农业物联网、农业遥感等关键领域提出了农业大数据发展需求和特点。【结果】从政府和学术角度,对农业大数据内涵和特征进行整理,介绍了农业大数据获取、管理和处理相关关键技术,分析了大数据精准农业智能控制、大数据农业生产环境监控
[目的]除了提供总体评分,多方面评分系统还可以提供更详细的方面评分,因此它可以帮助消费者更好地理解商品和服务.通过对多方面评分系统评分模式的建模,我们可以更好地发现潜
[目的]联合国可持续发展目标(Sustainable Development Goals,SDGs)已经成为全球最重要的可持续发展问题.然而,SDGs指标相关数据高缺失率的现状严重影响了联合国对各国可持续
目的探讨脉搏指示连续心排血量监测(PiCCO)在重症心力衰竭(心衰)患者治疗管理中的应用价值。方法选择福建省立医院重症医学科(ICU)2017年8月至2019年2月因重症心衰入院的60例患者,按照随机数字表法将患者分为对照组和治疗组,每组30例。治疗组运用床边PiCCO进行微创血流动力学监测,根据监测数据目标导向进行血管活性药物及液体管理;对照组根据传统心电监测、肺部啰音、尿量进行血管活性药物及液