【摘 要】
：
针对目前主流的数据提取、变形、加载(ETL)工具和受限环境下一些应用的不足之处,结合受限应用场景下的特殊要求,提出一种基于正则表达式的海量数据清洗系统(REMCS)。REMCS首
【机 构】
：
中国电子科技集团公司电子科学研究院
【基金项目】
：
国家科技重大专项(2017ZX01013201)(2017ZX01013201)~~
论文部分内容阅读
针对目前主流的数据提取、变形、加载(ETL)工具和受限环境下一些应用的不足之处,结合受限应用场景下的特殊要求,提出一种基于正则表达式的海量数据清洗系统(REMCS)。REMCS首先针对超长错误数据问题、批量数据源文件融合问题、数据源文件自动分拣问题等典型的6个问题找到数据的特点,其次根据数据的特点设置合适的正则表达式和预处理算法,然后使用算法模型去除数据中的错误完成数据预处理工作。同时详细阐述了REMCS的系统逻辑结构、常见问题、对应的解决算法和代码实现方案。最后通过对兼容的数据源文件格式、能够处理的问题
其他文献
目前正在研究中的生物技术药物有1/4以上是单克隆抗体药物,临床治疗中人抗鼠抗体反应(HAMA)的出现使鼠源性单克隆抗体的应用受到极大限制。因此,对于疗程长、需反复给药的单
网络自出版,经历了从自费出版向依托网络平台实现自主与自助出版的转变。网络时代催生了自出版行为,又提供了自出版良性发展的受众接受基础和未来发展空间。从自出版在国内外
<正>为贯彻落实全面从严治党要求,巩固和拓展党的群众路线教育实践活动成果,持续深入推进党的作风建设,党中央决定今年在县处级以上领导干部中开展"三严三实"专题教育。这次
目的:观察英夫利西单抗(infliximab)治疗难治性重症类风湿关节炎(RA)8周的临床疗效及不良反应。方法:10例难治性重症RA患者接受英夫利西单抗治疗(0周,第2周,第6周),观察治疗
目的观察参苓白术散口服联合加培菲康和蒙脱石散治疗小儿秋季腹泻的临床疗效。方法将110例秋季腹泻患儿随机分为对照组和治疗组,对照组给予小儿秋季腹泻常规治疗。治疗组在对
目的:探究利奈唑胺联合左卡尼汀治疗老年耐甲氧西林金黄色葡萄球菌(MRSA)感染性心内膜炎的临床疗效。方法:选取2016年3月~2018年1月我院52例老年MRSA感染性心内膜炎患者,以随
近年来,我国的市场经济体制逐渐成熟,城市化建设逐步推进,大大促进了房地产行业的发展,社会中掀起一股购房热潮,而房地产广告作为房地产行业不可或缺的助推,同样也得到了空前
侦查讯问对查明案件事实,获取犯罪嫌疑人供述,收集与犯罪相关的其他证据具有重要作用。侦查讯问的成功依赖于众多因素的作用,包括讯问主体、讯问时间、讯问地点、讯问环境、
随着互联网的普及与社会化媒体的深入发展,虚拟学术社区已经成为学术交流与知识共享的重要场所。一方面,学者感受着网络空间给学术互动带来的灵活性、即时性等有利条件；另一方
随着人类活动的不断深入,土地利用/覆被引起的生态环境变化日益剧烈,人地矛盾日趋严峻。深刻认识土地利用/覆被变化的规律、特点和过程,明确生态系统服务价值对覆被变化的响