论文部分内容阅读
本论文分析了数据仓库和ETL原理,结合宝钢精准选样模型原型的仿真环境,明确了具体数据筛选需求,提炼了软件的功能和性能需求。论文在ETL原理的基础上,分析了软件的数据流程,设计了数据筛选软件结构。数据筛选软件的主要功能是从异构数据源中抽取数据,按照模型需求进行数据模式转换,并将转换后的数据装载到目的数据库中。在软件开发中,结合精准选样模型原型数据筛选需求,采用元数据方法,提出了以工作流的方式来完成数据筛选任务;基于OLEDB的数据集成技术,支持对异构数据源的访问;动态链接库技术节省了软件开发时间,提高了软件的复用率;应用多表对应关系可视编辑的思想,简化了数据筛选规则的编辑过程;菜单(包括快捷菜单)、脚本支持等技术提供了友好的人机交互界面。
在宝钢项目中,软件能够灵活的对数据筛选方式和过程进行控制,通过数据筛选规则的执行自动完成数据从源到目的数据库的转换,整个过程可视、操作简单。经实际运用表明,数据筛选软件筛选的数据在格式转换率上达到98%,满足了精准选样模型原型的需求,为整个项目的顺利完成提供了保证。