论文部分内容阅读
面对信息时代海量数据的出现,如何有效地利用巨量的原始数据分析现状和预测未来,已经成为人类面临的一大挑战。由此数据挖掘技术应运而生并得以迅猛发展。 数据挖掘是指从数据库中抽取隐含的、先前未知的、具有潜在使用价值信息的过程,是从“浩如烟海”的数据中“挖掘知识”的过程,是一种新型的数据分析技术。可广泛应用于银行金融、保险、公共设施、政府、教育、远程通讯、软件开发、运输等各个企事业单位及国防科研上。数据挖掘工程使得各类机构和组织能更好地理解它们的组织结构、业务处理过程和顾客,从而得到很高的投资收益。 目前,数据挖掘的主要研究领域为数据总结、分类、聚类、关联规则等方面。关联规则是R.Agrawal等首先提出的表示数据库中一组对象之间某种关联关系的规则。例如,关联规则可以表示为“购买了项目A的顾客中有95%的人又买了B”。从这些规则可找出顾客购买行为模式,可以应用于商品货架设计、生产安排、针对性的市场营销等。采用关联模型比较典型的例子是“啤酒和尿布”的故事。如何指导实际工作以取得效益是其根本宗旨。关联规则挖掘在商业、教育、科研等领域的成功应用,使它成为数据挖掘中最成熟、最重要、最活跃的一个分支。 关联规则发现的主要研究方向是算法的优化和扩展应用领域。典型的关联规则发现算法是由R.Agrawal等提出的Apriori算法,其核心技术为其它各类布尔关联规则采掘算法所广泛采用。但是,在计算侯选项目集的支持度时,Apriori算法是在每一个循环中都要扫描整个数据库,而随着K的增大,不仅K维项目集的数目减少了,而且能包含这些项目集的事物也是很少的。由于数据规模大且时常更新,使得采掘效率较低,必须设计更有效的算法。并且,为了得到有效、稳定、可靠的关联规则,要不断调整支持度、可信度这两个阀值。所以,如何设计高效的更新、维护算法也是非常重要的研究课题。 基于数据挖掘的研究现状,本文主要进行了以下的研究工作: 1.研究了数据采掘技术中的关联规则算法。对经典的Apriori算法作了全面的分析,指出了采掘中的关键步骤和频集算法的不足。研究了对Apriori算 山东师范大学硕士论文摘要法的优化算法现状。研究了关联规则的扩展及数值型数据离散化后提取关联规则的技术,并应用于后面的实例研究。提出了关联规则优化的几个方向,如优化采掘算法、运用领域知识、增加衡量标准、改进采掘方式等。 2.针对Apri ori算法的不足,提出了一种高效的关联规则挖掘算法EA,利用L,、Ck中的结果对数据库进行筛选,减少候选项在数据库中查找的记录数,提高了整个算法的效率。 3.针对数据库置信度、支持度不断调整的需要,分别给出了minsuP和。inconf增大、减小时关联规则快速的更新算法MinsuPchange和MinConfChange,并与Aprior算法作了分析比较。 4.将关联规则数据挖掘的方法运用到高校教学问题之中。从教学评价数据中进行数据挖掘,找到课堂教学效果与教师状态的关系问题;在班级排课时,注意一个教学班中配备教师的年龄、职称、学历等的合理分配,使学生能够较好地保持良好的学习状态,从而为教学部门提供了决策支持信息,促使更好地开展教学工作,提高教学质量。