随着企业的设施越来越多,系统越来越复杂,用户的行为操作也随之增多,日志审计系统需要更多新颖的规则,持续地更新审计系统的策略库,才能应付这些安全日志,从中发现异常。依赖审计系统进行协同分析很困难,安全管理员需要一种有效的方法对这些安全日志进行挖掘,得到新的规则,对策略库进行更新。本文以应用系统事件的安全日志为研究对象,设计一种基于Spark的关联规则挖掘方法,能够对大数据量、异构的安全日志进行关联分析,并对生成的大量关联规则,有效地去除冗余,从中挖掘出新颖的规则。本文的主要研究工作如下:(1)首先对日志中的无效数据进行清理,分析安全日志中的数据结构的特点,对这些日志的格式规范化处理,便于审计和挖掘分析。通过提取出日志中的特征属性并将其组合抽象得到项,按时间分片形成事务数据集,从而实现日志数据与关联规则挖掘算法的结合。(2)针对现有的并行关联规则挖掘算法(Parallel-Frequent-Pattern Growth,PFP)在处理大数据的时候,计算节点之间存在负载不均衡的情况,提出一种改进的频繁项负载值的计算方法和更优化的动态分组策略,并在Spark中实现了改进的算法,更有效地实现整个挖掘过程的负载均衡,从而加快挖掘的效率。(3)针对挖掘出来的关联规则存在大量冗余的问题,提出了改进的基于领域知识的去冗余方法。研究冗余规则的特点之后,对规则之间的距离进行研究与改进。定义了基于领域知识的关联规则的新颖度,随后将其加到DBSCAN聚类算法中,对关联规则进行聚类实现去冗余,并从各个簇中筛选出新颖值高的规则。最后对本文负载均衡策略进行效率测试,结果表明本文改进的挖掘算法与BSPFP算法相比,效率提高了5.1%~26.4%;对改进的去冗余方法进行性能测试和正确性测试,本文提出的去冗余方法与基于有向图的关联规则挖掘算法相比,去冗余效果优化了大约7.5%~14.0%;通过正确性测试,验证其可行性。