Ad Hoc网络(自组网络)是一种特殊的无线通信网络,没有中心组织,由无线节点通过分布式协议自行组成,具有快速展开、自治、多跳等特性,可以在战场、救灾等需要临时、移动网络的特殊场合广泛应用。与其它网络相比,Ad Hoc网络的独有特性带来了路由、节点协作、安全等一系列新问题。其中由于路由协议是网络服务的基础,路由信息在维护网络拓扑方面具有重要地位,而Ad Hoc网络的特性使之容易遭受各种攻击,因此路由安全的研究是Ad Hoc网络进一步发展的关键问题之一。虽然预防技术如加密、认证等在Ad Hoc网络路由安全中已得到广泛的应用,但是单独使用预防技术难以抵抗来自网络内部的攻击,无法达到Ad Hoc网络的安全目标,因此需要行为检测和反应技术与之共同作用,保障路由安全。在总结分析国内外关于Ad Hoc网络路由安全与路由入侵检测方面的研究工作和现状的基础上,从如何检测Ad Hoc网络的路由入侵行为并将路由恶意节点从网络排除,以及如何防御Ad Hoc网络特殊路由攻击的角度进行了研究。主要研究工作包括:提出了一种基于移动Ad Hoc网络(MANET)的协作式路由入侵检测系统(Cooperative Routing Intrusion Detection System,CRIDS),来保护MANET的路由安全。考虑到移动Ad Hoc网络节点能源有限的特点,进行路由入侵检测时只把某些关键节点作为网络监测节点,各个网络监测节点既负责其通信区域内的入侵检测又相互合作检测整个网络的路由安全。CRIDS通过一个分布式选举系统来进行网络监测节点的选举,采用了基于极大权的最小连通支配集的分布式选举算法,用于防止监测节点受攻击后使整个区域失去监控。另外,为了尽量降低路由额外负载,采用了以本地入侵检测为主,分布式合作为辅的检测结构,即由选中的网络监测节点承担本地路由入侵检测功能,在本地检测不能确定结果时向邻居监测节点询问。因此采用合适的本地入侵检测方法是整个入侵检测系统的关键环节之一。移动Ad Hoc网络的动态性使得现有的单一检测方法和检测技术不能很好地检测针对移动Ad Hoc网络路由层的攻击,因此需要应用联合的自适应本地入侵检测方法。采用基于规范FSM的路由行为检测和基于统计学习SVM的路由异常检测相结合的本地检测方法,进行本地自适应联合分析,提高本地检测的精确度,以尽可能减少协作检测所需的通信开销。移动Ad Hoc网络依靠中间节点的协作路由转发过程完成源节点和目标节点间的通信,因此路由转发过程的安全性是研究移动Ad Hoc网络路由安全的关键问题之一。提出了一种基于综合声誉评估的路由异常转发防御系统(Comprehensive Reputation-based System against Routing Abnormal Forwarding,CRSRAF),将检测系统与声誉系统结合起来,采用分布式协作的防御方案来解决移动Ad Hoc网络中自私或恶意不转发节点的检测与隔离问题,维护网络的正常路由转发过程。在移动Ad Hoc网络中,当检测到一个节点的路由转发行为异常时,很难判断该异常是由于节点移动或网络故障还是由于攻击引起的,如果直接把异常节点隔离出网络,可能会造成误判。通过采用综合声誉评估,在每个节点监听邻居节点的路由转发行为时,除了进行自身判断以外,还收集其它节点对邻居节点的监测判断结果,进行综合判断,减少误报率。针对由内部节点发起路由请求泛洪攻击(RREQ flooding)而引起的一类典型而特殊的路由拒绝服务(DoS)攻击,提出了一种分布式的自适应流量控制防御方案(Adaptive Traffic Control System,ATCS)。RREQ flooding是一类易于发起的针对移动Ad Hoc网络按需路由协议的典型泛洪攻击,恶意节点通过不停地要求与其它目标节点或不存在的节点建立路由,来占用大量的网络带宽,使得其他节点的路由要求因为带宽不够而遭到拒绝,形成DoS攻击。安全路由协议的设计只能防御外部恶意节点,对于由内部被俘节点发起的这类攻击却无能为力,因为恶意内部节点并没有伪造任何信息。ATCS系统通过自适应流量控制机制自动控制RREQ包的传播,阻止这一类的DoS攻击,在有效抑制网络中恶意RREQ包传播的同时也保护了合法节点的正常RREQ请求。针对无线传感器网络(WSN)的路由入侵,提出了一种基于无监督聚类的异常检测系统(Anomaly Detection Base on Unsupervised Clustering, ADBUC)。相对于节点的计算、存储能力而言,无线传感器网络的通信能力和网络带宽更为有限,进行路由检测时不能采用监听邻居节点的路由活动的方法,节点之间的协作检测也较为困难。另外,要为检测系统的学习收集一个洁净数据集往往也不太容易。为此,采用ADBUC系统,每个节点收集自身所收到的所有路由信息,并从路由表和流量中提取信息,通过对未标识数据进行训练来检测入侵,不需要手工或其他的分类,并能发现新型的和未知的入侵类型。