雷达的工作任务中,首要的是在接收到的回波信号中检测是否有目标。经典方法对辅助数据的数量有较高的要求,然而在实际的雷达检测环境中,存在许多致使杂波数据非均匀的因素,辅助数据中可能与待测单元数据不是独立同分布的,难以收集足够的无目标辅助数据以满足训练需求。为了解决小样本情况导致检测性能下降的问题,许多研究工作利用了杂波的结构信息。由雷达系统或杂波类型带来的协方差矩阵的特殊结构,可用于改善检测器的性能。目前已有许多可以在预先假设已知结构的存在时优化检测性能自适应决策方案,但实际过程可能不可预测地偏离设计假设。本文主要针对训练样本不足时的目标检测问题和实际接收数据的结构偏离预先假设的问题进行了研究。首先,本文介绍了信号处理背景下,对于复高斯杂波的几种常用的估计Toeplitz矩阵的算法,通过仿真数据对估计方法的误差进行了分析,并对比了两种迭代算法的运行时间,为文中后续分类和检测过程选择了合适的估计方法。其次,研究了基于中央对称Toeplitz结构信息的自适应信号检测。利用自适应匹配滤波器的全自适应性,在原有的杂波谱对称结构和共轭Toeplitz结构的基础上,将中央对称Toeplitz结构应用于自适应目标检测中,通过仿真数据和实测数据,验证了提出方法所需训练样本数降低而检测性能提高。然后,考虑了协方差分类技术在自适应检测中的应用。提出了一种基于模型顺序分类理论的协方差结构分类技术,在原有共轭、谱对称、中心共轭和中心谱对称结构的基础上,加入了共轭Toeplitz和中央对称Toeplitz这两种结构,对协方差模型进行了更精确的划分。通过仿真数据和实测数据,验证了提出的分类技术的性能。最后,设计了应用Toeplitz结构的先分类再检测的信号检测体系研究。将共轭Toeplitz和中央对称Toeplitz结构纳入协方差模型中,设计了一种基于MOS理论的先分类再检测的检测体系,其包括判断协方差结构的分类阶段,使用最合适的选择结果进行检测的检测阶段。对检测器组和保证虚警概率的检测门限进行了讨论。使用仿真数据和实测数据,对所提出的检测体系的检测效果的提升进行了证明。