正交频分复用调制方案已广泛应用于现代无线通信系统中,但对于时变信道,例如高铁无线通信信道,较大的多普勒效应和丰富的多径效应会产生严重的子载波间干扰,致使传统的OFDM系统在该环境下性能表现不佳。OTFS既是一种新型的调制方式,也是一种新型的移动通信系统,与OFDM相比,OTFS通过2维变换将双色散信道转换为时延多普勒域中时不变2维信道,在高速场景中具有比现有调制方案更显著的性能增益。本文主要针对OTFS系统中导频感知矩阵设计问题和快时变信道估计方法进行研究。首先,本文分别对OTFS系统时域和时延多普勒域的输入输出关系进行分析,并与压缩感知理论进行结合,改进CS信道估计导频感知矩阵设计指标及CS算法。仿真结果表明,在时延多普勒域中,将特征值的方差和最大特征值作为导频感知矩阵设计指标,得到的导频具有更好的导频设计稳定性,在时域中,PPM序列信道估计性能最优。接着,为了减少信道估计导频的占用资源,本文分别在SISO系统和MIMO系统下对数据帧图案进行设计改进。针对SISO系统,本文在导频独自成帧基础上,提出了PRS-OMP算法,通过综合考虑双色散信道中最大时延和最大多普勒频移,利用压缩感知原理估算各个路径的时延多普勒频移和信道增益。针对MIMO系统,本文采用导频和数据联合成帧的方法,对导频图案进行设计,并将其应用到3D-SOMP信道估计算法中。仿真结果表明,经过相位旋转的PRS-OMP算法降低了导频的占用率,提高了信道估计的准确度和分集阶数,改善了系统误码率性能。PRS-3D-SOMP算法进一步降低了导频的占用率,但去除引入的干扰时损失了一部分误码率性能。最后,针对OTFS系统中分数多普勒信道对应的物理路径信道状态信息估计困难及计算复杂度较高等问题,本文提出了一种改进的互相关匹配滤波信道估计算法,该算法首先使用数据和导频联合成帧的方法获得等效信道的估计,然后通过互相关匹配滤波估计出各路径信道状态信息,并在此基础上,对OTFS系统加窗。仿真结果表明,该方案减少了窗口响应主瓣的整数样点数量并降低旁瓣的电平,有效改善了等效信道多普勒响应函数的自相关特性,进一步降低了其他符号及噪声对估计符号的干扰。