第五代移动通信系统（5G）在峰值速率、频谱效率和区域通信容量等方面,相比第四代移动通信系统（4G）有着巨大提升。不仅如此,5G还将毫米波频段纳入了应用范畴以进一步提高速率和容量。但毫米波由于其本身高路径传播损耗的特性一直以来都没有被广泛应用,大规模多输入多输出技术（massive MIMO）为毫米波的成功应用提供了一种可行的方案,该技术能通过部署大量天线带来的高增益对抗毫米波自身的路径传播损耗。在大规模MIMO技术中,信道估计和预编码技术作为关键技术影响着系统性能。但大量天线的部署使得系统的复杂度变高,同时毫米波的采用使得信道的相干时间变短,这给信道估计和预编码带来巨大挑战。已有的信道估计和预编码方案因为较高的计算耗时或较低的准确度,难以应用于毫米波大规模MIMO技术。因此,本文针对这两项关键技术进行了以下研究。随着天线数量的增加,信道矩阵变得更庞大,现有算法难以同时满足低计算耗时和高准确度的要求。因此本文提出了一种新的信道估计算法,该算法将信道估计看作具有稀疏性的信道矩阵恢复问题,并将信道矩阵在天线域的低秩性作为辅助信息参与矩阵恢复,建模为一个凸优化问题,然后使用基于增广拉格朗日交替方向非精确牛顿法（ALADIN）求解该问题。此外,本文将毫米波大规模MIMO波束特点及有利传播特性作为先验信息,应用在论文已提出的基于ALADIN的信道估计算法中,提出了一种基于幅度选择的信道估计算法。仿真结果表明,这两个算法在具有较低计算耗时的同时,提升了估计精度,其中后者在较高信噪比和较长训练长度时有着更好的性能表现。预编码技术面临着和信道估计类似的难题,传统MIMO天线数量较少,可以为每根天线配置单独的射频链与基带数字预编码器相连,这样能获得最优的系统性能。而随着天线数量的增加,射频链数量增加带来的高功耗和硬件复杂度,使得高性能的数字预编码方案难以实际应用。目前主流的方案为模拟/数字混合预编码,这类方案以损失较少的频谱效率换来了低功耗和低硬件复杂度的实现,但也带来了算法计算耗时高的问题,已有算法难以满足要求。本文提出一种新的混合预编码算法,该算法将混合预编码算法设计建模为频谱效率最大化问题,最终转化为求解混合预编码器与无约束的最优预编码器之间欧式距离的非凸优化问题,并使用ALADIN算法进行求解。仿真结果证明,该算法实现了更加逼近无约束的最优预编码器的频谱效率,同时具有较低的计算耗时。