随着无线通信技术的不断发展,移动通信对带宽和速率的需求也在不断地增长。然而由于中低频段无线电已经趋于饱和,必须开发新的频谱资源以实现高速、高带宽的可靠通信。因此,鉴于毫米波频段仍有许多未开发的可用频谱资源,毫米波通信被列为5G系统的关键技术之一。为获得毫米波系统的全部增益,需要对毫米波大规模天线系统进行波束成形设计。然而由于传统的全数字波束成形架构需要配备大量的射频链路而导致其极高的硬件成本和能耗,更多的研究转向了成本和能耗更低的混合模拟数字（analog-digital,A/D）波束成形架构。为此,本文着重于对混合A/D波束成形设计算法的研究。此外,未来毫米波系统还可能遇到一些别的问题,比如,信道估计和计算高维波束成形矩阵的开销过大、毫米波路损严重以及由不断增长的用户数量造成的严重的用户间干扰等。针对信道估计和计算高维预编码矩阵的开销过大的问题,本文利用双时间尺度算法来减少对高维度信道矩阵的依赖和高维模拟波束成形矩阵的计算次数。具体的,在这类双时间尺度算法中,高维度的模拟波束成形矩阵（长时间尺度变量）基于信道统计特性在更长的时间尺度上更新,而低维的数字处理矩阵（短时间尺度变量）则是在每一个时隙内基于低维等效信道矩阵来优化更新。为了实现这种双时间尺度算法,本文利用随机优化技术来更新长时间尺度变量并用传统的确定性优化算法来更新短时间尺度变量。针对毫米波路损严重的问题,本文通过增加中继来获得足够的有效覆盖范围。针对用户间干扰严重的问题,本文使用非线性Tomlinson-Harashima预编码（Tomlinson-Harashima precoding,THP）技术来减少用户间干扰。具体地,本文考虑以下两个场景。第一,本文利用中继来增大毫米波通信系统的有效覆盖范围和吞吐量,因此本文考虑一个全双工毫米波MIMO多中继系统。本文利用割集界（cut-set bound）将问题建模为两个不同时间尺度的优化问题。对长时间尺度问题,本文基于随机优化技术提出了一个有效的模拟波束成形算法来最大化用户的可达遍历加权和速率下界;而对短时间尺度问题,本文基于对偶惩罚分解（penalty dual decomposition,PDD）理论提出了一个数字波束成形算法来最大化用户的瞬时加权和速率下界。仿真结果表明,本文提出的算法可以在CSI（channel state information）存在时延的情况下超过传统算法,并且它需要的CSI信令开销更低。第二,本文考虑在用户密集区域的通信可靠性问题。在这个场景中,用户间干扰较为严重,本文利用THP在发射端发射信号之前先减去一部分干扰信号以减弱用户间干扰从而增强通信系统可靠性,因此本文考虑THP辅助的多用户MIMO毫米波系统中的非线性收发机联合设计问题。本文将该收发机设计问题建模为在存在信道不确定性、发射功率约束和模拟波束成形矩阵中每个元素的恒模约束的条件下的系统均方误差（mean square error,MSE）最小化问题。为求解这个问题,本文提出了一个单时间尺度联合设计算法和一个双时间尺度联合设计算法。其中,双时间尺度算法可以被视为是单时间尺度算法的一个扩展,因为它们的数字处理矩阵的更新步骤都是一样的。另外,本文基于一个MSE的下界以低复杂度的方式决定THP结构的干扰消除顺序。仿真结果表明,本文提出的算法性能超过了其对应的线性算法。