随着第六代（6th generation,6G）移动通信系统研究的进展,去蜂窝大规模多输入多输出（multiple-input multiple-output,MIMO）作为一项热点候选技术受到了广泛关注,其能够克服蜂窝小区边缘用户性能差,频繁切换,小区干扰严重等问题。而非正交多址（non-orthogonal multiple access,NOMA）作为一种未来无线通信发展的关键技术,能够满足下一代移动通信中高谱能效率,低延迟大规模接入和用户公平性的需求。因此,两者技术的结合有望在降低干扰的同时保证大规模接入,从而有效提高系统的谱能效率。基于此,本文的主要研究内容如下:首先,针对基于NOMA的去蜂窝大规模MIMO建立空间相关的Ricain衰落信道系统模型,提出上行性能分析的理论框架、信号传输过程、用户排序准则等。采用最小均方、对角化最小均方、最小二乘等信道估计方法,根据信道统计特性分别推导上行频谱效率的闭合表达式,通过仿真分析了三种传统信道估计、信道参数、接入节点（access points,APs）配置及部署方式对系统性能的影响。研究发现,在去蜂窝大规模MIMO系统中,采用MMSE估计时,NOMA相比正交多址（orthogonal multiple access,OMA）可实现50%以上的系统上行总频谱效率提升。然后,考虑上下行NOMA在用户发射功率、解码顺序、用户所受干扰以及实现难易程度等方面存在差异,本文进而对系统下行性能进行分析。根据信息论和高维随机矩阵理论推导了下行谱能效率的闭合表达式,通过仿真结果证明了理论分析的正确性,并分析了在下行链路中信道估计方法、信道衰落模型、非理想串行干扰消除、AP天线配置、信道相关性以及预编码对下行谱能效率的影响。结果证明AP数为40,用户数大于90时,采用NOMA方案的频谱效率将超越OMA。最后,为了进一步优化基于NOMA的去蜂窝大规模MIMO的系统性能,本文从基于大尺度信息的用户配对、上行最优双线性均衡器设计和基于凸优化理论的下行功率分配优化三个方面对系统进行优化设计,进而提高系统性能。仿真结果证明了用户配对、上行最优双线性均衡器设计以及下行功率分配优化算法在提升系统性能方面的可行性,其中,采用功率分配算法后平均频谱效率提高大约35%。综上所述,本文围绕基于NOMA的去蜂窝大规模MIMO系统展开研究,推导了上下行频谱和能量效率等系统关键性能指标,多维度揭示了各种参数以及信号处理机制对系统性能的影响规律。进而从用户配对、上行联合信号检测和下行功率分配等方面进行系统优化设计。研究结果为NOMA辅助的去蜂窝大规模MIMO系统设计提供了理论基础,有助于未来6G移动通信系统的发展。