大规模多入多出技术（Massive MIMO）是传统MIMO（Multiple Input Multiple Output）技术的进一步扩展,它相比于传统MIMO系统,配置了更多的天线。在同一时频资源上,大规模MIMO技术可以在不增加带宽的情况下提高系统的性能。由于天线数量增多,系统性能得到提升的同时,系统的硬件成本以及射频功耗也随之增加,为了有效地降低硬件成本以及系统的射频功耗,天线选择技术（Antenna Selection,AS）是一种行之有效的方法,但由于Massive MIMO系统中天线众多,一些的适用于MIMO系统的天线选择算法达不到较好的效果。因此,本文的工作重点主要为Massive MIMO系统中的天线选择技术研究。本文主要完成以下工作。（1）对最大化信道容量天线选择准则展开研究,分析了在大规模天线选择场景下,容量最大化天线选择准则存在的问题,最后引入矩形最大体积子阵（RMVS）理论对信道容量最大化准则公式进行简化,给出了更加简洁高效的计算的方式。并通过实例仿真验证了该计算方式的合理性。（2）基于上述改进的天线选择准则,提出了一种基于分组最优的收发联合天线选择算法（GAS）,该算法首先将候选天线进行分组,然后在每个天线小组中采用穷尽搜索法对天线进行选择,最终通过比较每组中选择出的天线对应的信道容量的大小,选取最大容量对应的天线子集作为被选天线。通过实验仿真,证明了分组最优收发联合天线选择算法在天线规模较大时的有效性。（3）针对GAS算法存在的问题,在GAS算法的基础融入遗传算法思想,对其进行了改进。提出了一种基于遗传交叉的分组最优收发联合天线选择算法（GCGAS）。该算法通过对分组天线子集中发射天线和接收天线进行二进制编码,将候选天线集转变为二进制阵元,0表示天线不被选择,1表示天线被选择,通过遗传交叉、变异等操作,输出最优个体,即最优天线子集。仿真结果证实了该方法具有比分组最优收发联合天线选择算法更好的容量性能增益。