随着第5代移动通信（The 5-th Generation,5G）系统在中国的商用,5G终端设备与业务已经走进百姓的生活当中。在5G新一代移动通信场景下,无线通信数据量与数据类型增长迅速。因此,5G通信系统需要更大的系统容量以及更高的通信速率。大规模多输入多输出（Multiple-Input-Multiple-Output,MIMO）技术作为5G移动通信的关键技术之一,通过产生分集增益、复用增益,提升系统容量与通信速率,以满足5G通信系统的需求。但大规模MIMO技术的引入,导致了系统硬件复杂度与计算复杂度骤升,从而增加了系统处理时延以及运行功耗。本论文针对新型5G通信系统中的大规模MIMO技术的引入所带来的一系列问题,引入天线选择算法,旨在降低系统硬件复杂度与计算复杂度的同时,保证系统的通信性能。同时,本论文旨在分析两大类天线选择算法——基于幅值最优的天线选择（Norm-Based Antenna Selection,NBAS）算法和基于容量最优的天线选择（Capacity-Based Antenna Selection,CBAS）算法的原理与特性,并针对两种算法的复杂度及可实现性,结合新型的应用场景,提出新型的天线选择算法。最后,采用软件定义无线电（Software Defined Radio,SDR）设备,搭建基于天线选择的MIMO SDR无线通信平台,在天线选择算法研究方面实现了从理论研究到系统实现的研究。主要工作内容如下:（1）针对NBAS算法的简单、可实现性高的特点,将NBAS算法引入新型的5G通信场景——低功耗广域物联网通信、远距离MIMO协同通信以及大规模多用户接入的MIMO通信。针对各通信场景的特点,形成新型的智能化天线选择算法。通过对引入天线选择算法后的通信性能,如误码率、信道容量以及断线概率等性能的分析,充分体现了引入天线选择算法的优势。（2）针对CBAS算法寻优能力强,不易受信道特性影响,但复杂度较高的特点,将智能计算思想引入到天线选择算法当中,形成基于智能计算的智能化天线选择算法,将传统的基于数学驱动的优化方法转换为基于数据驱动的优化方法,进一步降低CBAS算法的复杂度。通过通信性能的分析,进一步说明基于智能计算的天线选择算法的优越性。（3）搭建基于天线选择算法的MIMO SDR通信平台。基于National Instruments的SDR设备所搭建的MIMO通信平台,设计并引入天线选择算法,在真实的通信系统中,测量天线选择算法所带来的增益。更加具体地展示了天线选择算法的优势。