在未来的5G网络中,预计将使用云无线接入网(C-RAN)来支持海量终端。为了满足所有终端的需求,需要在单位面积内部署更多的射频拉远头(RRH)。从经济角度来看,最大限度地减少RRH的能量消耗是个很有挑战的问题。从环境的角度来看,在无线网络中实现“绿色”也是运营商的众多目标之一。首先,对于大部分现有的基于深度强化学习(DRL)的能耗优化方法,在定义环境状态时通常都忽略了RRH与用户终端设备(UE)之间的关联关系,导致UE需要向RRH上报自身的信息,这带来了额外的信令开销,并且对于移动性场景由于无法捕捉UE的移动导致无法及时更新决策,这也限制了节能效果。其次,基于强化学习的方法通常需要定义reward,当场景发生变化时,reward的参数需要手工重新调整,这导致算法在自动化和灵活性方面还存在不足。除此之外,基于强化学习的能耗优化算法直接将能耗问题建模成一个马尔科夫决策过程来实现端到端的输出,但是在陌生的场景中泛化能力不足,如果在新场景中重新训练的话,时间开销又很大。因此,本文致力于研究一个可以根据流量情况动态的激活或去激活小区的能耗优化系统,旨在保证UE的QoS满意度的前提下,最小化整个系统的能量消耗。首先,本文提出了两种基于DRL和卷积神经网络(CNN)的小区自动激活策略,分别是基于relational DQN的小区自动激活策略与基于relational dueling DQN的小区自动激活策略。其中,relational DQN是DQN的改进算法,relational dueling DQN是dueling DQN的改进算法。通过以RRH与UE之间的原始关系矩阵作为输入,并利用CNN做特征提取,最后将提取的特征输入给智能体(Agent),从而实现小区的自动激活。其次,本文进一步对方案进行扩展,先提出了一种动态的reward,它可以在学习过程中自动的调整reward的参数,从而平衡系统的能耗和UE的QoS满意度。然后,在方案中更进一步的引入迁移学习。经过实验测试,本文所提基于CNN和DRL的方案在平衡UE的QoS满意度和系统能耗方面具有更好的性能。同时,本文提出的动态reward在学习过程中,可以根据当前系统能耗与UE的QoS满意度情况动态的调整reward参数,从而使系统能耗与UE的QoS满意度得到平衡;最后,通过在DRL中引入迁移思想的小区自动激活方案相比于在新场景重新训练,节省了大量的训练时间。