论文部分内容阅读
随着无线网络和车联网的发展,新一代智能移动终端应用将产生海量的数据,并且需要多种服务支持,因此计算和通信的安全和服务质量(Quality of Service,Qo S)要求更为严格,低延迟和高可靠性至关重要。但是,智能移动终端的计算能力无法满足计算和功耗的要求,在密集的数据通信环境中,很难确保数据的实时可靠性。尽管由于处理器技术和制造标准的进步,移动终端的电池容量和计算能力有了很大的提高,但考虑到移动终端产生大部分任务的特点是计算密集或延迟敏感的,终端的处理能力仍然不足以满足Qo S,例如:时延要求、能耗要求。由于移动终端在严格的处理截止时间内产生的计算数据量呈指数增长,电池容量和资源限制仍然是一个瓶颈。如何满足当前日益增长的计算需求是一个关键的挑战。近年,由于移动云计算服务器具有丰富的计算资源,从而能够满足移动终端的计算需求,从而提升用户体验。因此,可以将计算任务卸载到云服务器端处理以减轻移动终端本地处理器的压力。然而,与移动云服务器通信的一个困难的问题是下行传输的回程延迟,这使得延迟敏感型任务无法满足时延要求。移动边缘计算(Mobile Edge Computing,MEC)已成为常用于无线网络或车联网中的一种计算和通信技术,因为其服务器物理位置更靠近移动终端设备,并拥有较强的计算能力从而为移动终端用户提供计算资源。因此,如果将移动终端实时产生的计算任务卸载到移动边缘计算服务器,边缘服务器在接收完任务后将处理结果返回移动终端,这种方案通常可以满足延迟约束。然而在移动边缘计算卸载方面仍然存在着一些需要进一步研究的新问题,例如:时变通道状态下的基站选择问题、可分割的任务处理问题、能量感知问题,这些问题仍然在很大程度上是具有挑战性的。本文针对移动边缘计算卸载进行了进一步研究,首先研究了异构无线网络时变通道条件下多边缘服务器卸载选择问题,然后进一步针对车联网环境中产生的可分割计算任务进行部分卸载,进而最小化全局代价,最后考虑了移动边缘计算卸载和能量感知的协同优化。本文的主要研究归纳如下:首先,由于计算能力和电池电量有限,移动终端用户很难通过本地处理器处理计算密集型任务或工作负载。利用与基站相连的具有充足的计算能力和通信资源的移动边缘计算服务器,设计了一个具有多个静态边缘服务器和动态车辆边缘服务器的框架来处理来自移动终端卸载的工作负载。为了获得最优计算卸载方案以最小化加权总成本,将卸载决策优化问题建模为马尔可夫决策过程(Markov Decision Process,MDP)。然后,提出了一种基于强化学习的部分计算卸载方案,以解决缺少先验知识的问题。此外,为了避免由复杂状态空间引起的维数灾难,进一步提出了一种基于深度强化学习的改进计算卸载方法,使用深度神经网络学习最佳卸载策略。实验结果表明,所提出的基于强化学习和深度强化学习的算法可以在没有先验知识的情况下自主学习最佳计算卸载策略。其次,车联网需要高效可靠的数据通信技术来保持低延迟。在车辆行驶以及无线信道和带宽时变的情况下,最大限度地减少能耗和数据通信延迟是非常具有挑战性的。车辆和路侧单元可以将计算任务卸载到与基站关联的移动边缘服务器端。考虑多个随机到达任务、无线信道的时变性,首先设计了一个异构车联网中的计算任务卸载模型。然后基于提出的模型,为了在能耗成本和数据传输延迟成本之间进行权衡,避免动作空间的复杂性引起的维数灾难,进一步提出了一种基于深度强化学习的自适应计算卸载方法。提出的方法可以处理连续动作空间,并且将Ornstein-Uhlenbeck(OU)噪声向量添加到动作空间,每个维度的动作都设置不同的控制因子以增加探索。多传输设备可以选择性地将计算任务本地处理和计算卸载到边缘服务器。实验结果表明,所提出的算法可以有效地学习最优策略,在随机环境中其性能优于两种基线方法。最后,在基站或物联网节点中使用可再生能源收集功能从而降低能耗。在动态和未知环境下,移动终端的数据卸载和可再生能源感知是主要挑战。本研究首先设计了一个数据卸载和可再生能源感知模型,模型考虑到执行多个随机计算任务并涉及时变无线信道。为了联合优化数据传输延迟、能耗和带宽分配,并避免由状态空间的复杂性引起的维数灾难,提出了基于深度强化学习的数据卸载和可再生能源感知的联合优化方法,提出的方法可以处理连续动作空间,通过从动态环境中自适应学习来最小化系统总成本(包括数据缓冲延迟成本、能耗成本和带宽成本),并获得有效的解决方案。实验结果证明了提出方法的有效性和优越性。