越来越多的企业将Web应用部署到从公有云提供商动态租赁的虚拟机集群上。Web应用的负载随时间动态变化,因此需要根据负载变化动态租赁或释放合适数量的虚拟机,云计算虚拟机按需租赁的特点能够较好地满足虚拟机动态租赁的需求。本文针对Web应用的单一层设计云资源动态供应方法,目标是在满足服务等级协议的前提下,动态调整异构虚拟机租赁方案,最小化资源租赁成本。已有研究广泛使用基于确定模型的排队论和控制理论的方法,但是Web系统的请求到达率、资源总能力和请求响应时间之间的关系具有复杂非线性特征,增加了建立确定模型的难度。已有模型与实际系统之间依然存在较大偏差,限制了这些方法的性能。本文考虑云计算虚拟机具有不同计费方式的特点,提出了基于深度Q网络、近端策略优化的Web应用异构资源弹性租赁方法。深度Q网络和近端策略优化属于不同类型的强化学习方法。强化学习是一种以试错的方式进行学习的机器学习算法,通过智能体与环境的交互学习最佳策略。基于强化学习的方法能够对Web系统的非线性性能特征进行准确建模。而且强化学习对系统先验知识的要求较少,针对特定Web系统设计的强化学习方法能够灵活移植到不同的Web系统。本文研究工作包括:（1）针对Web应用选择合适的系统性能指标作为强化学习状态表示参数。探究了不同状态参数组合和不同状态空间维度对算法效果的影响。（2）针对异构虚拟机租赁场景,在考虑算法收敛速度的前提下,提出了一种基于增量总能力的动作定义方法。探究了不同动作空间大小对不同负载的应对能力。（3）在基于增量总能力的动作空间定义的基础上,针对异构竞价型虚拟机租赁场景,使用整数线性规划（ILP）分别针对资源扩张和收缩场景建模,寻找成本最低的虚拟机租赁组合方案,实现从强化学习指导动作到异构虚拟机租赁方案的映射。（4）提出了综合考虑平均请求响应延迟、虚拟机租赁成本、成功请求数、失败请求数的奖励函数设计,并在后续实验中使用该奖励函数评估算法性能。（5）使用近端策略优化算法设计Web应用异构云资源动态供应方法,整合了基于值和基于动作概率两类不同强化学习策略的优点。与深度Q网络相比,提升了算法在无指导情况下的早期性能。（6）基于云计算仿真平台Cloud Sim,研发了支持强化学习算法的Web应用仿真平台RL-Cloud Sim,并利用该平台对算法性能进行测试。本文提出的基于增量总能力的方法获得的平均奖励回报相比基于虚拟机总数量的方法和每次只能调整一台单一类型虚拟机的方法,分别提升了50.86%和36.13%。在同样无外部算法指导的情况下,本文提出的基于近端策略优化方法的效果远优于基于深度Q网络的方法。无指导近端策略优化能够较早地取得和有指导深度Q网络相似的效果,避免针对特定Web系统建立复杂的指导算法。