跨站脚本攻击（Cross Site Script,XSS）是黑客在网络上利用网页前后端开发遗留的漏洞发动攻击的一种常用手段。传统的XSS检测工具的检测率和准确率局限于其攻击语库,基于浅层机器学习的XSS检测工具面对大量数据时无法达到好的检测效果且不具备泛化能力,并且近几年来针对人工智能检测工具的对抗性攻击也层出不穷,而针对该类攻击的防御研究也不足。针对现阶段XSS检测工具受限于优质检测模型的设计以及对抗性攻击防御力低下的缺点,提出了基于深度强化学习和神经网络的XSS检测模型,该模型由对抗样本生成器和XSS检测器组成。论文首先针对XSS检测工具的对抗性攻击防御力低下,基于深度强化学习与环境交互的对抗性学习思想,提出了基于DQN算法的XSS对抗样本生成器模型,其核心思想为通过生成器模型挖掘XSS对抗性攻击样本供XSS检测器学习和训练,从而提高检测模型的对抗性攻击防御能力。然后提出了CNN和GRU的组合神经网络,将其优秀的特征提取和学习能力用于搭建XSS检测器模型,从而大幅提高对XSS攻击语句的检测能力,使整体模型具有更好的性能表现。根据上述想法分别设计并实现了基于DQN的对抗样本生成器模型和基于CNN+GRU的XSS检测器模型,并使用爬取及处理的上万条正负样本进行了三个实验的训练和测试。实验一用于神经网络的参数选择。实验二结果表明,基于CNN与GRU结合的XSS检测模型与基于CNN和基于CNN与LSTM结合的XSS检测模型相比,对XSS语句的特征提取和学习能力更强,具有更好的检测效果。实验三则在进行八轮交叉训练实验后表明,通过交替训练,基于CNN+GRU的XSS检测器对对抗性攻击语句的识别率大幅提升,并且基于DQN算法的对抗样本生成器在生成对抗样本时的逃逸率也逐渐上升,XSS检测系统模型整体上具备了一定的XSS检出率和对抗攻击防御力。综上所述,利用深度强化学习和神经网络搭建XSS检测模型是高效可行的。