随着深度卷积神经网络在图像处理及识别领域的成功表现,人体检测和姿态识别技术理论研究迎来了新的发展方向。基于深度神经网络的人体检测与姿态识别技术降低了对外界设备的需求,为一些场景应用提供强大的理论支撑。本文以乒乓球机器人系统为背景,设计深度学习模型,用于对击球人的人体位置检测和姿态识别及动作分析,并根据识别到的姿态序列建立分类模型,判断出击球运动动作类别,从而预判乒乓球的旋转类型及速度,以此控制乒乓球机器人击球前的初始预运动,为系统后续的轨迹预测和击球决策处理预留更多的缓冲时间。本文针对应用场景的特点,选择一阶段目标检测算法和特征金字塔网络,解决一般检测模型对乒乓球运动场景中人体检测和姿态识别精度不高,速度过慢的问题,并将理论研究成果在乒乓球机器人实物系统验证和实现。本文主要研究工作分为以下四个部分:（1）击球人的人体检测:该部分提出一种新的网络结构对乒乓球运动场景中击球人的位置检测,结果作为人体姿态识别的输入。首先基于场景中击球人呈现的动作幅度比较大,一般模型的预测结果总是会裁剪部分手臂区域的问题,对经典一阶段检测算法YOLOv4从网络结构设计、先验锚框以及损失函数设计三个方面进行改进。然后针对乒乓球运动特定场景制作一个数据集,数据集中标注含人体的真实位置以及每个人的关键点坐标,用来对提出的模型有针对性训练,并在训练过程中通过Mosaic数据增强扩充训练样本和背景多样性。最后实验结果表明改进后的网络在本文任务中具有更好的表现效果。（2）击球人姿态识别:该部分包含两个阶段,首先设计了一种轻量化姿态识别模型检测击球人重要“关键点”,识别出2D姿态。然后通过双目相机视差矩阵变换计算2D姿态各个关键点在实际空间的映射,获得人体3D姿态序列。在第一阶段,采用自上而下的思路,将上一部分人体检测结果分割出来作为姿态识别模型的输入。为满足乒乓球机器人系统实时要求,采用轻量化网络Mobile Net-v2作为特征提取器,检测部分使用特征金字塔融合网络学习更多层次的关键点信息。考虑到在乒乓球运动场景中运动员下半身的关键点信息可以忽略,对一般人体姿态进行修正并引入基于量级的模型剪枝,提升了训练速度和检测精度。在第二阶段,对双目相机进行参数标定,根据视差法推导出击球人的3D姿态序列。（3）击球动作分析:该部分根据击球姿态实现对乒乓球的旋转类型和旋转速度判断。首先对上一部分的3D人体姿态序列降噪和关键帧提取,选出有效的击球动作序列。然后构建适当的分类器对击球动作进行分类,从而判断出乒乓球的旋转类型。最后利用DTW算法衡量击球动作之间的相似性,用乒乓球的旋转强弱代替旋转速度。（4）技术验证和系统实现:该部分将前面三部分研究的技术在实物系统验证与实现。根据前一部分的分析结果控制乒乓球机器人预运动到球的大致落点区域,最终实现乒乓球机器人系统的人机交互。