随着计算机技术的发展,网络谣言中的多媒体内容占比越来越大,而且多媒体内容相比纯文本内容来说更容易获取用户的信任,因此这种现象在导致谣言识别难度与日俱增的同时,谣言对社会造成的影响力也越来越大,若处置不当极易引发严重的社会动荡问题。因此,如何有效识别网络多媒体内容的真实性成为了急需解决的重大问题。现有的网络谣言识别方法大多只利用了发布推文中的用户数据和文本数据,对图像数据的利用往往只停留在图像所具有的表层信息上,本文针对现有识别方法的不足,提出了一种基于多模态数据的网络多媒体谣言识别方法,本文所做的主要工作及取得的成果包括:(1)将图像取证技术引入网络谣言识别体系。首先通过基于块粒度分析的图像篡改区域定位算法提取描述JPEG图像篡改可能性的似然概率图,根据阈值将图像划分为篡改区域和非篡改区域。其次通过BAG(块效应网格)提取算法提取JPEG图像的BAG图,针对不同区域计算BAG图的统计量并形成描述图像篡改程度的特征向量,最后将图像特征向量和传统的用户数据、文本数据构成的多模态数据输入谣言识别模型。(2)提出了一种基于图像重复度的网络多媒体谣言的两层分类模型:事件级谣言分类器和推文级谣言分类器。在构建事件级谣言分类器时,首先利用图像重复度构建信息网络拓扑图并采用社区发现算法提取子主题事件,然后利用事件特征训练事件级谣言分类器;在构建推文级谣言分类器时,本文提出了一种针对用户个体差异性的改进CNN网络结构,首先通过网络拓扑图找出与待识别推文最相似的多条推文,利用CNN网络结构进行特征融合后与待识别推文进行特征拼接,最后利用其训练分类器即可得到最终的推文级谣言分类器。通过引入事件级谣言识别模型和改进CNN网络结构,可以降低异常点的干扰、提升模型的稳定性。本文将国外社交媒体平台Twitter中的谣言数据作为研究中使用的数据集,通过实验验证了本文提出的基于多模态数据的多媒体谣言识别模型能较好地分辨Twitter中的谣言内容,在2015年VMU任务数据集下精确度达到了 96.7%,在2016年VMU任务数据集下精确度达到了 91.2%。与三种基准方法相比,模型的识别精确度表现更优异的同时,在不同数据集下的表现也更加稳定。