随着神经影像技术的发展,功能性核磁共振成像（fMRI）成为了研究热点之一。其中大脑在条件刺激下的相应区域的活动反应就可以通过任务态fMRI数据来呈现,采用数据建模的方法对其进行分析能够更好地认识人脑的运作方式。近年来,深度学习方法在对多维数据进行建模方面性能表现突出而成为普遍使用的方法之一。但是目前的深度模型方法由于不能充分利用fMRI数据的时序和空间特性而导致模型性能不佳。为了能够同时提取fMRI数据的空间和时间序列特征,本文设计了一种卷积循环网络模型（CRNN）。模型中的卷积网络模块对数据进行降维并获取空间特征信息,循环网络模块来提取数据的时序上的信息并且加入注意力机制让模型更加注重大脑激活状态的信息,该模型能够充分利用数据的信息并在公开数据集上进行实验达到94.31%的分类效果,优于其他对比模型。为了更好地分析不同任务态下脑功能区的反应情况,基于本文提出的模型并结合卷积可视化方法,通过将模型从对应数据中学到的特征提取出来并基于梯度加权类激活图方法映射到相应的脑功能区进行可视化。最后,以迁移学习的训练方式将训练好的模型参数迁移至新模型上进行初始化,并在小样本数据集上进行分类实验,相比较正常训练方式不仅减缓了过拟合现象,并且分类性能也提升了8.34%。