图像描述任务是融合计算机视觉和自然语言处理和机器学习的综合性问题,是这些年的热点问题与难点问题。虽然近年来研究者在图像描述任务上做了大量的研究工作,推动了该任务的发展,但是整体效果仍然是差强人意的,图像识别的错误会导致生成句子时的错误累积,图文完全不相关的情况仍然存在,这是因为机器感知能力仍然处于初级阶段。随着技术的进步和发展,希望图像描述任务可以在未来解决更多的现实问题,帮助人类完成更有意义的工作。本文提出结合最新的MASK-RCNN模型获得的特征图作为语言生成模型的输入参考特征,预训练的图像分类模型使用了更好的Res Net-101,特征部分提取Ro IAlign层之后的特征图,并添加了位置特征与面积特征,该部分可以看作BOTTOM-UPATTENTION。描述生成模型使用了注意力机制,通过对注意力机制模型LSTM部分的改进,引用自然语言生成任务的SC-LSTM模型,添加一个DA向量作为语义控制输入,指导模型生成的描述与图像有更强的相关性,DA向量同样通过目标检测模型获取。损失函数使用交叉熵损失与DA向量相关项的和,优化方法使用随机梯度下降算法。最终在AIC中文数据集上取得了不错的效果,BLEU-4获得0.575,METEOR获得0.421,CIDEr获得1.882,ROUGE＿L获得0.7。为了获得更多用户的反馈,在微信小程序上提供了可以同时获取图像描述和目标检测结果的调用接口。