近年来,性格分析得到了来自工业界和学术界越来越多的关注,个体的性格信息可以广泛应用于很多场景,包括:个性化推荐系统、虚拟机器人性格建模、心理学分析如焦虑症检测和抑郁症检测等。然而,传统的性格分析研究主要致力于根据个体在推特等社交平台上发表的内容分析此个体的大五人格（神经质、外倾性、经验开放性、宜人性、认真性）。从工业应用角度看,由于这些研究中性格分类的粒度比较粗,具体应用存在一定的局限性,本文将性格分析拓展到一个更细粒度的性格分类场景中,提出了一种新的任务,称为性格推理1。具体而言,给定一幅图片,根据个体对图片的具有性格导向的描述来判断此个体的实时性格倾向（如“浪漫”、“幽默”等）。本文主要根据捕捉信息的由浅入深将性格推理划分为三个层次的研究（两个感知层次,一个认知层次）,分别是:1)感知驱动的文本性格推理:该研究致力于学习文本表示用于识别个体的性格;2)感知驱动的融合文本与图像的多模态性格推理:该研究致力于学习融合文本和图像信息的多模态表示用于识别个体的性格;3)认知驱动的融合文本与图像的多模态性格推理:该研究致力于从文本和图像中捕捉深层次的认知差异信息用于识别个体的性格。本文针对此三个层次研究的具体工作如下:首先,本文致力于感知驱动的文本性格推理并提出了一种基于多任务辅助学习的文本性格推理方法。针对性格推理任务中性格标签数量大（共215类）以及存在相似含义性格（如“害羞”和“胆小懦弱”）的特点,该方法利用辅助学习机制捕捉性格间的差异来帮助模型更好地学习文本表示并推理出正确的性格。该方法分为三个步骤:首先,对性格归纳标注,将其映射到多个粗粒度的性格属性。其次,将性格推理任务作为主任务,性格与性格属性之间的映射作为辅助任务。最后通过辅助学习机制联合学习两个任务。实验结果表明,该方法能够利用多任务辅助学习显著提升文本性格推理任务性能。其次,本文致力于感知驱动的融合文本与图像的多模态性格推理并提出了一种基于强化学习的多模态性格推理方法。针对文本语义信息不足以及图像噪音信息过多的特点,该方法不仅利用强化学习提取与文本相关的图像区域特征还利用强化学习丢弃噪音图像区域特征。该方法分为三个步骤:首先,使用预训练模型（即,BERT和ResNet）从文本和图像中分别提取词特征和图像区域特征。其次,基于Actor-Critic网络构建了图像区域选择模块,可以选择和文本信息相关的图像区域特征以及去除噪音图像区域特征。最后,将文本表示和已选择的图像区域表示融合并利用融合后的表示进行性格推理。实验结果表明,该方法性格推理性能显著优于其他基准方法。最后,本文致力于认知驱动的融合文本与图像的多模态性格推理并提出了一种基于对比视觉注意力机制的多模态性格推理方法。由于不同性格的个体观察同一幅图像会关注不同的局部部分并对此给出具有性格导向的描述,受此认知差异现象的启发,该方法从人类认知角度出发利用对比视觉注意力机制学习对比性视觉信息帮助模型推理得到正确的性格。该方法分为三个步骤:首先,使用预训练模型（即,BERT和Faster R-CNN）分别编码文本和提取图中的对象特征。其次,设计了一个对比视觉注意力模块用于提取图像中与文本信息对齐以及不对齐的对象特征并分别计算对应的视觉表示。最后,通过利用对齐视觉表示最大化正确性格标签的概率及利用不对齐视觉表示最小化正确性格标签的概率学习对比性视觉信息,并利用对比排序损失函数增大各类别预测分值的方差来提高性格推理性能。实验结果表明,该方法能进一步有效提升融合文本与图像的多模态性格推理性能。