注意到机器翻译领域取得的令人瞩目的成果,注意力机制及其变体的实现迅速成为神经网络的标准组件,比如当面对诸如文档分类,语音识别和许多其他自然语言处理的任务时,与以前的工作相比,注意力机制的应用帮助实现了卓越的模型性能。但是,大多数早期工作仅专注于在循环神经网络架构上实现注意力机制,例如LSTM和GRU,但它们存在缺乏并行计算支持的问题,这使得构建深度网络不切实际。为了解决上述问题,Vaswani等人提出了一种由多头自注意力支持的新颖的自注意力网络体系结构,该体系结构通过将输入序列并行投影到多个不同的子空间中来利用不同的头来捕获部分句子信息。尽管他们只在投影步骤上使用了简单的线性变换,但Transformer网络的出色性能仍然取得了巨大的成功。现有的大多数致力于改善多头注意机制的工作主要是尝试在每个独立的头上提取出更多信息的部分表示。Li等人提出了一种聚合多头注意力的输出表示的方法。Dou等人尝试动态聚合来自不同编码器层的输出表示之间的信息。所有这些工作大都集中在多头自注意力网络步骤的“之前”或“之后”,作为整个Transformer模型的重要组成部分,多头自注意力网络本身应予以更多关注。为了更强大地支持当前的Transformer,我们提出构造一个更具有一般形式的的上下文感知的自注意力网络,该模型可以学习到输入序列的更深层的上下文信息,这将有助于改善模型的最终性能。在本文中,我们提出了一种新颖的胶囊-Transformer,其中我们实现了一种称为胶囊路由自注意力网络的一般化自注意力网络,它通过将自注意力网络看作胶囊网络的一种特殊情况,将线性变换推广到更一般的胶囊路由算法。胶囊网络机制的最大区别之一是将基本处理单元从标量（单个神经元）变化为胶囊（神经元或向量集合）。受到这种胶囊处理想法的启发,我们首先将通过自注意力计算出的注意力权重集合类似地组织到各种包含初步语言特征的胶囊中,然后在这些胶囊上应用路由算法以获得可以包含更深层上下文信息的输出的顺序。通过将自注意力网络以胶囊方式重新组织,与原始自注意力网络相比,我们将模型扩展为更一般的形式。