多层前传神经网络在许多领域有着广泛的应用。网络的泛化能力，即网络在训练集以外的样本上的精度，是标志神经网络性能的一个重要指标。提高网络泛化能力的一个重要指导思想是选择能够在训练集上达到精度要求的尽可能小的网络。 这里所说的小网络是指具有较少的神经元或连接的网络。得到这样的较小网络的一个有效途径是：在网络训练完成之后删除一些不重要的单元或连接。关于这方面的算法的介绍参见[7，15，19]。其中，从网络中删除连接权值的方法中包括在传统的误差函数中加入一个惩罚项，这样不重要的连接就有较小的权值，修剪这些权值就可以使网络的复杂性大大减小[22]。另外，在一些训练结束时不对网络进行修剪的情况中，网络的复杂性仍然会因为权值都比较小而大幅降低，因而会表现出较好的泛化能力[18，26]。所以在BP网络的误差函数中加入惩罚项是提高网络泛化能力的一个重要途径。 已有许多文献研究了多种不同的惩罚项，例如[10，12，13，22，26]。他们中的大多数([10,12，22,26])都是在实验的基础上对惩罚项的性能进行研究，没有在数学上论证权值的有界性。Jun Kong & Wei Wu [13]对一种惩罚项的性质在数学上作了研究，他们在训练样本线性无关(样本个数不能多于样本的维数)的条件下，证明了应用惩罚项到无隐层BP网络中可以保证权值有界。本文将在Jun Kong & Wei Wu [13]工作的基础上探讨将惩罚项应用到更重要的有隐层BP神绎网络中，同时允许样本线性相关。我们证明了在上述条件下，网络的每个权值都是有界的，并且网络是确定性弱收敛的(误差函数关于权值向量的导数的模收敛到零)。