本文研究非线性互补问题NCP(F)的数值解法，为解决单调算法的迭代点列在进入狭长区域时效率低下的问题，加快迭代速度，引入了非单调技术来改进原有算法。通过将非单调技术与较为稳定、可靠的信赖域方法相结合，提出了一类新的算法。 本文采用Fischer-Burmeister函数将互补问题转化为等价的非光滑非线性方程组。并利用Kanzow光滑逼近函数来逼近Fischer-Burmeister函数，得到相应的光滑的非线性方程组。第三章给出了求解该方程组的非单调信赖域算法，算法在信赖域子问题的下降量估计中引入“非单调比率”，当该比率可接受时即接受该步迭代。同时，若目标函数下降得足够多，即更新Kanzow光滑逼近函数的光滑化系数。 在假定F是P0函数的条件下，我们证明了算法产生的点列包含在一个水平集中。且在水平集是紧集的条件下，算法至少产生一个聚点，从而保证了算法的全局收敛性。进一步地，本文还给出了点列在一定条件下收敛到唯一点，并有局部超线性收敛性及二次收敛性等性质。第七章进行的若干数值实验表明，算法是有效的，尤其在等值线狭长的情况下，提高了单调算法的计算效率。