随着计算机及图像处理硬件的发展，使得视觉信息可以用于连续反馈，人们提出了基于视觉的伺服控制形式(visual servoing)，即利用机器视觉的原理，对从视觉传感器得到的图像进行快速处理，在尽量短的时间内给出反馈信息，构成机器系统的位置闭环控制。对运动目标的检测和跟踪是目前图像处理系统中的一个热点，也是计算机视觉技术在实际应用中的一个关键技术。由于图像处理所要面临的对象具有大数据量的特点，故处理耗时较大，同时由于图像本身所包含的信息的复杂性，因此处理算法也越来越复杂。 倒立摆是控制理论中一个经久不衰的研究课题。它形象直观、结构简单、构件组成参数和形状易于改变，就系统本身而言，又是一个高阶次、不稳定、多变量、非线性强耦合系统，倒立摆研究具有重要的工程背景。 本文用带有视频传感器的倒立摆系统来对视觉伺服领域的问题进行研究。众所周知，CCD摄像头的图像传输速度一般在20-100帧／秒，这个速度要大大低于光电编码器的采样频率，而且采用精度易受外界干扰。如何设计出一种鲁棒性强的智能控制算法，在采样频率较低、信号质量差的情况下能够做到对系统的有效控制是基于视觉伺服系统的关键所在。本文中首先分析了图像的特征和干扰的类型，提出了减少干扰的措施；在定性分析后分别用阈值分割法和帧间差分法对运动目标的位置进行了检测提取；模拟人的行为方式设计了倒立摆摆起算法，实现了基于视频图像的倒立摆摆起控制。