视频中人的行为分析是当前计算机视觉的一个热点研究课题。近来，其应用于商业化的进程不断推进，该研究领域中所涉及的问题一定还将被不断深入。特别随着微软公司kinect的到来，视频行为分析的应用已初见端倪，但离广泛普及还有一定距离。由于该研究领域涉及到计算机视觉的若干技术，这些技术目前都还存在一定的技术瓶颈，特别是对环境有较大的敏感度。这也成为了本文研究的一个直接动力。为此，选取了视频行为分析当中两个重点问题加以研究。首先，本文是基于可分割和识别的行为主体为研究对象，即可以从视频帧中首先定位出人体区域，因此研究的两个问题分别是：人体的检测与定位；人体的行为识别。人体区域的检测与分割是基于可分割行为目标研究中一个总的前提，我们需要在视频区域中实现人体区域的分割。为此，我们在基于传统运动区域检测算法的基础上，在已经检测出的候选运动区域中，设计出了一套新的目标检测算法，用基于Hough投票的方法，将目标区域分割出。在本文所用的基于Hough投票的方法中，我们创新性地利用目标内部的上下文特征关联规则，增强了目标特征表达的可靠性。人体的行为识别是在以检测出的人体目标区域基础上进行的。在本文中，我们主要研究基于多层次的目标检测算法，利用隐马尔科夫模型，在行为特征层和行为标签层之间隐式地搭建了一个语义层次：人体原型姿态描述层。与将整个目标区域当做特征表达对象不同，本文的研究着重于分析目标区域内部结构信息，提取出人体的姿态信息，这种姿态信息的语义层次要高于行为特征层，但是要低于最终的行为标签层。本文的创新工作也主要集中于如何利用随机模型连接这三个层次，将其合理地运用于视频行为分析当中。最后，为了验证本文算法的有效性，在若干个相关数据库上进行了充分的实验。实验结果表明，与之前的算法相比，本文提出的算法有更好的适应复杂环境的能力。