H.264/AVC是国际电信联盟远程通信标准化组织(ITU-T)的视频编码专家组(VCEG)和国际标准化组织(ISO)的运动图像专家组(MPEG)共同制定的新一代视频编码标准,较其他编码标准有着更高的压缩效率,并且具有很好的网络亲和性,在视频通信及互联网领域应用甚广。但也恰是其为获得更高的压缩比引入的诸多新编码技术,导致编码复杂度较其他标准上升一个量级,由此带来的功耗和时延,使其难以在资源受限的嵌入式设备及实时系统中发挥本身的优越性。因此,对其编码算法进行优化,在保证图像质量的同时,提升编码速度,是H.264/AVC问世以来的持续研究热点。本文通过对编码过程中各项关键技术引入的编码复杂度的研究与分析,选择帧内预测和帧间预测都涉及到的帧内预测模式选择算法进行改进,重点研究基于离散余弦变换(DCT)高频分量阈值的帧内快速模式选择算法。该算法以亮度块快速DCT变换及量化后零值的个数与设定的阈值相比判断16′16宏块中每个8′8子块的平坦程度,根据平坦8′8子块个数判断宏块内图像平坦程度,选择合适的帧内编码类型。由于量化及阈值设定带来不可避免的误差,帧内4×4编码过程根据各8′8子块是否平坦,决定是否计算内部全部4×4子块最佳预测模式,弥补误判带来的时间损耗。帧内4×4模式选择过程,首先判断预测效果最好,使用频率最高的前五种模式,再根据预测模式间空间相关性及图像纹理特点选出备选模式进行二次判断,减少模式搜索范围。本文算法在JM校验模型中以C语言实现,经不同视频序列测试,编码类型选择过程不经率失真优化(RDO)代价计算可正确筛选出超过约80%适合帧内16′16编码的宏块,最终相比于全搜索算法减少约30%至50%编码时间,峰值信噪比(PSNR)平均下降0.04dB左右,比特率平均增加约5.1%,主观质量无明显差别,且优化过程只附加H.264/AVC自带的快速DCT变换,所有运算只需整数加法和移位,尤其适合应用在无浮点运算的嵌入式设备上,对实时性要求较高的视频会议、安防监控等系统的编码速度有一定提升。