熵编码,特别是自适应熵编码,是大多数图像和视频压缩编码标准和许多非标准编码器的核心部分,例如JPEG2000中的MQ编码器和H.264/AVC中的CABAC编码器均用到了自适应二值算数编码。熵编码的编码性能主要与两个因素有关,一是概率模型与信源的实际特性相符的程度,二是编码器依据概率模型为待编码符号分配码字的方式。对于第二点,目前,当给定概率模型时,很多熵编码方法的平均码长已经非常接近给定概率模型下的香农熵,关于这方面的性能提升已经非常有限。而对于第一点,当待编码数据统计特性较平稳时,概率模型的建立问题相对容易,但当待编码数据统计特性经常发生变化时,概率模型往往会与信源的实际特性有所偏离,影响编码性能,若概率模型能实时的反映待编码数据这种特性变化,理论上可以取得更好的编码效果。基于以上背景,本文对数据特性经常变化时熵编码器概率模型的建立问题展开了研究。首先介绍了与熵编码密切相关的信源熵、概率模型和估计熵的相关定义,分析了熵编码的码长与待编码数据的信源熵和在概率模型约束下的估计熵之间的关系,阐述了自适应熵编码器中概率估计模型的重要作用。基于以上基本理论,接着给出了本文中平稳数据和非平稳数据的定义以及相关数学表示,并分析了静态模型以及传统的基于贝叶斯参数估计理论的概率估计算法不适合对非平稳数据进行概率估计的原因并进行了相关实验验证,最后介绍了加窗法和遗忘因子法两种经典的非平稳环境下的概率估计算法,并分析了各概率估计算法对于不同特性数据的概率估计效果,最后探讨了非平稳数据特性变化的剧烈程度对整个概率估计过程的影响,提出了根据数据的变化特性调节概率估计算法的自适应能力的基本思想。其次,研究了随机学习弱估计理论(stochastic learning weak estimators,SLWE)在非平稳数据概率估计问题中的应用。首先介绍了基于SLWE的二项分布和多项分布参数估计过程,并从定性和定量两方面分析了其适用性,深入剖析了其概率更新的内在原理,并将其与加窗法比较,分析了其与加窗法的内在联系。最后利用区间编码的架构设计了利用SLWE算法进行概率估计的区间编码方法,详细叙述了将SLWE算法移植到区间编码中时可能会引起的区间退化问题和由于浮点累加的舍入误差引起的解码问题及相应的解决办法。最后通过实验分析了新的区间编码方法对不同特性数据的编码效果。最后,提出了根据数据局部特性变化情况自适应调节算法自适应能力的参数自适应SLWE算法。该算法针对实际数据特性变化情况比较复杂的特点,首先利用数据的局部统计特性的变化情况分析数据的非平稳度,然后提取出特性变化比较大的位置作为变化点,最后根据变化点的位置和特性变化程度自适应的调节SLWE算法的学习因子,相应的改变算法的自适应能力和收敛能力以适应数据的局部特性变化。最后给出了实验分析。