若干半参数和非参数模型的稳健估计和特征筛选

来源 :山东大学 | 被引量 : 0次 | 上传用户:bbs_lijun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近几十年来非参数和半参数建模受到越来越多统计学者的关注,大量的文献研究了非参数和半参数回归模型的估计问题.非参数模型的优势在于它的灵活性,不需要对模型的结构做任何具体的假设.可是,非参数模型存在明显的缺陷.首先,维数诅咒是非参数估计无法逃避的一个本质问题.其次,非参数模型中很难加入离散的预测变量.第三,当预测变量的维数较高时,很难画出估计函数的图像并给出估计的合理解释.半参数模型作为非参数模型和参数模型之间的一类模型,既继承了非参数模型的灵活性,又继承了参数模型的可解释性.关于模型结构的假定方面,半参数模型强于非参数模型又弱于线性模型,一定程度上降低了(并非完全消除)模型指定错误的可能性.现有的估计方法大多数基于最小二乘法;而最小二乘方法不稳健,同时需要误差的二阶矩存在并且有限.另一方面,随着收集数据能力的不断提高,(超)高维数据频繁地出现在社会生活和科学研究的诸多领域;高维数据的变量选择和超高维数据的特征筛选问题也因此成为当今统计界的又一研究热点.本文在非参数和半参数回归模型的框架下分别研究稳健的估计方法和稳健的特征筛选方法,以便进一步补充和完善相关的方法和理论.   第2章研究一般的非参数模型Y=m(T)+σ(T)ε,其中Y是响应变量,T是协变量并且与随机误差ε相互独立,误差满足E(ε)=0,var(ε)=1.假设m(·)是光滑的,σ(·)恒正.Kai,Li和Zou(20i0)在上述非参数模型下提出局部复合分位数回归(localcompositequantileregression,LCQR)方法.当误差分布对称且非正态时,LCQR估计能够显著地改进局部最小二乘(localleastsquares,LLS)估计的效率;误差服从正态时,LCQR估计相对于LLS估计损失的效率也很少.可是,LCQR方法仅适用于对称的误差分布,非对称的误差分布下LCQR估计的相合性无法保证.实际中误差分布一般是未知的,Kai,Li和Zou(2010)给出的误差对称性的假设有些牵强.为此我们针对非参数模型提出加权局部复合分位数回归(weightedlocalcompositequantileregression,WLCQR)方法,新方法对误差分布没有任何要求,适用范围比LCQR更广泛.任意给定t0,构造m(t0)的WLCQR估计.我们利用不等的权重{ωk,k=1,…,q}对Kai,Li和Zou(2010)的LCQR方法中求出的初始估计{(a)k,k=1,…,q}进行加权复合.等间隔地取q个点{(τ)k=k/(q+1),k=1,…,q}.记F-1(·)为误差ε的分位数函数,定义m(t0)的WLCQR估计(m)(t0)为(m)(t0)=q∑k=1ωk(a)k=ωT(a),其中权向量ω=(ω1,ω2,…,ωq)T满足q∑k=1ωk=1和q∑k=1ωkF-1((τ)k)=0.在误差分布对称性未知的情况下,条件∑qk=1ωkF-1((τ)k)=0使得WLCQR估计(m)(t0)的渐近偏表达式中的常数项恰好为零,从而保证了WLCQR估计的相合性.于是我们可以得到(m)(t0)的渐近偏,渐近方差和渐近正态性,即bias{(m)(t0)|(τ)}=1/2m"(t0)μ2h2+Op(h2),var{(m)(t0)|(τ)}=1/nhv0σ2(t0)/fT(t0)J1(q)+Op(1/nh)var{(m)(t0)|(τ)}=1/nhv0σ2(t0)/fT(t0)J1(q)+Op(1/nh)和√nh{(m)(t0)-m(t0)-1/2m"(t0)μ2h2}D→N{0,v0σ2(t0)/fT(t0)J1(q)}.权向量ω一般是不唯一的,我们通过最小化渐近方差求出最优权向量ω(★)的理论表达式,从而得到与之对应的m(t0)的最优估计(m)(★)(t0)的渐近方差varmin{(m)(★)(t0)|(τ)}=1/nhv0σ2(t0)/fT(t0)J(★)1(q)+Op(1/nh).当误差分布对称时,我们在渐近相对效率的准则下比较新方法求出的最优估计(m)(★)(t0),经典的LLS估计(m)ls(t0)以及Kai,Li和Zou(2010)提出的LCQR估计(m)cqr(t0)的效率,得到limq→∞inf{ARE((m)(★)(t0),(m)ls(t0))}≥1,limq→∞inf{ARE((m)(★)(t0),(m)cqr(t0))}≥1.   此外,数值模拟和一个实例分析得出的结论也与之前的理论分析一致.   第3章研究变系数部分线性模型Y=XTα(U)+ZTβ+ε,其中α(U)={α1(U),…,αd1(U)}T是一个d1×1维未知的光滑函数系数向量,β=(β1,…,βd2)T是一个d2×1维未知的真实参数向量.假设U是一元协变量,随机误差ε与协变量向量{U,X,Z}独立,E(ε)=0.任意给定u0,针对上述变系数部分线性模型给出局部秩方法的具体估计步骤.由于模型既涉及参数部分也涉及非参数部分,相对应估计的收敛速度应分别与经典的参数和非参数估计的收敛速度保持一致.受到Kai,Li和Zou(2011)的启发,我们提出三阶段估计步骤来实现局部秩的思想.第一阶段,利用局部秩回归得到参数部分β和非参数部分α(u0)的初始估计.第二阶段,利用全局秩回归修正第一阶段求出的参数部分β的初始估计,改进后的参数估计的收敛速度与经典的参数估计的收敛速度保持一致.第三阶段,再次利用局部秩回归改进第一阶段求出的非参数部分α(u0)的初始估计.于是我们可以分别建立参数部分β的局部秩估计(β)LR和非参数部分α(u0)的局部秩估计(α)LR(u0)的渐近正态性,即√n((β)LR-β)D→N(0,1/12(τ)2[E(ZZT)]-1Δ0[E(ZZT)]-1)和√nh(α)LR(u0)-α(u0)-μ2/2α"(u0)h2+o(h2))D→N(0,v0/12(τ)2f(u0)∑1XXT(u0)).   进一步,通过比较参数部分和非参数部分的局部秩估计和局部最小二乘估计的效率可以发现,局部秩方法相对于局部最小二乘法是一种既稳健又有效的估计方法.具体地说,对大多数非正态分布的误差而言,局部秩估计能够显著地改进局部最小二乘估计的效率;误差分布服从正态时,局部秩估计的效率损失极少.理论结果表明,非参数部分的局部秩估计损失的效率不超过11.1%,参数部分的局部秩估计损失的效率不超过13.6%.此外,我们通过数值模拟和一个环境数据集的实例分析再次验证了之前得到的理论结果.   第4章研究超高维模型下的特征排序和筛选方法.大多数已有的特征筛选方法都需要假定模型的具体结构,并且要求工作模型与潜在的真实模型非常接近.Zhu,Li,Li和Zhu(2011)在很一般的模型框架下提出一种新的特征筛选方法,即SIRS(sureindependentrankingandscreening)方法.SIRS方法不需要假设回归模型的具体结构,适用于一大类常见的参数和半参数模型.可是我们发现SIRS方法在某些情况下无法选出活跃的预测变量,第4章将给出具体的例子加以说明.为了改进SIRS方法,我们首次利用预测变量的“局部”信息流来定义新的边际效用准则,进而提出新的非参数特征筛选(nonparametricrankingandscreening,NRS)方法.NRS方法依然不需要假定模型的具体结构,其边际效用准则的定义为ψk=E[Ψ2(Xk,Y)],k=1,…,p,其中Ψ(xk,y)=W(xk)/E[I(Xk<xk)]{R(xk,y)-S(xk,y)},R(xk,y)=E[XkI(Xk<xk)I(Y<y)],S(xk,y)=E{XkI(Xk<xk)E[I(Y<y)]}.这里权重函数ω(xk)满足ω(xk)≥0,E[ω(Xk)]=1.实际中权重函数的简单选取方法是ω(xk)=2E[I(Xk<xk)].我们用Ψk来度量预测变量Xk的边际效用,并从理论上证明了NRS方法具有排序相合性.即在一定的正则性条件下,存在充分小的常数(s)δ/2∈(0,4/δ),使得P{maxj∈A(Ψ)j>mink∈(A)(Ψ)k}≥1-4pexp{nlog(1-δ(s)δ/2)/3}成立.此外,我们还研究了活跃预测变量之间的相关性并将其运用到特征排序和筛选的过程中,使得非参数特征筛选方法更全面,适用范围更广.在数值模拟实验中,通过考查各种不同类型的回归模型,我们再次验证新提出的方法一致且显著地优于已有的特征筛选方法.
其他文献
系统的可靠性在工程应用学科和各类工业实际中尤为重要,如航空航天、核反应堆等控制系统。在20世纪70年代,自Siljak第一次提出了可靠控制之后,许多设计可靠控制器的方法被相继提
本文通过对荣华二采区10
In order to simulate and study the mechanism of cement stabilized soils polluted by different contents of magnesium sulfate (MS), a series of tests were conduct
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
本文通过对荣华二采区10
期刊
旋转液膜反应器是一个以同轴旋转圆台为基本模型的微化学反应器,圆台间隙内充满了不可压缩的粘性流体。对同轴旋转圆台内的流体流动研究到目前已有20余年。目前针对不同初始条
近年来处理语言信息的方法可分为以下几类.一是基于扩展原理,利用语言术语语义所对应的模糊数集结语言信息;二是基于符号方法,直接用语言变量所对应的下标计算来集结语言信息;
学位
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊