数理统计复习笔记四——区间估计

数理统计复习笔记三——点估计介绍了若干点估计的方法和准则，本文介绍区间估计。

区间估计是介于估计和检验之间的内容，且区间估计与检验紧密相连，因此有的也把区间估计看作是检验的一种。

一、基本概念

1.1 区间估计

设$X_1,\cdots ,X_n$为来自分布族 F = { f ( x , θ ) , θ ∈ Θ } \mathcal F=\{f(x,\theta), \theta\in\Theta\} F={ f(x,θ),θ∈Θ}的样本，$\theta$为一维未知参数。如果${\hat{\theta }}_L(\mathbf{X})$，${\hat{\theta }}_U(\mathbf{X})$为两个统计量，且${\hat{\theta }}_L(\mathbf{X})\le {\hat{\theta }}_U(\mathbf{X})$，则称随机区间$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$为$\theta$的一个区间估计。

1.2 置信水平（置信度）

既然是估计，就应该有一个好坏的衡量指标。

当参数的真值为$\theta$时，随机区间$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$包含$\theta$的概率 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} Pθ​{ [θ^L​(X)≤θ≤θ^U​(X)]}就称为置信水平或置信度。

对于一个区间估计来说，肯定希望置信水平或置信度越大越好。由于这个置信水平依赖于参数真值，故我们自然希望对于参数空间$\Theta$中的每一个$\theta$，其置信水平都很大。

1.3 置信系数

设随机区间$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$为$\theta$的一个区间估计，则称 inf ⁡ θ ∈ Θ P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } \inf_{\theta\in\Theta}P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\} θ∈Θinf​Pθ​{ [θ^L​(X)≤θ≤θ^U​(X)]}为该区间估计的置信系数。

1. 区间估计有时要用开区间或半开半闭区间，但从置信水平的角度看，这几种区间估计没有本质的区别
2. 在计算某区间估计的置信水平时，我们应该知道${\hat{\theta }}_L(\mathbf{X})$，${\hat{\theta }}_U(\mathbf{X})$的联合分布。如果不知道其联合分布，则很难求得其置信系数，这就是构造置信区间的技巧所在

1.4 置信区间

设$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$是参数$\theta$的一个区间估计，如果对给定的$\alpha \in (0,1)$，有 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } ≥ 1 − α , ∀ θ ∈ Θ (2) P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}\ge1-\alpha , \forall\theta\in\Theta\tag{2} Pθ​{ [θ^L​(X)≤θ≤θ^U​(X)]}≥1−α,∀θ∈Θ(2)
则称$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$为$\theta$的置信水平为$1-\alpha$的置信区间，${\hat{\theta }}_L(\mathbf{X})$，${\hat{\theta }}_U(\mathbf{X})$分别称为置信下限和置信上限。

实际中也称满足 P θ { [ θ ^ L ( X ) ≤ θ ≤ θ ^ U ( X ) ] } = 1 − α P_\theta\{[\hat\theta_L(\bm X)\le\theta\le\hat\theta_U(\bm X)]\}=1-\alpha Pθ​{ [θ^L​(X)≤θ≤θ^U​(X)]}=1−α的区间估计为置信区间

详见杂记——贝叶斯可信区间与频率置信区间的区别

1.5 单侧置信限

有时人们感兴趣的指标是望大或望小指标（指标越大/小越好）。

设${\hat{\theta }}_L(\mathbf{X})$，${\hat{\theta }}_U(\mathbf{X})$为两个统计量，对给定的$\alpha \in (0,1)$，有 P θ { θ ^ L ( X ) ≤ θ } ≥ 1 − α , ∀ θ ∈ Θ (3) P_\theta\{\hat\theta_L(\bm X)\le\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{3} Pθ​{ θ^L​(X)≤θ}≥1−α,∀θ∈Θ(3)
P θ { θ ^ U ( X ) ≥ θ } ≥ 1 − α , ∀ θ ∈ Θ (4) P_\theta\{\hat\theta_U(\bm X)\ge\theta\}\ge1-\alpha, \forall\theta\in\Theta\tag{4} Pθ​{ θ^U​(X)≥θ}≥1−α,∀θ∈Θ(4)
则分别称${\hat{\theta }}_L(\mathbf{X})$与${\hat{\theta }}_U(\mathbf{X})$为$\theta$的置信水平为$1-\alpha$的单侧置信下限和单侧置信上限。

与双侧置信限的关系：

设${\hat{\theta }}_L(\mathbf{X})$与${\hat{\theta }}_U(\mathbf{X})$为$\theta$的置信水平为$1-{\alpha }_1$和$1-{\alpha }_2$的单侧置信下限和单侧置信上限，且${\hat{\theta }}_L(\mathbf{X})\le {\hat{\theta }}_U(\mathbf{X})$，则$[{\hat{\theta }}_L(\mathbf{X}),{\hat{\theta }}_U(\mathbf{X})]$是$\theta$的置信水平为$1-({\alpha }_1+{\alpha }_2)$的置信区间。

1.6 置信域

设$X_1,\cdots ,X_n$为来自分布族 F = { f ( x , θ ) , θ ∈ Θ ⊆ R k } \mathcal F=\{f(x,\theta), \theta\in\Theta\subseteq\bm R^k\} F={ f(x,θ),θ∈Θ⊆Rk}的样本，$\theta =({\theta }_1,\cdots ,{\theta }_k{)}^T$，如果统计量$S(\mathbf{X})$满足

• 对任一样本观测值$\mathbf{x}$，$S(\mathbf{x})$是$\Theta$的一个子集；
• 对给定的$\alpha \in (0,1)$，$P$