概统-参数估计

矩估计

\frac{1}{n} i = 1 \sum n X_{i}^{k}

称为样本原点矩，根据大数定律，收敛于总体中心矩。用参数表示总体矩，并用样本矩作为总体矩的估计值，从而计算参数估计值。

极大似然估计

联合分布 $f (x_{1}, \dots, x_{n}; θ)$ ， $θ$ 为参数。定义

L (θ) = f (X_{1}, \dots, X_{n}; θ)

为似然函数。若 $X_{1}, \dots, X_{n}$ 独立同分布， $X_{i}$ 的分布为 $f_{1} (x; θ)$ ，则

L (θ) = f_{1} (X_{1}; θ) \dots f_{1} (X_{n}; θ)

$θ$ 的 MLE 为

θ^{*} = θ a r g ma x L (θ)

$(g (θ))^{*} = g (θ^{*})$

Example

$X_{i} \sim U (0, θ)$ ，
$f_{1} (x; θ) = \frac{1}{θ} 1_{{0 \leq x \leq θ}}$ $L (θ) = \frac{1}{θ ^{n}}, θ \geq X_{i}$ $θ^{*} = ma x {X_{1}, X_{2}, \dots, X_{n}}$

优良性准则

无偏性

偏差与无偏性

定义偏差
$E (\hat{θ} - θ) = E (θ) - θ$
若 $E (\hat{θ} - θ) = 0$ ，称 $\hat{θ}$ 为 $θ$ 的一个无偏估计.

Example

$E (\overline{X}) = μ$
$\overline{X}$ 为 $μ$ 的无偏估计.
$E (\frac{1}{n} i = 1 \sum n (X_{i} - \overline{X})^{2}) = \frac{n - 1}{n} σ^{2}$
因此
$S^{2} = \frac{1}{n - 1} (X_{i} - \overline{X})^{2}$
为 $σ^{2}$ 的无偏估计.

Example

$X_{i} \sim U (0, θ)$ ， $θ^{*} = ma x {X_{1}, \dots, X_{n}}$ ， $E (θ^{*}) = \frac{n}{n + 1} θ$ ，因此 $θ^{*}$ 不是无偏估计。

原因？

均方误差

均方误差 MSE

定义均方误差 MSE，
$MSE (\hat{θ}) = E [(\hat{θ} - θ)^{2}] = Va r (\hat{θ}) + E^{2} (\hat{θ} - θ)$

$Va r (\hat{θ})$ 体现精确度

$E^{2} (\hat{θ} - θ)$ 体现准确度

均方误差准则

设 $\hat{θ}_{1}, \hat{θ}_{2}$ 均为无偏估计，对于任意的 $θ$ ，均有
$Va r (\hat{θ}_{1}) \leq Va r (\hat{θ}_{2})$
且存在 $θ$ 使得严格不等号成立，称均方误差意义下， $\hat{θ}_{1}$ 优于 $\hat{θ}_{2}$

Example

$E (\overline{X}) = μ = E (X_{1})$ $Va r (X_{1}) = σ^{2}$ ， $Va r (\overline{X}) = \frac{1}{n} σ^{2}$

大样本性质

渐近无偏性：若 $lim_{n \to \infty} E (\hat{θ} - θ) = 0$ ，则称 $\hat{θ}$ 为 $θ$ 的渐近无偏估计
相合性： $\forall ϵ > 0$ ，若 $lim_{n \to \infty} P (∣ \hat{θ} - θ ∣ \geq ϵ) = 0$ ，则称 $\hat{θ}$ 为 $θ$ 的一个相合估计
渐近正态性：若

\frac{θ ^ - θ}{S e ( θ ^ )} \to d N (0, 1)

其中 $S e (\hat{θ}) = Va r (\hat{θ})$ ，则称 $\hat{θ}$ 为 $θ$ 的一个渐近正态估计.

置信区间

置信区间

$\forall α \in (0, 1)$ ，若对于任意 $θ$
$P (\hat{θ}_{1} < θ < \hat{θ}_{2}) \geq 1 - α$
则称 $(\hat{θ}_{1}, \hat{θ}_{2})$ 为 $θ$ 的 $(1 - α)$ - 置信的双侧区间估计

Theorem

$f$ 满足一定正则性条件下， $\exists σ_{n} > 0$ ，使得
$\frac{θ ^{*} - θ}{σ _{n}} \to N (0, 1), n \to \infty$

$\frac{θ ^{*} - θ}{σ _{n}} \sim 近似 N (0, 1)$

Fisher 信息量

$X_{1}, \dots, X_{n}$ 的 Fisher 信息量定义为
$I_{n} (θ) = E [(\frac{\partial l ( θ )}{\partial θ})^{2}]$
其中 $l (θ)$ 为对数似然函数

$n = 1$ 时，

\frac{\partial l ( θ )}{\partial θ} = \frac{f _{θ}}{f}

E (\frac{f _{θ}}{f}) = \int \frac{f _{θ}}{f} fd x = \int f_{θ} d x = (\int fd x)_{θ} \equiv 0

$n > 1$ 时，

I_{n} (θ) = E [(\frac{\partial l ( θ )}{\partial θ})^{2}] = E (i = 1 \sum n \frac{f _{θ} ( x _{i} ; θ )}{f ( x _{i} ; θ )})^{2} = i = 1 \sum n E [(\frac{f _{θ} ( x _{i} ; θ )}{f ( x _{i} ; θ )})^{2}] + i \neq = j \sum E (\frac{f _{θ} ( x _{i} ; θ )}{f ( x _{i} ; θ )} \frac{f _{θ} ( x _{j} , θ )}{f ( x _{j} ; θ )}) = n I (θ)

0 = l^{'} (θ^{*}) = l^{'} (θ) + l^{''} (θ) (θ^{*} - θ) + o (θ^{*} - θ)

θ^{*} - θ \approx \frac{l ^{'} ( θ )}{- l ^{''} ( θ )}

\frac{θ ^{*} - θ}{\frac{1}{n}} \approx \frac{\frac{1}{n} l ^{'} ( θ )}{- \frac{1}{n} l ^{''} ( θ )}

令

Y_{i} = \frac{f _{θ} ( x _{i} ; θ )}{f ( x _{i} ; θ )}

则 $E (Y_{i}) = 0, Va r (Y_{i}) = I (θ)$ 分子：

\frac{1}{n} l^{'} (θ) = \frac{1}{n} i = 1 \sum n Y_{i} = \frac{Y - 0}{\frac{1}{n}} \to d N (0, I (θ))

分母：

- \frac{1}{n} l^{''} (θ) = \frac{1}{n} i = 1 \sum n [- (\frac{f _{θ} ( x _{i} ; θ )}{f ( x _{i} , θ )})_{θ}] \to P E [- (\frac{f _{θ}}{f})_{θ}]

E [- (\frac{f _{θ}}{f})_{θ}] = E (- \frac{f _{θθ}}{f}) + E [(\frac{f _{θ}}{f})^{2}] = I (θ)

因此

\frac{θ ^{*} - θ}{\frac{1}{n}} \to d N (0, \frac{1}{I ( θ )})

\frac{θ ^{*} - θ}{\frac{1}{n I ( θ )}} \to d N (0, 1)

$I (θ)$ 通常关于 $θ$ 连续则 $I (θ^{*}) \to P I (θ)$

Theorem

$\frac{θ ^{*} - θ}{\frac{1}{n I ( θ ^{*} )}} \to d N (0, 1)$

直观上讲，Fisher 信息量衡量样本能表明多少关于未知参数的信息。假如似然函数尖锐，数学上对应似然函数的二阶导数很大，参数 $θ$ 只要偏离一点似然值就会剧烈下降，此时得到的信息量大，反之则信息量小。

Cramer-Rao 不等式

$f$ 在一定条件下， $\forall \hat{θ}$ 无偏，有 $Va r (\hat{θ}) \geq \frac{1}{n I ( θ )}$

两总体

Bayes 估计

f_{Θ∣ X} (θ ∣ x) = \frac{f _{X ∣Θ} ( x ∣ θ ) f _{Θ} ( θ )}{f _{X} ( x )}

Evan's blog

Explorer

概统-参数估计

矩估计

极大似然估计

优良性准则

无偏性

均方误差

大样本性质

置信区间

Bayes 估计

Graph View

Table of Contents

Backlinks