概统-线性回归

回归问题

$Y=f(X_1,\dots ,X_n)+ϵ$ 假定 $E(ϵ|X_1,\dots ,X_n)=0$ 则 $E(Y|X_1,\dots ,X_n)=f(X_1,\dots ,X_n)$ $f$ 称为 $Y$ 的回归函数

• 约定 $(X_1,\dots ,X_n)$ 非随机
• $E(ϵ)=0,Var(ϵ)={\sigma }^2$，影响 $\sigma$ 的因素包括自变量是否完全，和 $f$ 的形式是否准确

简单线性回归

$$Y={\beta }_0+{\beta }_{1}X+ϵ$$

• 线性：$f$ 关于 ${\beta }_0,{\beta }_1$ 线性
• 简单：$n=1$

$$\{\begin{array}{rl}& y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i\\ & {ϵ}_1,\dots ,{ϵ}_n\text{IID},E({ϵ}_i)=0,Var({ϵ}_i)={\sigma }^2\end{array}$$

$E(y_i)={\beta }_0+{\beta }_1{x}_i,Var(y_i)={\sigma }^2$

参数推断

最小二乘法

$$S({\beta }_0,{\beta }_1)=\sum _{i=1}^n(y_i-({\beta }_0+{\beta }_1{x}_i){)}^2$$ $$\widehat{{\beta }_1}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{{\sum }_{i=1}^n(x_i-\overline{x}{)}^2}=\frac{S_{xy}}{S_{xx}}=\frac{{\sum }_{i=1}^n(x_i-\overline{x})y_i}{S_{xx}}$$ $$\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}=\sum _{i=1}^n\left(\frac{1}{n}-\right)$$

• $\widehat{{\beta }_0},\widehat{{\beta }_1}$ 是无偏估计

$\widehat{y_i}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_i$，其残差为 $y_i-\widehat{y_i}$

Theorem

残差平方和 $RSS={\sum }_{i=1}^n(y_i-\widehat{y_i}{)}^2$

$${\hat{\sigma }}^2=\frac{RSS}{n-2}$$

为 ${\sigma }^2$ 的无偏估计.

• 标准误的估计

追加假设 ${ϵ}_i$ 正态，则 $y_i\sim N({\beta }_0+{\beta }_1{x}_i,{\sigma }^2)$ 可以证明极大似然估计和最小二乘估计结果相同

检验是否存在线性关系 $H_0:{\beta }_1=0,H_1:{\beta }_1\ne 0$

$$\frac{\widehat{{\beta }_1}-{\beta }_1}{\frac{\sigma }{\sqrt{S_{xx}}}}\sim N(0,1)$$

可证明

$$\frac{RSS}{{\sigma }^2}\sim {\chi }^2(n-2)$$ $$\frac{\widehat{{\beta }_1}-{\beta }_1}{\hat{\sigma }/\sqrt{S_{xx}}}\sim t(n-2)$$

预测

当 $X=x_0$ 时，$y_0={\beta }_0+{\beta }_1{x}_0+{ϵ}_0$ ${\mu }_0=E(y_0)={\beta }_0+{\beta }_1{x}_0$ ${\mu }_0$ 的预测为 $\widehat{y_0}=\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_0$ $E(\widehat{y_0})=E(\widehat{{\beta }_0})+E(\widehat{{\beta }_1})x_0={\beta }_0+{\beta }_1{x}_0={\mu }_0$

$$\widehat{Se}(\widehat{y_0})=\sqrt{\frac{1}{n}+\frac{(x_0-\overline{x}{)}^2}{S_{xx}}}\hat{\sigma }$$