概统-随机变量的数字特征

期望

• $E(aX+bY)=aE(X)+bE(Y)$，无需独立
• 若 $X_1,X_2,\dots ,X_n$ 相互独立（实际上相关系数为 0 即可），则 $E(X_1{X}_2\dots X_n)=E(X_1)E(X_2)\dots E(X_n)$

分位数

中位数

若 $P(X\le m)\ge \frac{1}{2}$ 且 $P(X\ge m)\ge \frac{1}{2}$，则称 $m$ 为 $X$ 的中位数.

Definition

$\forall \alpha \in (0,1)$，若 $P(X\le m)\ge \alpha$ 且 $P(X\ge m)\ge 1-\alpha$，则称 $m$ 为 $X$ 的下 $\alpha$ - 分位数

方差

$Var(X)=E(X^2)-E^2(X)$

• $Var(X+c)=Var(X)$
• $Var(cX)=c^{2}Var(X)$
• $Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)=Var(X)+Var(Y)+2E[(X-E(X))(Y-E(Y))]$

协方差和相关系数

$(X,Y),{\mu }_1=E(X),{\mu }_2=E(Y),{\sigma }_1^2=Var(X),{\sigma }_2^2=Var(Y)$

协方差

$X,Y$ 的协方差

$$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]$$

• $Cov(X,X)=Var(X)$
• $Cov(X,Y)=Cov(Y,X)$
• $Cov(X,Y)=E(XY)-E(X)E(Y)$
• $Cov(a{X}_1+b{X}_2+c,Y)=aCov(X_1,Y)+bCov(X_2,Y)$

相关系数

$$Corr(X,Y)=\frac{Cov(X,Y)}{{\sigma }_1{\sigma }_2}=E\left(\frac{X-{\mu }_1}{{\sigma }_1}\cdot \frac{Y-{\mu }_2}{{\sigma }_2}\right)=Cov\left(\frac{X-{\mu }_1}{{\sigma }_1},\frac{Y-{\mu }_2}{{\sigma }_2}\right)$$

• $X,Y$ 独立 $\Rightarrow \rho (X,Y)=0$，反向不成立，如 $X\sim N(0,1),Y=X^2$
  • 特别地，若 $(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }^2,\rho )$，有 $\rho =0\Rightarrow X,Y$ 独立
• $|\rho (X,Y)|\le 1$ 且等号成立当且仅当 $\exists a,b,P(Y=aX+b)=1$，$Y=aX+b$ 几乎必然成立

矩

矩

对于随机变量 $X$ 和常数 $c$，称 $E[(X-c{)}^k]$ 为 $X$ 关于 $c$ 的 $k$ 阶矩。 当 $c=0$ 时，称为 $k$ 阶原点矩，记为 ${\mu }_k$； 当 $c=E(X)$ 时，称为 $k$ 阶中心矩，记为 $m_k$

• 1 阶原点矩为 $E(X)$，1 阶中心矩为 0
• 2 阶中心矩为 $Var(X)$

偏度系数

$$Skew(X)=E\left[{\left(\frac{X-\mu }{\sigma }\right)}^3\right]=\frac{E[(X-\mu ){]}^3}{{\sigma }^3}$$

即 3 阶标准矩，称为偏度系数

偏度系数的正负体现分布的偏态方向

• 若 $Skew(X)<0$，左偏/负偏，体现为分布具有左侧长尾
• 若 $Skew(X)>0$，右偏/正偏
• 若 $Skew(X)=0$，无明显偏态

> [!definition] 峰度系数 > > $$ > Kurt(X)=E\left[ \left( \frac{X-\mu}{\sigma} \right)^{4} \right] > $$ > 即 4 阶标准矩，称为 $X$ 的**峰度系数**。 > 将 $Kurt(X)-3$ 定义为**超额峰度系数**。 - 若 $X\sim N(0,1)$，则 $Kurt(X)=3$ 峰度系数指示分布的峰尾的集中程度 - 若 $Kurt(X)>3$，分布呈现为**尖峰厚尾** - 若 $Kurt(X)<3$，分布呈现**平峰薄尾** - 若 $Kurt(X)=3$，分布与正态分布相似

卡方分布方差

可以用正态分布的峰度系数推导卡方分布的方差： $Z\sim N(0,1),X=Z^2\sim {\chi }^2(1)$

$$Var(X)=E(X^2)-E^2(X)=E(Z^4)-E^2(Z^2)$$

已知标准正态的峰度系数为 3

$$Kurt(Z)=E(Z^4)=3$$ $$Var(Z)=E(Z^2)-E^2(Z)=E(Z^2)=1$$

因此

$$Var(X)=3-1=2$$

可以推广到自由度为 $k$ 的卡方分布： $Y=Z_1^2+Z_2^2+\cdots +Z_k^2\sim {\chi }^2(k)$ 则

$$Var(Y)=\sum _{i=1}^{k}Var(Z_i^2)=2k$$

矩母函数

矩母函数 MGF

$$M_X(t)=E(e^{tX})$$

若在 $t=0$ 的领域内存在，称为 $X$ 的矩母函数 MGF

Example

$X\sim Exp(\lambda )$，

$$M_X(t)={\int }_0^{\infty }{e}^{tx}\lambda e^{-\lambda x}dx=\frac{\lambda }{\lambda -t},t<\lambda$$

Example

$X\sim N(0,1)$

$$M_X(t)={\int }_{-\infty }^{\infty }{e}^{tx}\frac{1}{\sqrt{2\pi }}{e}^{-x^2/2}dx=e^{t^2/2},t\in \mathbb{R}$$

• $M_X(0)=1$
• $Y=aX+ba.s.\Rightarrow M_Y(t)=E(e^{t(aX+b)})=e^{tb}E(e^{taX})=e^{tb}{M}_X(at)$ 应用：
• 生成各阶矩
• 确定唯一分布
• 独立随机变量的和

矩母函数生成矩

$$E(e^{tX})=E\left(\sum _{n=0}^{\infty }\frac{(tX{)}^n}{n!}\right)=\sum _{n=0}^{\infty }\frac{t^n}{n!}E(X^n)$$ $$M_X(t)=\sum _{n=0}^{\infty }\frac{M_X^{(n)}(0)}{n!}{t}^n$$

因此

$$M_X^{(n)}(0)=E(X^n)$$

• 矩母函数的 $n$ 阶导在原点处的值等于 $n$ 阶原点矩

Example

$X\sim N(0,1)$

$$M_X(r)=e^{t^2/2}=\sum _{n=0}^{\infty }\frac{(2n)!}{2^{n}n!}{t}^{2n}$$

因此

$$E(X^{2n})=\frac{(2n)!}{2^{n}n!},E(X^{2n+1})=0$$ $$E(X^2)=1,E(X^4)=3$$

Theorem

若存在常数 $a>0$，使得 $\forall t\in (-a,a),M_X(t)=M_Y(t)$ ，则 $X,Y$ 同分布

Example

$$M_X(t)=\frac{1}{4}{e}^{-t}+\frac{1}{2}+\frac{1}{8}{e}^{4t}+\frac{1}{8}{e}^{5t}$$ $$P(X=k)=p_k,\sum _k{p}_k=1$$ $$M_X(t)=E(e^{tX})=\sum _k{e}^{tk}{p}_k$$

• 各阶矩相同与同分布不等价（对数正态）
• 但矩母函数相同等价于同分布

Theorem

若 $X,Y$ 独立，则 $M_{X+Y}(t)=E(e^{t(X+Y)})=E(e^{tX})E(e^{tY})=M_X(t)M_Y(t)$

Example

$X\sim N({\mu }_1,{\sigma }^2),Y\sim N({\mu }_2,{\sigma }^2)$

$$M_{X+Y}(t)=M_X(t)M_Y(t)=e^{{\sigma }_1^2{t}^2/2+{\mu }_{1}t}{e}^{{\sigma }_2^2{t}^2/2+{\mu }_{2}t}=e^{({\sigma }_1^2+{\sigma }_2^2)t^2/2+({\mu }_1+{\mu }_2)t}$$

为 $N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$ 的 MGF，因此 $X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$

• 特征函数：$E(e^{itX})=\int e^{itX}f(x)dx$，总是存在

条件期望

条件期望

$$E(Y|X\in I)=\{\begin{array}{rlr}& \sum _i{y}_{i}P(Y=y_i|X\in I),& (X,Y)为离散型\\ & {\int }_{-\infty }^{\infty }y{f}_{Y|X}(y|X\in I)dy,& (X,Y)为连续型\end{array}$$ $$h(x)=E(Y|X=x)=\{\begin{array}{rlr}& \sum _i{y}_{i}P(Y=y_i|X=x),& (X,Y)为离散型\\ & {\int }_{-\infty }^{\infty }y{f}_{Y|X}(y|x)dy,& (X,Y)为连续型\end{array}$$

将 $h$ 作用于 $X$ 得到 $h(X)$ 为新的随机变量，称为 $Y$ 对 $X$ 的条件期望

全期望公式

$E(Y)=E[E(Y|X)]$

Theorem

$$E[(Y-g(X){)}^2]\ge E[(Y-h(X){)}^2]$$

Theorem

$\hat{Y}=E(Y|X),\tilde{Y}=Y-\hat{Y}$，则

1. $E(\tilde{Y})=0$
2. $E(\tilde{Y}\hat{Y})=0$
3. $Var(Y)=Var(\hat{Y})+Var(\tilde{Y})$