概统-联合分布

随机向量

$n$ 维随机向量的两盒累积分布函数定义为

$$F(x_1,x_2,\dots ,x_n)=P(X_1\le x_1,X_2\le x_2,\dots ,X_n\le x_n),\forall (x_1,x_2,\dots ,x_n)\in {\mathbb{R}}^n$$

离散分布

PMF

离散随机向量的概率质量分布 PMF 定义为

$$f(x_1,\dots ,x_n)=P(X_1=x_1,\dots ,X_n=x_n),\forall (x_1,\dots ,x_n)\in {\mathbb{R}}^n$$

$B_1,\dots ,B_n$ 为 $\Omega$ 的一个分割，$X_1,\dots ,X_n$ 为各事件发生的次数，有

$$P(X_1=x_1,\dots ,X_n=x_n)=\frac{N!}{x_1!x_2!\dots x_n!}{p}_1^{x_1}\dots p_n^{x_n}$$

称随机向量 $(X_1,\dots ,X_n)$ 服从多项分布，记作

$$(X_1,\dots ,X_n)\sim M(N;p_1,p_2,\dots ,p_n)$$

连续分布

PDF

若存在 $f(x_1,\dots ,x_n)\ge 0,\forall Q\subset {\mathbb{R}}^n$ 有

$$P((X_1,X_2,X_n)\in Q)={\int }_{Q}f(x_1,x_2,\dots ,x_n)d{x}_1\dots d{x}_n$$

称 $(X_1,\dots ,X_n)$ 为连续型随机变量，$f$ 为其概率密度函数 PDF

二元正态分布

$(X_1,\dots ，X_n)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

$$f(x,y)=\frac{1}{2\pi {\sigma }_1{\sigma }_2}\frac{1}{\sqrt{1-{\rho }^2}}\exp \left(-\frac{1}{2(1-{\rho }^2)}\left({\left(\frac{x-{\mu }_1}{{\sigma }_1}\right)}^2+{\left(\frac{y-{\mu }_2}{{\sigma }_2}\right)}^2-2\rho \frac{x-{\mu }_1}{{\sigma }_1}\frac{y-{\mu }_2}{{\sigma }_2}\right)\right)$$

取

$$\vec{x}=\left[\begin{array}{r}\frac{x-{\mu }_1}{{\sigma }_1}\\ \frac{y-{\mu }_2}{{\sigma }_2}\end{array}\right]$$ $$W=\frac{1}{1-{\rho }^2}\left[\begin{array}{cc}1& -\rho \\ -\rho & 1\end{array}\right]$$

指数项可写为

$$-\frac{1}{2}{\vec{x}}^{T}W\vec{x}$$

对 $W$ 做 Cholesky 分解 $W=A^{T}A$ 有

$$A=\frac{1}{\sqrt{1-{\rho }^2}}\left[\begin{array}{cc}1& -\rho \\ 0& \sqrt{1-{\rho }^2}\end{array}\right]$$

指数项可进一步写为

$$-\frac{1}{2}(A\vec{x}{)}^T(A\vec{x})$$

边际分布

边际分布

对于 $n$ 维随机变量 $(X_1,\dots ,X_n)$ 的第 $i$ 个分量有边际分布函数

$$F_{X_i}(x)=P(X_i\le x,-\infty <X_j<\infty ,\forall j\ne i)$$

$n=2$ 时，

$$F_X(x)=\underset{y\to +\infty }{\lim }F(x,y),F_Y(y)=\underset{x\to +\infty }{\lim }F(x,y)$$

$n=3$ 时，

$$F_X(x)=\underset{y\to +\infty ,z\to +\infty }{\lim }F(x,y,z)$$ $$F_{(X,Y)}(x,y)=\underset{z\to +\infty }{\lim }F(x,y,z)$$

Example

$$P(X>a,Y>b)=1-F_X(a)-F_Y(b)+F(a,b)$$

边际概率密度函数

$X$ 的边际概率密度函数

$$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$$

二元正态分布的边际概率密度函数

$(X,Y)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$

$$f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(x-{\mu }_1)}{2{\sigma }_1^2}}$$

因此

$$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$$

可以发现无法从多个变量的边际分布得出联合分布

条件分布

若 $(X,Y)$ 为离散型

$$P(X=a_i|Y=b_j)=\frac{P(X=a_i,Y=b_j)}{P(Y=b_j)}=\frac{p_{ij}}{{\sum }_k{p}_{kj}}$$

若 $(X,Y)$ 为连续型

$$\begin{array}{rl}P(X\le x|y\le Y\le y+dy)& =\frac{P(X\le x,y\le Y\le y+dy)}{P(y\le Y\le y+dy)}\\ & =\frac{{\int }_{-\infty }^x\left({\int }_y^{y+dy}f(t,s)ds\right)dt}{{\int }_y^{y+dy}{f}_Y(s)ds}\end{array}$$

条件概率密度函数

条件概率密度函数定义为

$$f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}$$

• $f(x,y)=f_{X|Y}(x,y)f_Y(y)$
• $f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$
• $f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}=\frac{f_{X|Y}(x|y)f_Y(y)}{{\int }_{-\infty }^{\infty }{f}_{X|Y}(x|y)f_Y(y)dy}$
• $Y=y$ 时，$X\le a$ 的概率 $F_{X|Y}(a|y)={\int }_{-\infty }^a{f}_{X|Y}(x|y)dx$

Example

$X=x$ 条件下 $Y$ 服从正态分布 $N\left({\mu }_2+\frac{\rho {\sigma }_2}{{\sigma }_1}(x-{\mu }_1),(1-{\rho }^2){\sigma }_2^2\right)$

独立性

独立性

$X,Y$ 相互独立 $\iff F(x,y)=F_X(x)F_Y(y),\forall x,y\in \mathbb{R}\iff f(x,y)=f_X(x)f_Y(y),\forall x,y\in \mathbb{R}$

Theorem

若 $X_1,\dots ,X_n$ 相互独立

$$Y_1=g_1(X_1,\dots ,X_m),Y_2=g_2(X_{m+1},\dots ,X_n)$$

则 $Y_1,Y_2$ 相互独立.（独立性在函数变换下保持）

因子分解定理

若 $f(x_1,\dots ,x_n)=g_1(x_1)\dots g_n(x_n),\forall (x_1,x_2,\dots ,x_n)\in {\mathbb{R}}^n$，则 $X_1,X_2,\dots ,X_n$ 独立且 $g_i$ 与每个 $X_I$ 的边际概率密度函数 $f_i$ 仅相差一个常数因子.

随机向量的函数

如何确定 $Y=g(X_1,X_2,\dots ,X_n)$ 的分布？

直接法

Example

$X_i\sim B(n_i,p),i=1,2$ 独立，$Y=X_1+X_2$

$$\begin{array}{rl}P(Y=k)& =P(X_1+X_2=k)\\ & =\sum _{k_1=1}^{k}P(X_1=k_1)P(X_2=k-k_1)\\ & =\sum _{k_1=0}^k\left(\genfrac{}{}{0ex}{}{n_1}{k_1}\right)p^{k_1}(1-p{)}^{n_1-k_1}(\genfrac{}{}{0ex}{}{n_2}{k-k_1})p^{k-k_1}(1-p{)}^{n_2-(k-k_1)}\\ & =\sum _{k_1=0}^k\left(\genfrac{}{}{0ex}{}{n_1}{k_1}\right)\left(\genfrac{}{}{0ex}{}{n_2}{k-k_1}\right)p^k(1-p{)}^{n_1+n_2-k}\\ & =\left(\genfrac{}{}{0ex}{}{n_1+n_2}{k}\right)p^k(1=p{)}^{n_1+n_2-k}\end{array}$$ $$Y\sim B(n_1+n_2,p)$$

Example

$(X_1,X_2)$ 的 PDF 为 $f(x_1,x_2)$ 且 $X_1>0$, $Y=\frac{X_2}{X_1}$

$$\begin{array}{rl}P(Y\le y)& =P(X_2\le y{X}_1)\\ & ={\iint }_{D}f(x_1,x_2)d{x}_{1}d{x}_2\\ & ={\int }_0^{\infty }\left({\int }_{-\infty }^{y{x}_1}f(x_1,x_2)d{x}_2\right)d{x}_1\\ f(y)& ={\int }_0^{\infty }f(x_1,y{x}_1)x_{1}d{x}_1\end{array}$$

密度函数变换法

Theorem

$X_1,X_2$ PDF $f(x_1,x_2)$ 设存在可逆可微变换

$$\{\begin{array}{rl}{Y}_1& =g_1(X_1,X_2)\\ Y_2& =g_2(X_1,X_2)\end{array}$$ $$\{\begin{array}{rl}{X}_1& =h_1(Y_1,Y_2)\\ X_2& =h_2(Y_1,Y_2)\end{array}$$ $$\begin{array}{rl}P((Y_1,Y_2)\in A)& =P((X_1,X_2)inB)\\ & ={\iint }_{B}f(x_1,x_2)d{x}_{1}d{x}_2\\ & ={\iint }_{A}f(h_1(y_1,y_2),h_2(h_1,h_2))|J|d{y}_{1}d{y}_2\end{array}$$ $$J=\left[\begin{array}{cc}\frac{\partial h_1}{\partial y_1}& \frac{\partial h_1}{\partial y_2}\\ \frac{\partial h_2}{\partial y_1}& \frac{\partial h_2}{\partial y_2}\end{array}\right]$$

Example

$(X_1,X_2)$ PDF $f(x_1,x_2)$，$Y=X_1+X_2$ 令 $Z=X_1$，则

$$\{\begin{array}{rl}{X}_1& =Z\\ X_2& =Y-Z\end{array}$$ $$J=\det \left(\begin{array}{cc}0& 1\\ 1& -1\end{array}\right)=-1$$

$(Y,Z)$ 的 PDF 为 $f(z,y-z)$ Y 的 PDF 为

$$f_Y(y)={\int }_{-\infty }^{\infty }f(z,y-z)dz$$

若 $X_1,X_2$ 独立，则 $f(x_1,x_2)=f_1(x_1)f_2(x_2)$

$$f_Y(y)={\int }_{-\infty }^{\infty }{f}_1(z)f_2(y-z)dz=(f_1\ast f_2)(y)$$

若 $(X_1,X_2)\sim N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho )$ ，则 $Y=X_1+X_2\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_2^2+2\rho {\sigma }_1{\sigma }_2)$