概率论 复习笔记

其实都是照着抄的

Chapter 1 样本空间与概率

1.3 条件模型

条件概率：$P(A|B)=\frac{P(A\cap B)}{P(B)}$

乘法定律：$P(AB...)=P(A)P(B|A)...$

1.4 全概率定理与贝叶斯准则

$A_1...A_n$ 为样本空间的一个分割，则：

全概率定理：$P(B)=\sum_i P(A_i\cap B)=\sum_i P(A_i)P(B|A_i)$

贝叶斯准则：$P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}=\frac{P(A_i)P(B|A_i)}{P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)}$

1.5 独立性

事件 $A, B$ 独立：$P(A\cap B) = P(A)P(B)$

条件独立：$P(A\cap B|C)=P(A|C)P(B|C)$

---

Chapter 2 离散随机变量

2.2 分布列

分布列：$p_X(x)=P(\{X=x\})$

两点分布（伯努利）：$B(1,p),E=p,var=p(1-p)$

二项分布：$X\sim B(n,p),P(X=k)=({}^n_k)p^k(1-p)^{n-k},E=np,var=np(1-p)$

几何分布：$X\sim G(p),P(X=k)=(1-p)^{k-1}p,E=\frac1p,var=\frac{1-p}{p^2}$

泊松分布：$X\sim P(\lambda),P(X=k)=e^{-\lambda}\frac{\lambda^k}{k!},E=var=\lambda$，当 $n>>p$ 时可以取 $\lambda=np$ 逼近二项分布

2.4 期望、均值和方差

期望：$E[X]=\sum_xp_X(x)$

方差：$var(X)=E[(X-E[x])^2]=E[X^2]-(E[X])^2$

标准差：$\sigma_X=\sqrt{var(X)}$

取 $Y=aX+b$，$E[Y]=aE[X]+b,var(Y)=a^2var(X)$

2.5 多个随机变量的联合分布列

$p_{X,Y}(x,y)=P(X=x,Y=y)$

边缘分布列：$p_X(x)=\sum P(X=x,Y)$

$E[aX+bY+c]=aE[X]+bE[Y]+c$

$E[X]=\sum_iP(A_i)E[X|A_i]$（样本空间分割）

2.7 独立性

变量 $X$ 相对事件 $A$ 独立：$p_{X|A}(x)=p_X(x)$

变量 $X,Y$ 独立：$p_{X,Y}(x,y)=p_X(x)p_Y(y)$

这时有 $E[XY]=E[X]E[Y],var(X+Y)=var(X)+var(Y)$

---

Chapter 3 一般随机变量

3.1 连续随机变量和概率密度函数

将求和改为积分，$P(X\in A)=\int_Af_X(x)dx$，$f_X(x)$ 为概率密度函数（PDF）

$E[X]=\int_{-\infty}^{+\infty}xf_X(x)dx$

$var(X)=\int_{-\infty}^{+\infty}(x-E[X])^2f_X(x)dx$

$I_A(x)=[x\in A]$

均匀分布：

• $X\sim U(a, b)$

• $f_X(x)=\frac{1}{b-a}(x\in(a, b))$

• $E[X]=\frac{a+b}{2}$

• $var(X)=\frac{(b-a)^2}{12}$

指数分布：

• $X\sim \varepsilon(\lambda)$

• $f_X(x)=\lambda e^{-\lambda x}(x>0)$

• $E[X]=\frac{1}{\lambda}$

• $var(X)=\frac{1}{\lambda^2}$

3.2 分布函数

概率分布函数（CDF）：$F_X(x)=P(X\le x)$

3.3 正态随机变量

$X\sim N(\mu, \sigma^2)$

$f_X(x)=\frac{1}{\sqrt{2\pi}\sigma}\exp(-\frac{(x-\mu)^2}{2\sigma^2})$

$E[X]=\mu, var(X)=\sigma^2$

图像上 $\mu$ 为对称轴，$\sigma$ 与宽度相关

当 $\mu=0, \sigma=1$ 时记为标准正态随机变量，PDF 记为 $\phi(x)$ 或 $\varphi(x)$，CDF 记为 $\Phi(x)$

二元正态分布：

• $(X, Y)\sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$

• $f(x,y)=\frac{1}{2\pi \sigma_1\sigma_2\sqrt{1-\rho^2}}\exp(-\frac{1}{2(1-\rho^2)}\left[\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2\rho(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\right])$

• $X, Y$ 独立的充要条件：$\rho=0$

3.4 多个随机变量的联合概率密度

$P((X,Y)\in A)=\int\int_{(x,y)\in A}f_{X,Y}(x,y)dxdy$

$f_X(x)=\int f_{X,Y}(x,y)dy$

$f_{X,Y}(x,y)=\frac{\partial^2}{\partial x\partial y}F_{X,Y}(x,y)$

$E[g(X,Y)]=\int\int g(x,y)f_{X,Y}(x,y)dxdy$

$E[aX+bY+c]=aE[X]+bE[Y]+c$

3.5 条件

$P(X\in B|A)=\int_Bf_{X|A}(x)dx$

$f_{X|A}(x)=\frac{f_X(x)}{P(X\in A)}(x\in A)$

$E[X|A]=\frac{E[XI_A]}{P(A)}$

$f_X(x)=\sum P(A_i)f_{X|A_i}(x)$

$f_{X,Y}(x,y)=f_Y(y)f_{X|Y}(x|y)$

$f_X(x)=\int f_Y(y)f_{X|Y}(x|y)dy$

$P(X\in A|Y=y)=\int_Af_{X|Y}(x|y)dx$

$E[X|A]=\int xf_{X|A}(x)dx$

$E[X]=\sum P(A_i)E[X|A_i]$

$E[X]=\int f_Y(y)E[X|Y=y]dy$

$X,Y$ 独立：$f_{X,Y}(x,y)=f_X(x)f_Y(y)$，此时 $E[XY]=E[X]E[Y], var(X+Y)=var(X)+var(Y)$

3.6 连续贝叶斯准则

对连续随机变量 $X, Y$，$f_{X|Y}(x|y)f_Y(y)=f_{Y|X}(y|x)f_X(x)$

$f_{X|Y}(x|y)=\frac{f_X(x)f_{Y|X}(y|x)}{f_Y(y)}=\frac{f_X(x)f_{Y|X}(y|x)}{\int f_X(t)f_{Y|X}(y|t)dt}$

对于一个随机变量和一个离散变量的情况同理

---

Chapter 4 随机变量的深入内容

4.1 随机变量函数的分布密度函数

$Y=g(X)$，则 CDF $F_Y(y)=\int_{g(x)\le y}f_X(x)dx$

求导得 PDF：$f_Y(y)=\frac{d}{dy}F_Y(y)$

$Y=aX+b\Rightarrow f_Y(y)=\frac{1}{|a|}f_X(\frac{y-b}{a})$

对严格单调函数 $y=g(x), x=h(y), f_Y(y)=f_X(h(y))|h'(y)|$

对一般 $Y=g(X)$，设值域 $D$，如果有：

• $\{Y=y\}=\bigcup_{i = 1}^n \{X=h_i(y)\}$

• $h_i(y)$ 为值域 $D$ 到定义域 $D_i$ 的可逆映射，存在连续导数

• $D_i$ 互不相交

则 $f_Y(y)=\sum f_X(h_i(y))|h'(y)|(y\in D)$

同理，对二维情形 $U=u(X,Y), V=v(X, Y)$

$f_{U, V}(u, v)=\sum f_{X, Y}(x_i(u, v), y_i(u, v))\left|\frac{\partial(x_i, y_i)}{\partial(u, v)}\right|$

卷积：设 $X, Y$ 独立，$Z=X+Y, f_Z(z)=\int f_X(x)f_Y(z-x)dx$

$X\sim N(\mu_x,\sigma_x^2), Y\sim N(\mu_y, \sigma_y^2), Z=X+Y\sim N(\mu_x+\mu_y, \sigma_x^2+\sigma_y^2)$

$f_{-X}(x)=f_X(-x)$

4.2 协方差和相关

协方差 $cov(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]$

$X$ 和 $Y$ 不相关：$cov(X,Y)=0$

• $cov(X, a)=0$

• $cov(X,X)=var(X)$

• $cov(X,aY+b)=a\cdot cov(X,Y)$

• $cov(X, Y+Z)=cov(X, Y) + cov(X, Z)$

相关系数：$\rho(X, Y) = \rho_{XY} = corr(X,Y) =\frac{cov(X, Y)}{\sqrt{var(X)var(Y)}},\rho_{XY}\in[-1,1]$

X 的标准化：$Y=\frac{(X-E[X])}{\sqrt{var(X)}}$

将 $X,Y$ 标准化为 $X', Y'$，则 $corr(X,Y)=cov(X', Y')$

对二元正态分布有 $\rho_{XY}=\rho$

$|\rho_{XY}|=1$ 则 $X,Y$ 线性相关（$aX+bY=c$）

$var(\sum\limits_{i = 1}^nX_i)=\sum\limits_{i = 1}^n\sum\limits_{j = 1}^ncov(X_i, X_j)=\sum\limits_{i = 1}^nvar(X_i)+\sum\limits_{i = 1}^n\sum\limits_{j = 1}^n[i\ne j]cov(X_i, X_j)$

随机向量 $\boldsymbol X$ 的协方差矩阵：$\sigma_{ij}=cov(X_i, X_j)$

4.3 条件期望和条件方差

重期望法则：$E[E[X|Y]]=E[X]$

全方差法则：$var(X)=E[var(X|Y)]+var(E[X|Y])$

$E[X|Y]-X$ 与 $E[X|Y]$ 不相关

4.4 矩母函数

$M_X(s)=E[e^{sX}]$

$M_X(-\infty)=P(X=0)$

若存在正数 $a$，$M_X(s)$ 在 $[-a,a]$ 中有限，则 $M_X(s)$ 唯一决定 $X$ 的分布函数

$E[X^n]=M_X^{(n)}(0)$

若 $Y=aX+b$，则 $M_Y(s)=e^{sb}M_X(as)$

若 $X, Y$ 独立，则 $M_{X+Y}(s)=M_X(s)M_Y(s)$

$X\sim N(\mu, \sigma^2), M_X(s)=\exp(\frac{\sigma^2s^2}{2}+\mu s)$

联合分布的矩母函数：$M_{X_1X_2}(s_1, s_2)=E[e^{s_1X_1+s_2X_2}]$

$X$ 的特征函数：$\phi(t)=E(e^{itX})$

4.5 随机数量个独立变量之和

$Y=X_1+\cdots+X_n$，其中 $X_i$ 同分布且独立，$N$ 为随机正整数，则：

• $E[Y]=E[X]E[N]$

• $var(Y)=var(X)E[N]+(E[X])^2var(N)$

• 若 $M_N(s)=f(e^s)$，则 $M_Y(s)=f(M_X(s))$

---

Chapter 5 极限理论

5.1 马尔可夫和切比雪夫不等式

马尔可夫不等式：设随机变量 $X$ 取非负值，则对 $a>0$ 有 $P(X\ge a)\le\frac{E[X]}{a}$

切比雪夫不等式：设随机变量 $X$ 均值 $\mu$，方差 $\sigma^2$，则对 $a>0$ 有 $P(|X-\mu|\ge a)\le\frac{\sigma^2}{a^2}$

5.2 弱大数定律

设 $X_1\sim X_n$ 同分布，$E[X_i]=\mu$，则 $\forall\epsilon>0,\lim\limits_{n\rightarrow\infty}P(|\frac{X_1+\cdots+X_n}{n}-\mu|\ge\epsilon)=0$

5.3 依概率收敛

依分布收敛：$\lim\limits_{n\rightarrow\infty}F_n(x)=F(x)$，则 $X_n$ 依分布收敛到 $X$，记作 $X_n\xrightarrow[]{d}X$，或 $F_n$ 弱收敛到 $F$，记作 $F_n\xrightarrow{w}F$。充要条件：$\lim\limits_{n\rightarrow\infty}\phi_n(t)=\phi(t)$

依概率收敛：$\forall\epsilon>0,\lim\limits_{n\rightarrow\infty}P(|X_n-X|\ge\epsilon)=0$，记作 $X_n\xrightarrow{p}X$

$X_n\xrightarrow{p}X$ 则 $X_n\xrightarrow[]{d}X$

几乎处处收敛：$P(\lim\limits_{n\rightarrow\infty}X_n = X) = 1$，记作 $X_n\xrightarrow{a.s.}X$

5.4 中心极限定理

设 $X_1\sim X_n$ 同分布，$E[X_i]=\mu$，设 $Z_n=\frac{X_1+\cdots+X_n-n\mu}{\sqrt{n}\sigma}$

则 $Z_n$ 的极限分布为标准正态分布函数

二项分布的棣莫弗-拉普拉斯近似：设 $S_n\sim B(n, p)$，$n$ 足够大，$a,b$ 为非负整数，则：

$P(a\le S_n\le b)\approx \Phi(\frac{b+\frac12-np}{\sqrt{np(1-p)}})-\Phi(\frac{a-\frac12-np}{\sqrt{np(1-p)}})$

5.5 强大数定律

设 $X_1\sim X_n$ 同分布，$E[X_i]=\mu$，则

$P(\lim\limits_{n\rightarrow\infty}\frac{X_1+\cdots+X_n}{n}=\mu)=1$

---

Ex

次序统计量

对同分布的 $X_1\sim X_n$ 排序得到 $X_{(1)}\le X_{(2)}\le\cdots$，称为次序统计量

设有公共的 PDF $f(x)$，CDF $F(x)$，则：

• $\int_{a<x_1<\cdots<x_k<b}f(x_1)\cdots f(x_k)dx_1\cdots dx_k=\frac{(F(b)-F(a))^k}{k!}$

• $(X_{(1)}, \cdots, X_{(n)})$ 联合密度 $g(x_1, \cdots, x_n)=n!\prod_{i = 1}^n f(x_i)(x_1<\cdots<x_n)$

• $X_{(k)}$ 密度 $g_k(x)=\frac{n!}{(k-1)!(n-k)!}(F(x))^{k - 1}(1-F(x))^{n - k}f(x)$

• 同理，对 $k_1< k_2$，$(X_{(k_1)}, X_{(k_2)})$ 联合密度：

  $\begin{aligned}g(x_{k_1}, x_{k_2})&=\frac{n!}{(k_1 - 1)!(k_2-k_1-1)!(n-k_2)!}\\&\times(F(x_{k_1}))^{k_1-1}(F(x_{k_2})-F(x_{k_1}))^{k_2-k_1-1}(1-F(x_{k_2}))^{n-k_2}\\&\times f(x_{k_1})f(x_{k_2})\end{aligned}$

  记忆的话可以考虑组合意义，总方案数 $n!$，然后第 $1$ 个到第 $k_1-1$ 个随意分布就除以 $(k_1-1)!$，并乘上贡献 $(F(x_{k_1}))^{k_1-1}$，其他部分同理。

杂项

$var(x)\le E(X-a)^2$

标准差 $\sigma_X=\sqrt{var(X)}$

内积不等式：$|E(XY)|\le\sqrt{E(X^2)E(Y^2)}$，当存在不全为零的 $a,b$ 使 $aX+bY=0$ 时取等

卡方分布：$X_i\sim N(0, 1),Y=X_1^2+\cdots+X_n^2,f_Y(y)=\frac{1}{2^{\frac n2}\Gamma(\frac n2)}y^{\frac n2 - 1}e^{-\frac y2}$