写在前面
本文为南方科技大学MA212概率论与数理统计课程2022秋季学期后半学期的知识点整理,大部分内容摘选自MA212-03班的课件,编者仅进行了一定转述和搬运工作。由于复习材料的目的性强,本文对考点有一定的强调和浓缩,忽略了一些非考点,但也并不能视为与考纲完全相符,同时可能存在一定错误。阅读本文并不能让你两三天速通概统,本文的定位在于用一篇文章看完课件内容,因此建议读者在学完该部分内容后借本文复习概念,并结合题目练习。
祝你在这门课程取得优秀成绩!
咕桃
2023.1
本文使用CC BY-NC-SA协议,即您可以对本文在注明作者的情况下进行非商业目的的重新编排、节选,或以本文为基础进行创作,依此创作的成果亦须使用该协议。
由于编者能力有限,恳请各位读者在阅读过程中勘误,如果您对其中内容有疑问或发现错误,抑或是希望联系编者,欢迎通过该QQ联系:3425811925,非常感谢!
Chapter 3
§3.6 联合分布随机变量函数
r.v. 函数的分布
设$(X, Y)$是二维连续型随机向量,其联合概率密度函数为$f(x,y)$。 则$Z=g(X,Y)$的累积分布函数为
求导可得其概率密度函数$Z\sim f_Z(z)$
连续卷积公式:r.v. $(X,Y)\sim f(x,y)$,$Z=X+Y$
求导得:$f_Z(z)=\int_{-\infty}^{\infty}f(z-y,y)dy=\int_{-\infty}^{\infty}f(x,z-x)dx$
若$X,Y$独立,$f(x,y)=f_X(x)\cdot f_Y(y)$,则
独立正态r.v.之和:独立r.v. 集$\{X_n\}$,$X_i\sim N(\mu_i,\sigma_i^2)$
则其非零线性组合$\overset{n}\sum\limits_{i=1}a_iX_i\sim N(\overset{n}\sum\limits_{i=1}a_i\mu_i,\overset{n}\sum\limits_{i=1}a_i^2\sigma_i^2)$
即:独立正态r.v.的非零线性组合仍服从正态分布
非独立正态r.v.之和:
若$(X,Y)\sim\mathbf N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$,则$(C_1X+C_2Y)\sim \mathbf N(C_1\mu_1+C_2\mu_2,C_1^2\sigma_1^2+C_2^2\sigma_2^2+2C_1C_2\sigma_1\sigma_2\rho)$
离散卷积公式:$P\{Z=k\}=\sum\limits_{i}P\{X=i\}P\{Y=k-i\}=\sum\limits_{i}P\{X=k-i\}P\{Y=i\}$
离散r.v.函数的分布:对于$Z=g(X,Y)$,$P\{Z=z_k\}=\sum\limits_{g(x_i,y_j)=z_k}p(x_i,y_i)$
r.v.商的分布:$(X,Y)\sim f(x,y)$,$Z=\frac{X}{Y}$,$F_Z(z)=P\{\frac{x}{y}\leq z\}=\iint\limits_{\frac{x}{y}\leq z}f(x,y)dxdy$
$F_Z(z)=\int_{0}^{\infty}\int_{-\infty}^{yz}f(x,y)dxdy+\int_{-\infty}^{0}\int_{yz}^{\infty}f(x,y)dxdy$
设$u=x/y$,$dx=ydu$
求导得$f_Z(z)=\int_{-\infty}^{\infty}f(zy,y)\vert y \vert dy$
Jacobi行列式:$J(u, v)=\frac{\partial(x, y)}{\partial(u, v)}=\det\left[ \begin{array}{ll}
\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\
\frac{\partial y}{\partial u} & \frac{\partial y}{\partial v}
\end{array}\right]$
若连续可微变换$T(u,v)=(x(u,v),y(u,v))$为双射,且$J(u,v)≠0$,则
则逆变换$U=g_1(X,Y),V=g_2(X,Y)$的联合密度为:
正态分布与线性变换:
两个独立标准正态r.v.的线性变换服从二元正态分布。
更一般地,若两个r.v.的联合分布为二元正态分布,则其非奇异线性变换还是二元正态分布。
构造生成标准正态分布r.v.:构造独立r.v. $U_1\sim U[0,1]$,$U_2\sim U[0,1]$
则$X=\sqrt{-2logU_1}\cos(2\pi U_2),Y=\sqrt{-2logU_1}\sin(2\pi U_2)$是独立标准正态r.v.
§3.7 极值和顺序统计量
r.v.极值的分布
max分布:$\{X_n\}$为独立r.v.集,$F_{\max}(z)=P\{\bigcap\limits_{i=1}^{n} (X_i\leq z)\}=\prod\limits_{i=1}^{n}F_{X_i}(z)$
min分布:$\{X_n\}$为独立r.v.集,$F_{\min}(z)=P\{\bigcup\limits_{i=1}^{n} (X_i\leq z)\}=1-\prod\limits_{i=1}^{n}(1-F_{X_i}(z))$
n个独立同分布r.v.的极值的密度:$f_{\max}(z)=nf(z)[F(z)]^{n-1},\ f_{\min}(z)=nf(z)[1-F(z)]^{n-1}$
指数分布的串联系统仍服从指数分布,失效率为各部件失效率之和。
顺序统计量$X_{(k)}$的密度:$f_k(x)=\frac{n!}{(k-1)!(n-k)!}f(x)F^{k-1}(x)[1-F(x)]^{n-k}$
若$X_i\sim \mathbf U[0,1]$且相互独立,则$X_{(k)}\sim \mathbf{Beta}(k,n-k+1)$
Chapter 4
§4.1 随机变量的期望
数学期望(离散型):
若级数$\sum\limits_{k=1}^{\infty}|x_k|p_k<+\infty$,则数学期望$E(x)\overset{\Delta}=\sum\limits_{k=1}^{\infty}x_kp_k=\sum\limits_{k=1}^{\infty}x_kP\{X=x_k\}$
否则无法说明级数$\sum\limits_{k=1}^{\infty}x_kp_k$收敛,期望不存在
数学期望(连续型):
r.v.$X$的cdf为$f(x)$,若$\int_{-\infty}^{\infty}|x|f(x)dx<+\infty$,则数学期望$E(x)=\int_{-\infty}^{\infty}xf(x)dx$
否则$\int_{-\infty}^{\infty}|x|f(x)dx=+\infty$,期望不存在(标准柯西分布:$f(x)=\frac{1}{\pi(1+x^2)}$)
Markov不等式:
r.v.$X$非负,且$E(X)$存在,则$P\{X\ge t\}\leq\frac{E(X)}{t}$
函数的期望:
对于普通函数$y=g(x)$,其期望$E(Y)=E(g(X))=\sum\limits_{k=1}^{\infty}g(x_k)p_k$ 或 $\int_{-\infty}^{\infty}g(x)f(x)dx$
对于二元函数$z=g(x,y)$,其期望$E(Z)=E(g(X,Y))=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}$或$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$
数学期望的基本性质:
- 设$a\leq X\leq b\ (a.e)$,则$a\leq E(X)\leq b$
- 对于常数$c$,$E(cX)=cE(X)$
- 对于r.v. $X,Y$,$E(X+Y)=E(X)+E(Y)$
- 对于独立r.v. $X,Y$,$E(XY)=E(X)E(Y)$
数学期望的几个推论:
- 若$X=c\ (a.e)$,则$E(X)=c$
- 线性组合的期望等于期望的线性组合
- $\{X_n\}$相互独立,则$E(\prod\limits_{k=1}^{n}X_k)=\prod\limits_{k=1}^{n}E(X_k)$
超几何分布等式:$N$件产品,$M$件次品,摸出次品个数的期望值(前置证明:每次摸中次品概率相同)
§4.2 方差与标准差
方差:$Var(X)\overset{\Delta}=E[(X-E(X))^2]$
标准差:$\sqrt{Var(X)}$
方差的计算:$Var(X)=E(X^2)-[E(X)]^2$
方差的基本性质:
- $X=c\ (a.e)⇌Var(X)=0$
- 对于常数$a,b$,$Var(aX±b)=a^2Var(X)$
- 对于r.v. $X,Y$,$Var(X±Y)=Var(X)+Var(Y)±2E[(X-E(x))(Y-E(Y)]$
- 对于相互独立的$\{X_n\}$,$Var(\sum\limits_{k=1}^{n}X_i)=\sum\limits_{k=1}^{n}Var(X_i)$
正态r.v.的标准化:$X\sim \mathbf N(\mu,\sigma^2)$,$X^\star=\frac{X-\mu}{\sigma}$,$X^\star\sim \mathbf N(0,1)$
Chebyshev不等式:
期望$\mu$、方差$\sigma^2$均存在,则$\forallε>0$,有$P\{|X-\mu|\ge ε\}\leq\frac{\sigma^2}{ε^2}$
证明用Markov不等式,$Y=(X-\mu)^2$,$E(Y)=\sigma^2$
§4.3 协方差与相关系数
协方差:$Cov(X,Y)\overset{\Delta}=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$
协方差的基本性质
若r.v. $X,Y$相互独立,则$Cov(X,Y)=0$,但协方差为0不一定独立
$Cov(X,Y)=Cov(Y,X)$,$Cov(X,X)=Var(X)$
$Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y)$
双线性性:
$Cov(aX,bY)=abCov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
$U=a+\sum\limits_{i=1}^{n}b_iX_i$,$V=c+\sum\limits_{j=1}^{m}d_jY_j$,则
$Cov(U,V)=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{m}b_id_jCov(X_i,Y_j)$
相关系数:$\rho_{XY}\overset{\Delta}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$,$|\rho_{XY}|\leq1$,取等当且仅当$Y\overset{a.e}=a+bX$
均方误差:对于线性近似$\widehat Y=a+bX$,均方误差$e=E[(Y-\widehat Y)^2]$
$e_{\min}=Var(Y)(1-\rho^2_{XY})$,此时$b_0=\frac{Cov(X,Y)}{Var(X)}$,$a_0=E(Y)-b_0E(X)$
相关:正相关,负相关,不相关。不相关不一定独立,独立一定不相关。
协方差矩阵:对于n维r.v.$\{X_n\}$,记$c_{ij}=Cov(X_i,X_j)\ (i,j=1,2,\cdots,n)$
将$c_{ij}$写成矩阵的形式$C$,则称其为$\{X_n\}$的协方差矩阵。协方差矩阵为非负定对称阵。
n维正态r.v.:令
其中$C$为n阶正定矩阵,若n维r.v.$\{X_n\}$的密度函数为
$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\frac{1}{(2 \pi)^{n / 2}|C|^{1 / 2}} \exp \left\{-\frac{1}{2}(X-\mu)^{T} C^{-1}(X-\mu)\right\}$
则称$\{X_n\}$服从参数为$(\mu,C)$的n维正态分布,记为$(X_1,X_2,\cdots,X_n)\sim \mathbf N(\mu,C)$。
n维正态r.v.的重要性质:
$\mu$称为均值向量,$C$为协方差矩阵,对角线为对应r.v.方差。
$X_i\sim\mathbf N(\mu_i,c_{ii}),\ (i=1,2,\cdots,n)$,反之若$\{X_n\}$相互独立且$X_i\sim\mathbf N(\mu_i,\sigma_i^2),\ (i=1,2,\cdots,n)$,则
$\{X_n\}\sim\mathbf N(\mu,C)$,其中$\mu=[\mu1\ \mu2\ …\ \mu_n]^T$,$C=diag\{\sigma_1^2\ \sigma_2^2\ …\ \sigma_n^2\ \}$
若$\{X_n\}\sim\mathbf N(\mu,C)$,则$\{X_n\}$的任一线性组合$\sum\limits_{k=1}^{n}l_iX_i$服从一维正态分布
正态r.v.的线性变换不变性:若$\{X_n\}\sim\mathbf N(\mu,C)$
$\left\{\begin{array}{c}
Y_{1}=a_{11} X_{1}+a_{12} X_{2}+\cdots+a_{1 n} X_{n} \\
Y_{2}=a_{21} X_{1}+a_{22} X_{2}+\cdots+a_{2 n} X_{n} \\
\quad \vdots \\
Y_{m}=a_{m 1} X_{1}+a_{m 2} X_{2}+\cdots+a_{m n} X_{n}
\end{array}\right.$则$\{Y_m\}$仍服从多维正态分布。
§4.4 条件期望
不考,不过明明是很重要的内容来着。
§4.x 常用分布的分布及数字特征
Chapter 5
§5.1 大数定律
依概率收敛:
设$\xi,\xi_1,\xi_2,\cdots,\xi_n,…$是一系列r.v.,若$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\xi_n-\xi|\ge \varepsilon\}=0$,则称$\{\xi_n\}$依概率收敛于$\xi$,记为$\xi_{n} \stackrel{P}{\longrightarrow} \xi $。
- $\lim\limits_{n→\infty}P\{|\xi_n-\xi|\ge \varepsilon\}=0⇌\lim\limits_{n→\infty}P\{|\xi_n-\xi|< \varepsilon\}=1$
- 随着n的增大,绝对误差$|\xi_n-\xi|$较大的可能性越来越小
- 若$\xi_{n} \stackrel{P}{\longrightarrow} \xi$,$g$是连续函数,则$g(\xi_{n}) \stackrel{P}{\longrightarrow} g(\xi) $
几乎处处收敛(了解):
若r.v.列$\{\xi_n\}$满足$\forall\varepsilon>0$,$P\{\lim\limits_{n→\infty}|\xi_n-\xi|<\varepsilon\}=1$,则称$\{\xi_n\}$几乎处处收敛于$\xi$,记为$\xi_n\stackrel{a.s.}{\longrightarrow}\xi$或$\xi_n→\xi,\ a.s.$
伯努利大数定律:
设$n_A$是n次独立重复实验中事件$A$发生的次数,且$P(A)=p$,则$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\frac{n_A}{n}-p|\ge \varepsilon\}=0$
切比雪夫大数定律:
$\{X_n\}$为独立r.v.列,且具有相同的期望$\mu$和方差$\sigma^2$,则$\forall\varepsilon>0$有$\lim\limits_{n→\infty}P\{|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\mu|\ge\varepsilon\}=0$,即$\bar X_n \stackrel{P}{\longrightarrow} \mu$,可由Chebyshev不等式证明:$P\left(\left|\bar{X}_{n}-\mu\right|>\varepsilon\right) \leq \frac{\operatorname{Var}\left(\bar{X}_{n}\right)}{\varepsilon^{2}}=\frac{\sigma^{2}}{n \varepsilon^{2}} \rightarrow 0,$
辛钦大数定律(弱大数定律):
$\{X_n\}$是独立同分布r.v.列,期望$\mu$存在,则$\{X_n\}$服从大数定律,$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\mu|<\varepsilon\}=1$
强大数定律(了解):
若$\{X_n\}$两两独立且同分布,期望$\mu$存在,则$\bar X_n\stackrel{a.s.}{\longrightarrow}\mu$
§5.2 中心极限定理
中心极限定理:
若$Z_n=\frac{\sum_{k=1}^{n} X_{k}-\sum_{k=1}^{n} \mu_{k}}{\sqrt{\sum_{k=1}^{n} \sigma_{k}^{2}}}$的分布函数$F_n(x)$对任意$x$满足
则称$\{X_k\}$服从中心极限定理。
中心极限定理(独立同分布):
中心极限定理的实际含义:
对于均值为$\mu$,方差$\sigma^2>0$的i.i.d.r.v.列$\{X_n\}$,有$\sum\limits_{k=1}^{n}X_k\overset{近似}\sim\mathbf N(n\mu,n\sigma^2)$,或$\bar X_n\overset{近似}\sim\mathbf N(\mu,\frac{\sigma^2}{n})$
棣莫弗-拉普拉斯中心极限定理:
设$\{\eta_n\}$为服从参数为$n,p(0<p<1)$的二项分布r.v.列,则对任意$x$有
$\lim _{n \rightarrow \infty} P\left\{\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-\frac{t^{2}}{2}} d t=\Phi(x)$
对于r.v.$\eta_n\sim \mathbf b(n,p)\ (n=1,2,…)$,有$\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}}\overset{近似}\sim\mathbf N(0,1)$,于是当$n$充分大时,可以认为$\eta_n\overset{近似}\sim\mathbf N(np,np(1-p))$
Chapter 6
§6.2 数理统计:基本概念
简单随机抽样:
在相同条件下对总体$X$进行$n$次重复、独立观察。要求各次取样结果互不影响,每次取出的样品与总体有相同的分布,满足这两条性质的样本称为简单随机样本。
样本均值:$\bar X=\frac{1}{n}\sum\limits_{i=1}^{n}X_i$
样本方差:$S^2=\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar X)^2$
样本标准差:$S=\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar X)^2}$
样本k阶矩:$A_k=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^k$
样本k阶中心距:$B_k=\frac{1}{n}\sum\limits_{i=1}^{n}(X_i-\bar X)^k$
顺序统计量:$X_{(1)},X_{(2)},\cdots,X_{(n)}$
极小值:$X_{(1)}=min\{X_1,X_2,\cdots,X_n\}$
极大值:$X_{(n)}=max\{X_1,X_2,\cdots,X_n\}$
样本矩的特征:设$\{X_n\}$为来自总体$X\sim F(x)$的样本,总体k阶矩$\mu_k\overset{\Delta}=E(X^k)$都存在,则
- $X_1^k,X_2^k,\cdots,X_n^k$独立,与$X^k$同分布
- $E(A_k)=\frac{1}{n}\sum\limits_{i=1}^{n}E(X_i^k)=\frac{1}{n}\sum\limits_{i=1}^{n}E(X^k)=\mu_k$
- 由辛钦大数定律,$n→\infty$时,$A_k\stackrel{P}{\longrightarrow}\mu_k$,连续函数$g(A_1,A_2,\cdots,A_k)\stackrel{P}{\longrightarrow}g(\mu_1,\mu_2,\cdots,\mu_k)$
样本均值与样本方差的数字特征:$E(\bar X)=\mu$,$Var(\bar X)=\frac{\sigma^2}{n}$,$E(S^2)=\sigma^2$
§6.3 抽样分布
$\chi^2$-分布:
设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(0,1)$的样本,令
称$\mathcal {X}^2$服从自由度为$n$的$\chi^2$-分布,记为$\mathcal {X}^2\sim\chi^2(n)$。
$\chi^2$-分布的可加性:
设$\chi_1^2\sim\chi^2(n_1)$,$\chi_2^2\sim\chi^2(n_2)$且相互独立,则$\chi_1^2+\chi_2^2\sim\chi^2(n_1+n_2)$
$\chi^2$-分布的数字特征:
设$\chi^2\sim\chi^2(n)$,则$E(\chi^2)=n$,$Var(\chi^2)=2n$
$t$-分布:
设$X\sim\mathbf N(0,1)$,$Y\sim\chi^2(n)$,且$X,Y$相互独立,令
称$t$服从自由度为$n$的$t$-分布,记为$t\sim t(n)$。当$n$较大时,可以认为$t(n)=N(0,1)$
$F$-分布:
设$U\sim\chi^2(n_1)$,$V\sim\chi^2(n_2)$,且$U,V$相互独立,令
称$F$服从自由度为$(n_1,n_2)$的$F$-分布,记为$F\sim F(n_1,n_2)$
$F$-分布的性质:
- 若$F\sim F(n_1,n_2)$,则$\frac{1}{F}\sim F(n_2,n_1)$
- 若$T\sim t(n)$,则$T^2\sim F(1,n)$。($t$-分布的平方服从$F$-分布)
$\alpha$分位点:
设$X\sim f(x)$,若$\forall0<\alpha<1$,存在常数$x_\alpha$满足
则称$x_\alpha$为分布密度$f(x)$的$\alpha$分位点,也即$F(X_\alpha)=\alpha$
- $\mathbf N(0,1)$的$\alpha$分位点记为$u_\alpha$
- $t(n)$的$\alpha$分位点记为$t_\alpha(n)$
- $\chi^2(n)$的$\alpha$分位点记为$\chi^2_\alpha(n)$
- $F(n_1,n_2)$的$\alpha$分位点记为$F_\alpha(n_1,n_2)$
- 三反公式:$F_\alpha(n_1,n_2)=\frac{1}{F_{1-\alpha}(n_2,n_1)}$
抽样分布定理一:
设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则
抽样分布定理二:
设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则
- $\bar X$,$S^2$相互独立
- $\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$
抽样分布定理三:
设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则
抽样分布定理四:
设$X_1,X_2,\cdots,X_n$是总体$X\sim\mathbf N(\mu_1,\sigma_1^2)$的样本;$Y_1,Y_2,\cdots,Y_m$是总体$Y\sim\mathbf N(\mu_2,\sigma_2^2)$的样本,且两样本相互独立,两样本均值和样本方差分别为$\bar X,\bar Y,S_1^2,S_2^2$,则
抽样分布定理五:
设$X_1,X_2,\cdots,X_n$是总体$X\sim\mathbf N(\mu_1,\sigma_1^2)$的样本;$Y_1,Y_2,\cdots,Y_m$是总体$Y\sim\mathbf N(\mu_2,\sigma_2^2)$的样本,且两样本相互独立,两样本均值和样本方差分别为$\bar X,\bar Y,S_1^2,S_2^2$,则
其中$S_\omega^2=\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}$,$S_\omega=\sqrt{S_\omega^2}$
指数分布与$\chi^2$-分布:自由度为2的$\chi^2$-分布就是参数为$\frac 1 2$的指数分布
Chapter 7
§7.1 点估计
矩估计法:
设总体$X\sim F(x;\theta_1,\theta_2,\cdots,\theta_m)$,其中$\theta_1,\theta_2,\cdots,\theta_m$为未知参数,$X_1,X_2,\cdots,X_n$为来自总体$X$的样本,设总体矩$\mu_k=E(X^k)\ (k=1,2,\cdots,m)$都存在,则$\mu_k$是$\theta_1,\theta_2,\cdots,\theta_m$的函数。
由辛钦大数定律,样本k阶矩$A_k\stackrel{P}{\longrightarrow}\mu_k,\ n→\infty\ (k=1,2,\cdots,m)$
从而可以使用$A_k$估计$\mu_k$,进而得到$\theta$的估计。
- 设$\mu_i=\mu_i(\theta_1,\theta_2,\cdots,\theta_m),\ i=1,2,\cdots,m$
- 反解方程组得$\theta_i=\theta_i(\mu_1,\mu_2,\cdots,\mu_m),\ i=1,2,\cdots,m$
- 用样本矩代替总体矩,得到矩估计$\widehat \theta_i=\widehat\theta_i(A_1,A_2,\cdots,A_m),\ i=1,2,\cdots,m$
- 若$\widehat\theta$是位置参数$\theta$的据估计,则$g(\theta)$的矩估计为$g(\widehat\theta)$。
二阶矩估计的结论:
用$A_1,A_2$代替$\mu_1,\mu_2$,得到$\mu$和$\sigma^2$的矩估计量分别为:
$\widehat \mu=A_1=\bar X$
$\widehat \sigma^2=A_2-A_1^2=\frac{n-1}{n}S^2\overset{\Delta}=\widetilde S^2$,称为修正的样本方差。
最大似然估计(MLE):
设$X_1,X_2,\cdots,X_n$是来自总体$X\sim f(x;\theta)$的样本,令
$L(\theta)$称为似然函数,若存在统计量$\widehat\theta=\widehat\theta(X_1,X_2,\cdots,X_n)$使得$L(\widehat\theta)=\max\limits_{\theta\in\Theta}L(\theta;x_1,x_2,\cdots,x_)$,则称其为$\theta$的最大似然估计(MLE)。
最大似然估计常见求法:
- 求似然函数,构建(对数)似然方程组
- 对各未知参数求偏导,使其偏导为0
- 求解(对数)似然方程组,得到MLE
在似然函数不可导时,回到原始定义,即找到让似然函数值最大的$\widehat\theta$即可
§7.2 估计量的评价标准
无偏性:
若估计量$\widehat\theta=\widehat\theta(X_1,X_2,\cdots,X_n)$的数学期望存在,且$\forall\theta\in\Theta$有$E_\theta(\widehat\theta)=\theta$,则称$\widehat\theta$为$\theta$的无偏估计
,否则为有偏估计。
称$b_n(\widehat\theta)=E_\theta(\widehat\theta)-\theta$为估计量$\widehat\theta$的偏差,若$\lim\limits_{n→\infty}b_n(\widehat\theta)=0$,则$\widehat\theta$为$\theta$的渐进无偏估计。
对任意总体$X$,若期望$\mu$与方差$\sigma^2$存在,则$\widehat\mu=\bar X$,$\widehat\sigma^2=S^2$都是无偏估计,而修正后的样本方差$\widetilde S^2$是$\sigma^2$的渐进无偏估计。
同一参数的不同无偏估计的线性组合(总比例为1)还是无偏估计。
估计量的均方误差:
设$\widehat\theta(X_1,X_2,\cdots,X_n)$为待估参数$\theta$的估计量,称$E_\theta(\widehat\theta-\theta)^2$为$\widehat\theta$的均方误差。
有效性:
设$X_1,X_2,\cdots,X_n$是总体$X\sim F(x,\theta);\theta\in\Theta$的样本,
都是$\theta$的无偏估计,即$E(\widehat\theta_1)=E(\widehat\theta_2)=\theta\ (\forall\theta\in\Theta)$。若$\forall\theta\in\Theta$有$Var(\widehat\theta_1)\leq Var(\widehat\theta_2)$,则称$\widehat\theta_1$较$\widehat\theta_2$有效。
相合性(一致性):
设$\widehat\theta_n=\widehat\theta(X_1,X_2,\cdots,X_n)$是位置参数$\theta$的点估计,若$\forall\theta\in\Theta$满足:$\forall\varepsilon>0$有
即$\widehat\theta_n\stackrel{P}{\longrightarrow}\theta\ (n→\infty)$,则称$\widehat\theta_n$是$\theta$相合估计。
对任意总体$X$,若期望$\mu$与方差$\sigma^2$存在,则$\widehat\mu=\bar X$,$\widehat\sigma^2=S^2$都是相合估计。
关于相合估计的一般结论:
由辛钦大数定律,$\theta$的矩估计$\widehat\theta$是相合估计
$\theta$的MLE$\widehat\theta$一般也是相合估计
$\theta$的相合估计不一定是无偏估计
若$\widehat\theta$是$\theta$的无偏估计,则由Chebyshev不等式有
故当$\lim\limits_{n→\infty}Var(\widehat\theta)=0$时,$\widehat\theta$是$\theta$的相合估计(充分条件)
§7.3 区间估计
区间估计:
设总体$X\sim F(x;\theta)\ (\theta\in\Theta)$。若对给定的$0<\alpha<1$,存在两个统计量
使得$\forall\theta\in\Theta$,有
则称随机区间$(\underline\theta,\overline\theta)$为$\theta$的置信水平为$1-\alpha$的置信区间,$\underline\theta,\overline\theta$分别称为置信下限和置信上限。
$1-\alpha$置信区间的含义是随机区间$[\underline\theta,\overline\theta]$至少以$1-\alpha$的概率套住$\theta$的真值。
可靠性:置信度$1-\alpha$应尽量大,即要求估计尽量可信(可靠)。
精确性:区间长度应尽量小,即估计的精度要尽可能地高。
- 上述两个要求是相互矛盾的:先保证可靠性,在此前提下尽可能提高精度。
求未知参数置信区间的一般过程:
找出参数$\theta$的一个较好的点估计$\widehat\theta=T(X_1,X_2,\cdots,X_n)$。
找出枢轴量函数$W(T,\theta)$,使得$W$的分布不依赖于未知参数
对于给定置信水平$1-\alpha$定出两个常数$a,b$使得
根据等价形式得到$\underline\theta\leq \theta\leq \overline\theta$,则$[\underline\theta,\overline\theta]$就是$\theta$的一个置信水平为$1-\alpha$的置信区间
单正态总体参数的区间估计:
单个正态总体$X\sim \mathbf N(\mu,\sigma^2)$,$X_1,X_2,\cdots,X_n$是一个样本。
待估参数 | 其他参数 | 枢轴量及其分布 | 置信区间 |
---|---|---|---|
$\mu$ | $\sigma^2$已知 | $\frac{\bar X-\mu}{\sigma/\sqrt n}\sim \mathbf N(0,1)$ | $\left [\bar X-\frac{\sigma}{\sqrt n}u_{1-\frac{\alpha}{2}},\bar X+\frac{\sigma}{\sqrt n}u_{1-\frac{\alpha}{2}}\right]$ |
$\mu$ | $\sigma^2$未知 | $\frac{\bar X-\mu}{S/\sqrt n}\sim t(n-1)$ | $\left[\bar{X}-\frac{S}{\sqrt{n}} t_{1-\frac{\alpha}{2}}(n-1), \bar{X}+\frac{S}{\sqrt{n}} t_{1-\frac{\alpha}{2}}(n-1)\right]$ |
$\sigma^2$ | $\mu$已知 | $\sum\limits_{i=1}^{n}(\frac{X_i-\mu}{\sigma})^2\sim \chi^2(n)$ | $\left[\frac{\sum\limits_{i=1}^n (X_i-\mu)^2}{\chi^2_{1-{\alpha\over 2}}(n)},\frac{\sum\limits_{i=1}^n (X_i-\mu)^2}{\chi^2_{\alpha\over 2}(n)}\right]$ |
$\sigma^2$ | $\mu$未知 | $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ | $\left[\frac{(n-1) S^{2}}{\chi_{1-{\alpha\over 2} }^{2}(n-1)}, \frac{(n-1) S^{2}}{\chi_{\alpha \over 2}^{2}(n-1)}\right]$ |
双正态总体参数的区间估计:
正态总体$\mathbf N(\mu_1,\sigma_1^2)$和$\mathbf N(\mu_2,\sigma_2^2)$的两组相互独立的样本$X_1,X_2,\cdots,X_m$和$Y_1,Y_2,\cdots,Y_n$。
样本均值和样本方差分别是$\bar X,S_1^2$和$\bar Y,S_2^2$,记$S_\omega^2=\frac{\left(m-1\right) S_{1}^{2}+\left(n-1\right) S_{2}^{2}}{\left(m+n-2\right)}$。
待估参数 | 其他参数 | 枢轴量及其分布 | 置信区间 |
---|---|---|---|
$\mu_1-\mu_2$ | $\sigma_1^2,\sigma_2^2$已知 | $\frac{\bar{X}-\bar{Y}-\left(\mu_{1}-\mu_{2}\right)}{\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}} \sim \mathbf N(0,1)$ | $\left[\bar{X}-\bar{Y}- \sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}u_{1-\frac{\alpha}{2}}, \bar{X}-\bar{Y}+\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}u_{1-\frac{\alpha}{2}}\right]$ |
$\mu_1-\mu_2$ | $\sigma_1^2=\sigma_2^2$未知 | $\frac{\bar{X}-\bar{Y}-\left(\mu_{1}-\mu_{2}\right)}{S_{\omega} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}} \sim t\left(n_{1}+n_{2}-2\right)$ | $\left[(\bar{X}-\bar{Y}) - S_{\omega} \sqrt{\frac{1}{m}+\frac{1}{n}}t_{1-\frac{\alpha}{2}}(m+n-2),(\bar{X}-\bar{Y}) + S_{\omega} \sqrt{\frac{1}{m}+\frac{1}{n}}t_{1-\frac{\alpha}{2}}(m+n-2)\right]$ |
${\sigma_1^2}/{\sigma_2^2}$ | $\mu_1,\mu_2$未知 | $\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{\sigma_{2}^{2}}{\sigma_{1}^{2}} \sim F\left(n_{1}-1, n_{2}-1\right)$ | $\left[\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}\left(m-1, n-1\right)}, \frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{\frac{\alpha}{2}}\left(m-1, n-1\right)}\right]$ |
${\sigma_1^2}/{\sigma_2^2}$ | $\mu_1,\mu_2$已知 | $\frac{\sum_{i=1}^{n_{1}}\left(\frac{X_{i}-\mu_{1}}{\sigma_{1}}\right)^{2} / n_{1}}{\sum_{i=1}^{n_{2}}\left(\frac{Y_{i}-\mu_{2}}{\sigma_{2}}\right)^{2} / n_{2}} \sim F\left(n_{1}, n_{2}\right)$ | $\left[\frac{\sum\limits_{i=1}^{m}\left(X_{i}-\mu_{1}\right)^{2} / m}{\sum\limits_{i=1}^{n}\left(X_{i}-\mu_{2}\right)^{2} / n} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}(m, n)}, \frac{\sum\limits_{i=1}^{m}\left(X_{i}-\mu_{1}\right)^{2} / m}{\sum\limits_{i=1}^{n}\left(X_{i}-\mu_{2}\right)^{2} / n} \cdot \frac{1}{F_{\frac{\alpha}{2}}(m, n)}\right]$ |
单侧置信区间:
将上表中的区间两端值取出,将$\frac{\alpha}{2}$全部更换为$\alpha$,即可得到置信水平为$1-\alpha$的单侧置信限。
大样本下非正态总体参数的区间估计:
根据中心极限定理,当$n$充分大时有$\frac{\bar X-\mu}{\sigma/\sqrt n}\overset{近似}\sim\mathbf N(0,1)$
然后把$\mu$和$\sigma^2$用参数代回,按标准正态得到置信区间,解不等式得到参数的区间估计。
Chapter 8
§8.1 假设检验概述
建立假设:
对问题提出原假设(零假设),记为$H_0$,其对立面称为对立假设(备择假设),记为$H_1$或$H_\alpha$。
原假设一般有符号$=$,$\leq$或$\ge$。
假设检验就是要根据样本判断是否拒绝$H_0$。
- 双侧假设检验:$H_0:\theta=\theta_0$,$H_1:\theta\ne\theta_0$
- 右侧检验:$H_0:\theta\leq \theta_0$,$H_1:\theta>\theta_0$
- 左侧检验:$H_0:\theta\geq \theta_0$,$H_1:\theta<\theta_0$
检验统计量:由样本对原假设进行检验总是通过一个统计量完成,称为检验统计量。
拒绝域:使原假设被拒绝的样本所组成的区域称为拒绝域,即拒绝$H_0$的样本值的取值区域,其补集称为接受域。
第一类错误:在原假设$H_0$为真的情况下拒绝$H_0$,一般设置为更严重的错误。
第二类错误:在原假设$H_0$为假的情况下接受$H_0$。
显著性检验:控制犯第一类错误的概率在一个较小的数$\alpha$以内,倾向于保护$H_0$
显著性检验倾向于“宁可错杀也不可放过$H_0$”,一般原假设也是依此选定:
判断病人得两种病中的哪种,需要控制把重症误判成轻症的错误率,因此倾向于把轻症$H_1$判成重症$H_0$,而非把重症$H_0$当轻症$H_1$放过。
想检验某结论成立,应提出$H_0$:结论不成立,然后说明样本取值在拒绝域内,即概率反证法。
e.g. 是否有显著提高?$H_0$:没有显著提高,代入数据若能拒绝$H_0$说明确实有显著提高。
“如果连$H_0$都保护不住的结论,其真实性势必应当受到怀疑。”
§8.2 正态总体参数的假设检验
双边u检验法:
已知$\sigma_0^2$,关于$H_0:\mu=\mu_0$的检验问题
拒绝域:$|\bar X-\mu_0|$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{|\bar X-\mu_0|}{\sigma_0/\sqrt n}>u_{1-\frac{\alpha}{2}}\right\}=\alpha$
单边u检验法:
已知$\sigma_0^2$,关于$H_0:\mu\leq\mu_0$的检验问题
拒绝域:$\bar X-\mu_0$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{\sigma_0/\sqrt n}>u_{1-\alpha}\right\}=\alpha$
已知$\sigma_0^2$,关于$H_0:\mu\geq\mu_0$的检验问题
拒绝域:$\bar X-\mu_0$的值偏小,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{\sigma_0/\sqrt n}<u_{\alpha}\right\}=\alpha$
双边t检验法:
未知$\mu,\sigma^2$,关于$H_0:\mu=\mu_0$的检验问题
拒绝域:$|\bar X-\mu_0|$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{|\bar X-\mu_0|}{S/\sqrt n}>t_{1-\frac{\alpha}{2}}(n-1)\right\}=\alpha$
单边t检验法:
未知$\mu,\sigma^2$,关于$H_0:\mu\leq\mu_0$的检验问题
拒绝域:$\bar X-\mu_0$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{S/\sqrt n}>t_{1-\alpha}(n-1)\right\}=\alpha$
未知$\mu,\sigma^2$,关于$H_0:\mu\geq\mu_0$的检验问题
拒绝域:$\bar X-\mu_0$的值偏小,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{S/\sqrt n}<t_{\alpha}(n-1)\right\}=\alpha$
双边$\chi^2$检验法:
未知$\mu,\sigma^2$,关于$H_0:\sigma^2=\sigma_0^2$的检验问题
拒绝域:$S^2$不在$\sigma_0^2$附近波动或幅度太大,Ⅰ类风险$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}<\chi^2_{\frac{\alpha}{2}}(n-1)\ or\ \frac{(n-1)S^2}{\sigma_0^2}>\chi^2_{1-\frac{\alpha}{2}}(n-1)\right\}=\alpha$
已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2=\sigma_0^2$的检验问题
拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2<\chi^2_{\frac{\alpha}{2}}(n)\ or\ \frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2>\chi^2_{1-\frac{\alpha}{2}}(n)\right\}=\alpha$
单边$\chi^2$检验法:
未知$\mu,\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题
拒绝域:$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}>\chi^2_{1-\alpha}(n-1)\right\}=\alpha$
未知$\mu,\sigma^2$,关于$H_0:\sigma^2\geq\sigma_0^2$的检验问题
拒绝域:$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}<\chi^2_{\alpha}(n-1)\right\}=\alpha$
已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题
拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2>\chi^2_{1-\alpha}(n-1)\right\}=\alpha$
已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题
拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2<\chi^2_{\alpha}(n-1)\right\}=\alpha$
双总体均值差的检验:
已知$\sigma_1^2,\sigma_2^2$,$U=\frac{\bar X-\bar Y-\delta}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}\sim \mathbf N(0,1)$
关于$H_0:\mu_1-\mu_2=\delta$的检验问题,拒绝域$|U|\ge u_{1-\frac \alpha 2}$
关于$H_0:\mu_1-\mu_2\ge\delta$的检验问题,拒绝域$U\leq u_\alpha$
关于$H_0:\mu_1-\mu_2\le\delta$的检验问题,拒绝域$U\geq u_{1-\alpha}$
未知$\sigma_1^2,\sigma_2^2$但$\sigma_1^2=\sigma_2^2$,$T=\frac{\bar X-\bar Y-\delta}{\sqrt{\frac{1}{n}+\frac{1}{m}}S_\omega}\sim T(n+m-2)$,其中$S_\omega=\sqrt \frac{\left(n-1\right) S_{1}^{2}+\left(m-1\right) S_{2}^{2}}{\left(n+m-2\right)}$
关于$H_0:\mu_1-\mu_2=\delta$的检验问题,拒绝域$|T|\ge t_{1-\frac \alpha 2}(n+m-2)$
关于$H_0:\mu_1-\mu_2\ge\delta$的检验问题,拒绝域$T\leq t_\alpha(n+m-2)$
关于$H_0:\mu_1-\mu_2\le\delta$的检验问题,拒绝域$T\geq t_{1-\alpha}(n+m-2)$
双总体方差比的检验:
未知$\mu_1,\mu_2$,$F=\frac{S_1^2}{S_2^2}\sim F(n-1,m-1)$
关于$H_0:\sigma_1^2=\sigma_2^2$的检验问题,拒绝域$F\ge F_{1-\frac{\alpha}{2}}(n-1,m-1)$或$F\le F_{\frac \alpha 2}(n-1,m-1)$
关于$H_0:\sigma_1^2\ge \sigma_2^2$的检验问题,拒绝域$F\le F_\alpha(n-1,m-1)$
- 关于$H_0:\sigma_1^2\le \sigma_2^2$的检验问题,拒绝域$F\ge F_{1-\alpha}(n-1,m-1)$