0%

MA212 概率论与数理统计 期末复习

写在前面

本文为南方科技大学MA212概率论与数理统计课程2022秋季学期后半学期的知识点整理,大部分内容摘选自MA212-03班的课件,编者仅进行了一定转述和搬运工作。由于复习材料的目的性强,本文对考点有一定的强调和浓缩,忽略了一些非考点,但也并不能视为与考纲完全相符,同时可能存在一定错误。阅读本文并不能让你两三天速通概统,本文的定位在于用一篇文章看完课件内容,因此建议读者在学完该部分内容后借本文复习概念,并结合题目练习。

祝你在这门课程取得优秀成绩!

咕桃

2023.1

本文使用CC BY-NC-SA协议,即您可以对本文在注明作者的情况下进行非商业目的的重新编排、节选,或以本文为基础进行创作,依此创作的成果亦须使用该协议。

由于编者能力有限,恳请各位读者在阅读过程中勘误,如果您对其中内容有疑问或发现错误,抑或是希望联系编者,欢迎通过该QQ联系:3425811925,非常感谢!

image.png

Chapter 3

§3.6 联合分布随机变量函数

r.v. 函数的分布

设$(X, Y)$是二维连续型随机向量,其联合概率密度函数为$f(x,y)$。 则$Z=g(X,Y)$的累积分布函数为

求导可得其概率密度函数$Z\sim f_Z(z)$

连续卷积公式:r.v. $(X,Y)\sim f(x,y)$,$Z=X+Y$

求导得:$f_Z(z)=\int_{-\infty}^{\infty}f(z-y,y)dy=\int_{-\infty}^{\infty}f(x,z-x)dx$

若$X,Y$独立,$f(x,y)=f_X(x)\cdot f_Y(y)$,则

独立正态r.v.之和:独立r.v. 集$\{X_n\}$,$X_i\sim N(\mu_i,\sigma_i^2)$

则其非零线性组合$\overset{n}\sum\limits_{i=1}a_iX_i\sim N(\overset{n}\sum\limits_{i=1}a_i\mu_i,\overset{n}\sum\limits_{i=1}a_i^2\sigma_i^2)$

即:独立正态r.v.的非零线性组合仍服从正态分布

非独立正态r.v.之和

若$(X,Y)\sim\mathbf N(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)$,则$(C_1X+C_2Y)\sim \mathbf N(C_1\mu_1+C_2\mu_2,C_1^2\sigma_1^2+C_2^2\sigma_2^2+2C_1C_2\sigma_1\sigma_2\rho)$

离散卷积公式:$P\{Z=k\}=\sum\limits_{i}P\{X=i\}P\{Y=k-i\}=\sum\limits_{i}P\{X=k-i\}P\{Y=i\}$

离散r.v.函数的分布:对于$Z=g(X,Y)$,$P\{Z=z_k\}=\sum\limits_{g(x_i,y_j)=z_k}p(x_i,y_i)$

r.v.商的分布:$(X,Y)\sim f(x,y)$,$Z=\frac{X}{Y}$,$F_Z(z)=P\{\frac{x}{y}\leq z\}=\iint\limits_{\frac{x}{y}\leq z}f(x,y)dxdy$

$F_Z(z)=\int_{0}^{\infty}\int_{-\infty}^{yz}f(x,y)dxdy+\int_{-\infty}^{0}\int_{yz}^{\infty}f(x,y)dxdy$

设$u=x/y$,$dx=ydu$

求导得$f_Z(z)=\int_{-\infty}^{\infty}f(zy,y)\vert y \vert dy$

Jacobi行列式:$J(u, v)=\frac{\partial(x, y)}{\partial(u, v)}=\det\left[ \begin{array}{ll}
\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\
\frac{\partial y}{\partial u} & \frac{\partial y}{\partial v}
\end{array}\right]$

若连续可微变换$T(u,v)=(x(u,v),y(u,v))$为双射,且$J(u,v)≠0$,则

则逆变换$U=g_1(X,Y),V=g_2(X,Y)$的联合密度为:

正态分布与线性变换

两个独立标准正态r.v.的线性变换服从二元正态分布。

更一般地,若两个r.v.的联合分布为二元正态分布,则其非奇异线性变换还是二元正态分布。

构造生成标准正态分布r.v.:构造独立r.v. $U_1\sim U[0,1]$,$U_2\sim U[0,1]$

则$X=\sqrt{-2logU_1}\cos(2\pi U_2),Y=\sqrt{-2logU_1}\sin(2\pi U_2)$是独立标准正态r.v.

§3.7 极值和顺序统计量

r.v.极值的分布

max分布:$\{X_n\}$为独立r.v.集,$F_{\max}(z)=P\{\bigcap\limits_{i=1}^{n} (X_i\leq z)\}=\prod\limits_{i=1}^{n}F_{X_i}(z)$

min分布:$\{X_n\}$为独立r.v.集,$F_{\min}(z)=P\{\bigcup\limits_{i=1}^{n} (X_i\leq z)\}=1-\prod\limits_{i=1}^{n}(1-F_{X_i}(z))$

n个独立同分布r.v.的极值的密度:$f_{\max}(z)=nf(z)[F(z)]^{n-1},\ f_{\min}(z)=nf(z)[1-F(z)]^{n-1}$

指数分布的串联系统仍服从指数分布,失效率为各部件失效率之和。

顺序统计量$X_{(k)}$的密度:$f_k(x)=\frac{n!}{(k-1)!(n-k)!}f(x)F^{k-1}(x)[1-F(x)]^{n-k}$

若$X_i\sim \mathbf U[0,1]$且相互独立,则$X_{(k)}\sim \mathbf{Beta}(k,n-k+1)$

Chapter 4

§4.1 随机变量的期望

数学期望(离散型)

若级数$\sum\limits_{k=1}^{\infty}|x_k|p_k<+\infty$,则数学期望$E(x)\overset{\Delta}=\sum\limits_{k=1}^{\infty}x_kp_k=\sum\limits_{k=1}^{\infty}x_kP\{X=x_k\}$

否则无法说明级数$\sum\limits_{k=1}^{\infty}x_kp_k$收敛,期望不存在

数学期望(连续型)

r.v.$X$的cdf为$f(x)$,若$\int_{-\infty}^{\infty}|x|f(x)dx<+\infty$,则数学期望$E(x)=\int_{-\infty}^{\infty}xf(x)dx$

否则$\int_{-\infty}^{\infty}|x|f(x)dx=+\infty$,期望不存在(标准柯西分布:$f(x)=\frac{1}{\pi(1+x^2)}$)

Markov不等式

r.v.$X$非负,且$E(X)$存在,则$P\{X\ge t\}\leq\frac{E(X)}{t}$

函数的期望

对于普通函数$y=g(x)$,其期望$E(Y)=E(g(X))=\sum\limits_{k=1}^{\infty}g(x_k)p_k$ 或 $\int_{-\infty}^{\infty}g(x)f(x)dx$

对于二元函数$z=g(x,y)$,其期望$E(Z)=E(g(X,Y))=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}$或$\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}g(x,y)f(x,y)dxdy$

数学期望的基本性质

  • 设$a\leq X\leq b\ (a.e)$,则$a\leq E(X)\leq b$
  • 对于常数$c$,$E(cX)=cE(X)$
  • 对于r.v. $X,Y$,$E(X+Y)=E(X)+E(Y)$
  • 对于独立r.v. $X,Y$,$E(XY)=E(X)E(Y)$

数学期望的几个推论

  • 若$X=c\ (a.e)$,则$E(X)=c$
  • 线性组合的期望等于期望的线性组合
  • $\{X_n\}$相互独立,则$E(\prod\limits_{k=1}^{n}X_k)=\prod\limits_{k=1}^{n}E(X_k)$

超几何分布等式:$N$件产品,$M$件次品,摸出次品个数的期望值(前置证明:每次摸中次品概率相同)

§4.2 方差与标准差

方差:$Var(X)\overset{\Delta}=E[(X-E(X))^2]$

标准差:$\sqrt{Var(X)}$

方差的计算:$Var(X)=E(X^2)-[E(X)]^2$

方差的基本性质

  • $X=c\ (a.e)⇌Var(X)=0$
  • 对于常数$a,b$,$Var(aX±b)=a^2Var(X)$
  • 对于r.v. $X,Y$,$Var(X±Y)=Var(X)+Var(Y)±2E[(X-E(x))(Y-E(Y)]$
  • 对于相互独立的$\{X_n\}$,$Var(\sum\limits_{k=1}^{n}X_i)=\sum\limits_{k=1}^{n}Var(X_i)$

正态r.v.的标准化:$X\sim \mathbf N(\mu,\sigma^2)$,$X^\star=\frac{X-\mu}{\sigma}$,$X^\star\sim \mathbf N(0,1)$

Chebyshev不等式

期望$\mu$、方差$\sigma^2$均存在,则$\forallε>0$,有$P\{|X-\mu|\ge ε\}\leq\frac{\sigma^2}{ε^2}$

证明用Markov不等式,$Y=(X-\mu)^2$,$E(Y)=\sigma^2$

§4.3 协方差与相关系数

协方差:$Cov(X,Y)\overset{\Delta}=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$

协方差的基本性质

  • 若r.v. $X,Y$相互独立,则$Cov(X,Y)=0$,但协方差为0不一定独立

  • $Cov(X,Y)=Cov(Y,X)$,$Cov(X,X)=Var(X)$

  • $Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y)$

  • 双线性性:

    • $Cov(aX,bY)=abCov(X,Y)$

    • $Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$

    • $U=a+\sum\limits_{i=1}^{n}b_iX_i$,$V=c+\sum\limits_{j=1}^{m}d_jY_j$,则

      $Cov(U,V)=\sum\limits_{i=1}^{n}\sum\limits_{j=1}^{m}b_id_jCov(X_i,Y_j)$

相关系数:$\rho_{XY}\overset{\Delta}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}}$,$|\rho_{XY}|\leq1$,取等当且仅当$Y\overset{a.e}=a+bX$

均方误差:对于线性近似$\widehat Y=a+bX$,均方误差$e=E[(Y-\widehat Y)^2]$

$e_{\min}=Var(Y)(1-\rho^2_{XY})$,此时$b_0=\frac{Cov(X,Y)}{Var(X)}$,$a_0=E(Y)-b_0E(X)$

相关:正相关,负相关,不相关。不相关不一定独立,独立一定不相关。

协方差矩阵:对于n维r.v.$\{X_n\}$,记$c_{ij}=Cov(X_i,X_j)\ (i,j=1,2,\cdots,n)$

将$c_{ij}$写成矩阵的形式$C$,则称其为$\{X_n\}$的协方差矩阵。协方差矩阵为非负定对称阵

n维正态r.v.:令

其中$C$为n阶正定矩阵,若n维r.v.$\{X_n\}$的密度函数为

$f\left(x_{1}, x_{2}, \cdots, x_{n}\right)=\frac{1}{(2 \pi)^{n / 2}|C|^{1 / 2}} \exp \left\{-\frac{1}{2}(X-\mu)^{T} C^{-1}(X-\mu)\right\}$

则称$\{X_n\}$服从参数为$(\mu,C)$的n维正态分布,记为$(X_1,X_2,\cdots,X_n)\sim \mathbf N(\mu,C)$。

n维正态r.v.的重要性质

  • $\mu$称为均值向量,$C$为协方差矩阵,对角线为对应r.v.方差。

  • $X_i\sim\mathbf N(\mu_i,c_{ii}),\ (i=1,2,\cdots,n)$,反之若$\{X_n\}$相互独立且$X_i\sim\mathbf N(\mu_i,\sigma_i^2),\ (i=1,2,\cdots,n)$,则

    $\{X_n\}\sim\mathbf N(\mu,C)$,其中$\mu=[\mu1\ \mu2\ …\ \mu_n]^T$,$C=diag\{\sigma_1^2\ \sigma_2^2\ …\ \sigma_n^2\ \}$

  • 若$\{X_n\}\sim\mathbf N(\mu,C)$,则$\{X_n\}$的任一线性组合$\sum\limits_{k=1}^{n}l_iX_i$服从一维正态分布

  • 正态r.v.的线性变换不变性:若$\{X_n\}\sim\mathbf N(\mu,C)$

    $\left\{\begin{array}{c}
    Y_{1}=a_{11} X_{1}+a_{12} X_{2}+\cdots+a_{1 n} X_{n} \\
    Y_{2}=a_{21} X_{1}+a_{22} X_{2}+\cdots+a_{2 n} X_{n} \\
    \quad \vdots \\
    Y_{m}=a_{m 1} X_{1}+a_{m 2} X_{2}+\cdots+a_{m n} X_{n}
    \end{array}\right.$

    则$\{Y_m\}$仍服从多维正态分布。

§4.4 条件期望

不考,不过明明是很重要的内容来着。

§4.x 常用分布的分布及数字特征

常用分布的分布及数字特征.jpg

Chapter 5

§5.1 大数定律

依概率收敛

设$\xi,\xi_1,\xi_2,\cdots,\xi_n,…$是一系列r.v.,若$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\xi_n-\xi|\ge \varepsilon\}=0$,则称$\{\xi_n\}$依概率收敛于$\xi$,记为$\xi_{n} \stackrel{P}{\longrightarrow} \xi $。

  • $\lim\limits_{n→\infty}P\{|\xi_n-\xi|\ge \varepsilon\}=0⇌\lim\limits_{n→\infty}P\{|\xi_n-\xi|< \varepsilon\}=1$
  • 随着n的增大,绝对误差$|\xi_n-\xi|$较大的可能性越来越小
  • 若$\xi_{n} \stackrel{P}{\longrightarrow} \xi$,$g$是连续函数,则$g(\xi_{n}) \stackrel{P}{\longrightarrow} g(\xi) $

几乎处处收敛(了解)

若r.v.列$\{\xi_n\}$满足$\forall\varepsilon>0$,$P\{\lim\limits_{n→\infty}|\xi_n-\xi|<\varepsilon\}=1$,则称$\{\xi_n\}$几乎处处收敛于$\xi$,记为$\xi_n\stackrel{a.s.}{\longrightarrow}\xi$或$\xi_n→\xi,\ a.s.$

伯努利大数定律

设$n_A$是n次独立重复实验中事件$A$发生的次数,且$P(A)=p$,则$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\frac{n_A}{n}-p|\ge \varepsilon\}=0$

切比雪夫大数定律

$\{X_n\}$为独立r.v.列,且具有相同的期望$\mu$和方差$\sigma^2$,则$\forall\varepsilon>0$有$\lim\limits_{n→\infty}P\{|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\mu|\ge\varepsilon\}=0$,即$\bar X_n \stackrel{P}{\longrightarrow} \mu$,可由Chebyshev不等式证明:$P\left(\left|\bar{X}_{n}-\mu\right|>\varepsilon\right) \leq \frac{\operatorname{Var}\left(\bar{X}_{n}\right)}{\varepsilon^{2}}=\frac{\sigma^{2}}{n \varepsilon^{2}} \rightarrow 0,$

辛钦大数定律(弱大数定律)

$\{X_n\}$是独立同分布r.v.列,期望$\mu$存在,则$\{X_n\}$服从大数定律,$\forall\varepsilon>0$,有$\lim\limits_{n→\infty}P\{|\frac{1}{n}\sum\limits_{i=1}^{n}X_i-\mu|<\varepsilon\}=1$

强大数定律(了解)

若$\{X_n\}$两两独立且同分布,期望$\mu$存在,则$\bar X_n\stackrel{a.s.}{\longrightarrow}\mu$

§5.2 中心极限定理

中心极限定理

若$Z_n=\frac{\sum_{k=1}^{n} X_{k}-\sum_{k=1}^{n} \mu_{k}}{\sqrt{\sum_{k=1}^{n} \sigma_{k}^{2}}}$的分布函数$F_n(x)$对任意$x$满足

则称$\{X_k\}$服从中心极限定理。

中心极限定理(独立同分布)

中心极限定理的实际含义

对于均值为$\mu$,方差$\sigma^2>0$的i.i.d.r.v.列$\{X_n\}$,有$\sum\limits_{k=1}^{n}X_k\overset{近似}\sim\mathbf N(n\mu,n\sigma^2)$,或$\bar X_n\overset{近似}\sim\mathbf N(\mu,\frac{\sigma^2}{n})$

棣莫弗-拉普拉斯中心极限定理

设$\{\eta_n\}$为服从参数为$n,p(0<p<1)$的二项分布r.v.列,则对任意$x$有

$\lim _{n \rightarrow \infty} P\left\{\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}} \leq x\right\}=\int_{-\infty}^{x} \frac{1}{\sqrt{2 \pi}} e^{-\frac{t^{2}}{2}} d t=\Phi(x)$

对于r.v.$\eta_n\sim \mathbf b(n,p)\ (n=1,2,…)$,有$\frac{\eta_{n}-n p}{\sqrt{n p(1-p)}}\overset{近似}\sim\mathbf N(0,1)$,于是当$n$充分大时,可以认为$\eta_n\overset{近似}\sim\mathbf N(np,np(1-p))$

Chapter 6

§6.2 数理统计:基本概念

简单随机抽样

在相同条件下对总体$X$进行$n$次重复、独立观察。要求各次取样结果互不影响,每次取出的样品与总体有相同的分布,满足这两条性质的样本称为简单随机样本。

样本均值:$\bar X=\frac{1}{n}\sum\limits_{i=1}^{n}X_i$

样本方差:$S^2=\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar X)^2$

样本标准差:$S=\sqrt{\frac{1}{n-1}\sum\limits_{i=1}^{n}(X_i-\bar X)^2}$

样本k阶矩:$A_k=\frac{1}{n}\sum\limits_{i=1}^{n}X_i^k$

样本k阶中心距:$B_k=\frac{1}{n}\sum\limits_{i=1}^{n}(X_i-\bar X)^k$

顺序统计量:$X_{(1)},X_{(2)},\cdots,X_{(n)}$

极小值:$X_{(1)}=min\{X_1,X_2,\cdots,X_n\}$

极大值:$X_{(n)}=max\{X_1,X_2,\cdots,X_n\}$

样本矩的特征:设$\{X_n\}$为来自总体$X\sim F(x)$的样本,总体k阶矩$\mu_k\overset{\Delta}=E(X^k)$都存在,则

  • $X_1^k,X_2^k,\cdots,X_n^k$独立,与$X^k$同分布
  • $E(A_k)=\frac{1}{n}\sum\limits_{i=1}^{n}E(X_i^k)=\frac{1}{n}\sum\limits_{i=1}^{n}E(X^k)=\mu_k$
  • 由辛钦大数定律,$n→\infty$时,$A_k\stackrel{P}{\longrightarrow}\mu_k$,连续函数$g(A_1,A_2,\cdots,A_k)\stackrel{P}{\longrightarrow}g(\mu_1,\mu_2,\cdots,\mu_k)$

样本均值与样本方差的数字特征:$E(\bar X)=\mu$,$Var(\bar X)=\frac{\sigma^2}{n}$,$E(S^2)=\sigma^2$

§6.3 抽样分布

$\chi^2$-分布

设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(0,1)$的样本,令

称$\mathcal {X}^2$服从自由度为$n$的$\chi^2$-分布,记为$\mathcal {X}^2\sim\chi^2(n)$。

$\chi^2$-分布的可加性

设$\chi_1^2\sim\chi^2(n_1)$,$\chi_2^2\sim\chi^2(n_2)$且相互独立,则$\chi_1^2+\chi_2^2\sim\chi^2(n_1+n_2)$

$\chi^2$-分布的数字特征

设$\chi^2\sim\chi^2(n)$,则$E(\chi^2)=n$,$Var(\chi^2)=2n$

$t$-分布

设$X\sim\mathbf N(0,1)$,$Y\sim\chi^2(n)$,且$X,Y$相互独立,令

称$t$服从自由度为$n$的$t$-分布,记为$t\sim t(n)$。当$n$较大时,可以认为$t(n)=N(0,1)$

$F$-分布

设$U\sim\chi^2(n_1)$,$V\sim\chi^2(n_2)$,且$U,V$相互独立,令

称$F$服从自由度为$(n_1,n_2)$的$F$-分布,记为$F\sim F(n_1,n_2)$

$F$-分布的性质

  • 若$F\sim F(n_1,n_2)$,则$\frac{1}{F}\sim F(n_2,n_1)$
  • 若$T\sim t(n)$,则$T^2\sim F(1,n)$。($t$-分布的平方服从$F$-分布)

$\alpha$分位点

设$X\sim f(x)$,若$\forall0<\alpha<1$,存在常数$x_\alpha$满足

则称$x_\alpha$为分布密度$f(x)$的$\alpha$分位点,也即$F(X_\alpha)=\alpha$

  • $\mathbf N(0,1)$的$\alpha$分位点记为$u_\alpha$
  • $t(n)$的$\alpha$分位点记为$t_\alpha(n)$
  • $\chi^2(n)$的$\alpha$分位点记为$\chi^2_\alpha(n)$
  • $F(n_1,n_2)$的$\alpha$分位点记为$F_\alpha(n_1,n_2)$
  • 三反公式:$F_\alpha(n_1,n_2)=\frac{1}{F_{1-\alpha}(n_2,n_1)}$

抽样分布定理一

设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则

抽样分布定理二

设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则

  1. $\bar X$,$S^2$相互独立
  2. $\frac{(n-1)S^2}{\sigma^2}\sim\chi^2(n-1)$

抽样分布定理三

设$X_1,X_2,\cdots,X_n$是来自总体$X\sim\mathbf N(\mu,\sigma^2)$的样本,则

抽样分布定理四

设$X_1,X_2,\cdots,X_n$是总体$X\sim\mathbf N(\mu_1,\sigma_1^2)$的样本;$Y_1,Y_2,\cdots,Y_m$是总体$Y\sim\mathbf N(\mu_2,\sigma_2^2)$的样本,且两样本相互独立,两样本均值和样本方差分别为$\bar X,\bar Y,S_1^2,S_2^2$,则

抽样分布定理五

设$X_1,X_2,\cdots,X_n$是总体$X\sim\mathbf N(\mu_1,\sigma_1^2)$的样本;$Y_1,Y_2,\cdots,Y_m$是总体$Y\sim\mathbf N(\mu_2,\sigma_2^2)$的样本,且两样本相互独立,两样本均值和样本方差分别为$\bar X,\bar Y,S_1^2,S_2^2$,则

其中$S_\omega^2=\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}$,$S_\omega=\sqrt{S_\omega^2}$

指数分布与$\chi^2$-分布:自由度为2的$\chi^2$-分布就是参数为$\frac 1 2$的指数分布

Chapter 7

§7.1 点估计

矩估计法

设总体$X\sim F(x;\theta_1,\theta_2,\cdots,\theta_m)$,其中$\theta_1,\theta_2,\cdots,\theta_m$为未知参数,$X_1,X_2,\cdots,X_n$为来自总体$X$的样本,设总体矩$\mu_k=E(X^k)\ (k=1,2,\cdots,m)$都存在,则$\mu_k$是$\theta_1,\theta_2,\cdots,\theta_m$的函数。

由辛钦大数定律,样本k阶矩$A_k\stackrel{P}{\longrightarrow}\mu_k,\ n→\infty\ (k=1,2,\cdots,m)$

从而可以使用$A_k$估计$\mu_k$,进而得到$\theta$的估计。

  1. 设$\mu_i=\mu_i(\theta_1,\theta_2,\cdots,\theta_m),\ i=1,2,\cdots,m$
  2. 反解方程组得$\theta_i=\theta_i(\mu_1,\mu_2,\cdots,\mu_m),\ i=1,2,\cdots,m$
  3. 用样本矩代替总体矩,得到矩估计$\widehat \theta_i=\widehat\theta_i(A_1,A_2,\cdots,A_m),\ i=1,2,\cdots,m$
  4. 若$\widehat\theta$是位置参数$\theta$的据估计,则$g(\theta)$的矩估计为$g(\widehat\theta)$。

二阶矩估计的结论

用$A_1,A_2$代替$\mu_1,\mu_2$,得到$\mu$和$\sigma^2$的矩估计量分别为:

$\widehat \mu=A_1=\bar X$

$\widehat \sigma^2=A_2-A_1^2=\frac{n-1}{n}S^2\overset{\Delta}=\widetilde S^2$,称为修正的样本方差。

最大似然估计(MLE)

设$X_1,X_2,\cdots,X_n$是来自总体$X\sim f(x;\theta)$的样本,令

$L(\theta)$称为似然函数,若存在统计量$\widehat\theta=\widehat\theta(X_1,X_2,\cdots,X_n)$使得$L(\widehat\theta)=\max\limits_{\theta\in\Theta}L(\theta;x_1,x_2,\cdots,x_)$,则称其为$\theta$的最大似然估计(MLE)。

最大似然估计常见求法

  1. 求似然函数,构建(对数)似然方程组
  2. 对各未知参数求偏导,使其偏导为0
  3. 求解(对数)似然方程组,得到MLE

在似然函数不可导时,回到原始定义,即找到让似然函数值最大的$\widehat\theta$即可

§7.2 估计量的评价标准

无偏性

若估计量$\widehat\theta=\widehat\theta(X_1,X_2,\cdots,X_n)$的数学期望存在,且$\forall\theta\in\Theta$有$E_\theta(\widehat\theta)=\theta$,则称$\widehat\theta$为$\theta$的无偏估计

,否则为有偏估计。

称$b_n(\widehat\theta)=E_\theta(\widehat\theta)-\theta$为估计量$\widehat\theta$的偏差,若$\lim\limits_{n→\infty}b_n(\widehat\theta)=0$,则$\widehat\theta$为$\theta$的渐进无偏估计。

对任意总体$X$,若期望$\mu$与方差$\sigma^2$存在,则$\widehat\mu=\bar X$,$\widehat\sigma^2=S^2$都是无偏估计,而修正后的样本方差$\widetilde S^2$是$\sigma^2$的渐进无偏估计。

同一参数的不同无偏估计的线性组合(总比例为1)还是无偏估计。

估计量的均方误差

设$\widehat\theta(X_1,X_2,\cdots,X_n)$为待估参数$\theta$的估计量,称$E_\theta(\widehat\theta-\theta)^2$为$\widehat\theta$的均方误差。

有效性

设$X_1,X_2,\cdots,X_n$是总体$X\sim F(x,\theta);\theta\in\Theta$的样本,

都是$\theta$的无偏估计,即$E(\widehat\theta_1)=E(\widehat\theta_2)=\theta\ (\forall\theta\in\Theta)$。若$\forall\theta\in\Theta$有$Var(\widehat\theta_1)\leq Var(\widehat\theta_2)$,则称$\widehat\theta_1$较$\widehat\theta_2$有效。

相合性(一致性)

设$\widehat\theta_n=\widehat\theta(X_1,X_2,\cdots,X_n)$是位置参数$\theta$的点估计,若$\forall\theta\in\Theta$满足:$\forall\varepsilon>0$有

即$\widehat\theta_n\stackrel{P}{\longrightarrow}\theta\ (n→\infty)$,则称$\widehat\theta_n$是$\theta$相合估计。

对任意总体$X$,若期望$\mu$与方差$\sigma^2$存在,则$\widehat\mu=\bar X$,$\widehat\sigma^2=S^2$都是相合估计。

关于相合估计的一般结论

  • 由辛钦大数定律,$\theta$的矩估计$\widehat\theta$是相合估计

  • $\theta$的MLE$\widehat\theta$一般也是相合估计

  • $\theta$的相合估计不一定是无偏估计

  • 若$\widehat\theta$是$\theta$的无偏估计,则由Chebyshev不等式有

    故当$\lim\limits_{n→\infty}Var(\widehat\theta)=0$时,$\widehat\theta$是$\theta$的相合估计(充分条件)

§7.3 区间估计

区间估计

设总体$X\sim F(x;\theta)\ (\theta\in\Theta)$。若对给定的$0<\alpha<1$,存在两个统计量

使得$\forall\theta\in\Theta$,有

则称随机区间$(\underline\theta,\overline\theta)$为$\theta$的置信水平为$1-\alpha$的置信区间,$\underline\theta,\overline\theta$分别称为置信下限置信上限

$1-\alpha$置信区间的含义是随机区间$[\underline\theta,\overline\theta]$至少以$1-\alpha$的概率套住$\theta$的真值。

  • 可靠性:置信度$1-\alpha$应尽量大,即要求估计尽量可信(可靠)。

  • 精确性:区间长度应尽量小,即估计的精度要尽可能地高。

  • 上述两个要求是相互矛盾的:先保证可靠性,在此前提下尽可能提高精度。

求未知参数置信区间的一般过程

  • 找出参数$\theta$的一个较好的点估计$\widehat\theta=T(X_1,X_2,\cdots,X_n)$。

  • 找出枢轴量函数$W(T,\theta)$,使得$W$的分布不依赖于未知参数

  • 对于给定置信水平$1-\alpha$定出两个常数$a,b$使得

  • 根据等价形式得到$\underline\theta\leq \theta\leq \overline\theta$,则$[\underline\theta,\overline\theta]$就是$\theta$的一个置信水平为$1-\alpha$的置信区间

单正态总体参数的区间估计

单个正态总体$X\sim \mathbf N(\mu,\sigma^2)$,$X_1,X_2,\cdots,X_n$是一个样本。

待估参数 其他参数 枢轴量及其分布 置信区间
$\mu$ $\sigma^2$已知 $\frac{\bar X-\mu}{\sigma/\sqrt n}\sim \mathbf N(0,1)$ $\left [\bar X-\frac{\sigma}{\sqrt n}u_{1-\frac{\alpha}{2}},\bar X+\frac{\sigma}{\sqrt n}u_{1-\frac{\alpha}{2}}\right]$
$\mu$ $\sigma^2$未知 $\frac{\bar X-\mu}{S/\sqrt n}\sim t(n-1)$ $\left[\bar{X}-\frac{S}{\sqrt{n}} t_{1-\frac{\alpha}{2}}(n-1), \bar{X}+\frac{S}{\sqrt{n}} t_{1-\frac{\alpha}{2}}(n-1)\right]$
$\sigma^2$ $\mu$已知 $\sum\limits_{i=1}^{n}(\frac{X_i-\mu}{\sigma})^2\sim \chi^2(n)$ $\left[\frac{\sum\limits_{i=1}^n (X_i-\mu)^2}{\chi^2_{1-{\alpha\over 2}}(n)},\frac{\sum\limits_{i=1}^n (X_i-\mu)^2}{\chi^2_{\alpha\over 2}(n)}\right]$
$\sigma^2$ $\mu$未知 $\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$ $\left[\frac{(n-1) S^{2}}{\chi_{1-{\alpha\over 2} }^{2}(n-1)}, \frac{(n-1) S^{2}}{\chi_{\alpha \over 2}^{2}(n-1)}\right]$

双正态总体参数的区间估计

正态总体$\mathbf N(\mu_1,\sigma_1^2)$和$\mathbf N(\mu_2,\sigma_2^2)$的两组相互独立的样本$X_1,X_2,\cdots,X_m$和$Y_1,Y_2,\cdots,Y_n$。

样本均值和样本方差分别是$\bar X,S_1^2$和$\bar Y,S_2^2$,记$S_\omega^2=\frac{\left(m-1\right) S_{1}^{2}+\left(n-1\right) S_{2}^{2}}{\left(m+n-2\right)}$。

待估参数 其他参数 枢轴量及其分布 置信区间
$\mu_1-\mu_2$ $\sigma_1^2,\sigma_2^2$已知 $\frac{\bar{X}-\bar{Y}-\left(\mu_{1}-\mu_{2}\right)}{\sqrt{\frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}}} \sim \mathbf N(0,1)$ $\left[\bar{X}-\bar{Y}- \sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}u_{1-\frac{\alpha}{2}}, \bar{X}-\bar{Y}+\sqrt{\frac{\sigma_{1}^{2}}{m}+\frac{\sigma_{2}^{2}}{n}}u_{1-\frac{\alpha}{2}}\right]$
$\mu_1-\mu_2$ $\sigma_1^2=\sigma_2^2$未知 $\frac{\bar{X}-\bar{Y}-\left(\mu_{1}-\mu_{2}\right)}{S_{\omega} \sqrt{\frac{1}{n_{1}}+\frac{1}{n_{2}}}} \sim t\left(n_{1}+n_{2}-2\right)$ $\left[(\bar{X}-\bar{Y}) - S_{\omega} \sqrt{\frac{1}{m}+\frac{1}{n}}t_{1-\frac{\alpha}{2}}(m+n-2),(\bar{X}-\bar{Y}) + S_{\omega} \sqrt{\frac{1}{m}+\frac{1}{n}}t_{1-\frac{\alpha}{2}}(m+n-2)\right]$
${\sigma_1^2}/{\sigma_2^2}$ $\mu_1,\mu_2$未知 $\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{\sigma_{2}^{2}}{\sigma_{1}^{2}} \sim F\left(n_{1}-1, n_{2}-1\right)$ $\left[\frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}\left(m-1, n-1\right)}, \frac{S_{1}^{2}}{S_{2}^{2}} \cdot \frac{1}{F_{\frac{\alpha}{2}}\left(m-1, n-1\right)}\right]$
${\sigma_1^2}/{\sigma_2^2}$ $\mu_1,\mu_2$已知 $\frac{\sum_{i=1}^{n_{1}}\left(\frac{X_{i}-\mu_{1}}{\sigma_{1}}\right)^{2} / n_{1}}{\sum_{i=1}^{n_{2}}\left(\frac{Y_{i}-\mu_{2}}{\sigma_{2}}\right)^{2} / n_{2}} \sim F\left(n_{1}, n_{2}\right)$ $\left[\frac{\sum\limits_{i=1}^{m}\left(X_{i}-\mu_{1}\right)^{2} / m}{\sum\limits_{i=1}^{n}\left(X_{i}-\mu_{2}\right)^{2} / n} \cdot \frac{1}{F_{1-\frac{\alpha}{2}}(m, n)}, \frac{\sum\limits_{i=1}^{m}\left(X_{i}-\mu_{1}\right)^{2} / m}{\sum\limits_{i=1}^{n}\left(X_{i}-\mu_{2}\right)^{2} / n} \cdot \frac{1}{F_{\frac{\alpha}{2}}(m, n)}\right]$

单侧置信区间

将上表中的区间两端值取出,将$\frac{\alpha}{2}$全部更换为$\alpha$,即可得到置信水平为$1-\alpha$的单侧置信限。

大样本下非正态总体参数的区间估计

根据中心极限定理,当$n$充分大时有$\frac{\bar X-\mu}{\sigma/\sqrt n}\overset{近似}\sim\mathbf N(0,1)$

然后把$\mu$和$\sigma^2$用参数代回,按标准正态得到置信区间,解不等式得到参数的区间估计。

image.png

Chapter 8

§8.1 假设检验概述

建立假设

对问题提出原假设(零假设),记为$H_0$,其对立面称为对立假设(备择假设),记为$H_1$或$H_\alpha$。

原假设一般有符号$=$,$\leq$或$\ge$。

假设检验就是要根据样本判断是否拒绝$H_0$。

  • 双侧假设检验:$H_0:\theta=\theta_0$,$H_1:\theta\ne\theta_0$
  • 右侧检验:$H_0:\theta\leq \theta_0$,$H_1:\theta>\theta_0$
  • 左侧检验:$H_0:\theta\geq \theta_0$,$H_1:\theta<\theta_0$

检验统计量:由样本对原假设进行检验总是通过一个统计量完成,称为检验统计量。

拒绝域:使原假设被拒绝的样本所组成的区域称为拒绝域,即拒绝$H_0$的样本值的取值区域,其补集称为接受域。

第一类错误:在原假设$H_0$为真的情况下拒绝$H_0$,一般设置为更严重的错误。

第二类错误:在原假设$H_0$为假的情况下接受$H_0$。

显著性检验:控制犯第一类错误的概率在一个较小的数$\alpha$以内,倾向于保护$H_0$

显著性检验倾向于“宁可错杀也不可放过$H_0$”,一般原假设也是依此选定:

  • 判断病人得两种病中的哪种,需要控制把重症误判成轻症的错误率,因此倾向于把轻症$H_1$判成重症$H_0$,而非把重症$H_0$当轻症$H_1$放过。

  • 想检验某结论成立,应提出$H_0$:结论不成立,然后说明样本取值在拒绝域内,即概率反证法。

    e.g. 是否有显著提高?$H_0$:没有显著提高,代入数据若能拒绝$H_0$说明确实有显著提高。

“如果连$H_0$都保护不住的结论,其真实性势必应当受到怀疑。”

§8.2 正态总体参数的假设检验

双边u检验法

已知$\sigma_0^2$,关于$H_0:\mu=\mu_0$的检验问题

拒绝域:$|\bar X-\mu_0|$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{|\bar X-\mu_0|}{\sigma_0/\sqrt n}>u_{1-\frac{\alpha}{2}}\right\}=\alpha$

单边u检验法

  1. 已知$\sigma_0^2$,关于$H_0:\mu\leq\mu_0$的检验问题

    拒绝域:$\bar X-\mu_0$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{\sigma_0/\sqrt n}>u_{1-\alpha}\right\}=\alpha$

  2. 已知$\sigma_0^2$,关于$H_0:\mu\geq\mu_0$的检验问题

    拒绝域:$\bar X-\mu_0$的值偏小,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{\sigma_0/\sqrt n}<u_{\alpha}\right\}=\alpha$

双边t检验法

未知$\mu,\sigma^2$,关于$H_0:\mu=\mu_0$的检验问题

拒绝域:$|\bar X-\mu_0|$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{|\bar X-\mu_0|}{S/\sqrt n}>t_{1-\frac{\alpha}{2}}(n-1)\right\}=\alpha$

单边t检验法

  1. 未知$\mu,\sigma^2$,关于$H_0:\mu\leq\mu_0$的检验问题

    拒绝域:$\bar X-\mu_0$的值偏大,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{S/\sqrt n}>t_{1-\alpha}(n-1)\right\}=\alpha$

  2. 未知$\mu,\sigma^2$,关于$H_0:\mu\geq\mu_0$的检验问题

    拒绝域:$\bar X-\mu_0$的值偏小,Ⅰ类风险$P_{H_0}\left\{\frac{\bar X-\mu_0}{S/\sqrt n}<t_{\alpha}(n-1)\right\}=\alpha$

双边$\chi^2$检验法

未知$\mu,\sigma^2$,关于$H_0:\sigma^2=\sigma_0^2$的检验问题

拒绝域:$S^2$不在$\sigma_0^2$附近波动或幅度太大,Ⅰ类风险$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}<\chi^2_{\frac{\alpha}{2}}(n-1)\ or\ \frac{(n-1)S^2}{\sigma_0^2}>\chi^2_{1-\frac{\alpha}{2}}(n-1)\right\}=\alpha$

已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2=\sigma_0^2$的检验问题

拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2<\chi^2_{\frac{\alpha}{2}}(n)\ or\ \frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2>\chi^2_{1-\frac{\alpha}{2}}(n)\right\}=\alpha$

单边$\chi^2$检验法

  1. 未知$\mu,\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题

    拒绝域:$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}>\chi^2_{1-\alpha}(n-1)\right\}=\alpha$

  2. 未知$\mu,\sigma^2$,关于$H_0:\sigma^2\geq\sigma_0^2$的检验问题

    拒绝域:$P_{H_0}\left\{\frac{(n-1)S^2}{\sigma_0^2}<\chi^2_{\alpha}(n-1)\right\}=\alpha$

  3. 已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题

    拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2>\chi^2_{1-\alpha}(n-1)\right\}=\alpha$

  4. 已知$\mu$未知$\sigma^2$,关于$H_0:\sigma^2\leq\sigma_0^2$的检验问题

    拒绝域:$P_{H_0}\left\{\frac{1}{\sigma_0^2}\sum\limits_{i=1}^{n}(X_i-\mu)^2<\chi^2_{\alpha}(n-1)\right\}=\alpha$

双总体均值差的检验

已知$\sigma_1^2,\sigma_2^2$,$U=\frac{\bar X-\bar Y-\delta}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}\sim \mathbf N(0,1)$

  1. 关于$H_0:\mu_1-\mu_2=\delta$的检验问题,拒绝域$|U|\ge u_{1-\frac \alpha 2}$

  2. 关于$H_0:\mu_1-\mu_2\ge\delta$的检验问题,拒绝域$U\leq u_\alpha$

  3. 关于$H_0:\mu_1-\mu_2\le\delta$的检验问题,拒绝域$U\geq u_{1-\alpha}$

未知$\sigma_1^2,\sigma_2^2$但$\sigma_1^2=\sigma_2^2$,$T=\frac{\bar X-\bar Y-\delta}{\sqrt{\frac{1}{n}+\frac{1}{m}}S_\omega}\sim T(n+m-2)$,其中$S_\omega=\sqrt \frac{\left(n-1\right) S_{1}^{2}+\left(m-1\right) S_{2}^{2}}{\left(n+m-2\right)}$

  1. 关于$H_0:\mu_1-\mu_2=\delta$的检验问题,拒绝域$|T|\ge t_{1-\frac \alpha 2}(n+m-2)$

  2. 关于$H_0:\mu_1-\mu_2\ge\delta$的检验问题,拒绝域$T\leq t_\alpha(n+m-2)$

  3. 关于$H_0:\mu_1-\mu_2\le\delta$的检验问题,拒绝域$T\geq t_{1-\alpha}(n+m-2)$

双总体方差比的检验

未知$\mu_1,\mu_2$,$F=\frac{S_1^2}{S_2^2}\sim F(n-1,m-1)$

  1. 关于$H_0:\sigma_1^2=\sigma_2^2$的检验问题,拒绝域$F\ge F_{1-\frac{\alpha}{2}}(n-1,m-1)$或$F\le F_{\frac \alpha 2}(n-1,m-1)$

  2. 关于$H_0:\sigma_1^2\ge \sigma_2^2$的检验问题,拒绝域$F\le F_\alpha(n-1,m-1)$

  3. 关于$H_0:\sigma_1^2\le \sigma_2^2$的检验问题,拒绝域$F\ge F_{1-\alpha}(n-1,m-1)$