第三章 随机向量及其概率分布

3.1 二维随机向量的联合分布

3.1.1 二维随机向量的联合分布函数

在样本空间$\Omega$上定义$X(\omega )$、$Y(\omega )$两个随机变量，则由两个随机变量组成的向量$(X,Y)$称为二维随机向量。

二维随机向量的联合分布函数定义为：

$$F(x,y)=P(X\le x,Y\le y),(x,y)\in {\mathbb{R}}^2$$

联合分布函数$F(x,y)$具有以下性质：

1. 有界性：$0\le F(x,y)\le 1$

2. 非降性：若$x_1<x_2$，$y_1<y_2$，则

   $F(x_1,y_1)\le F(x_2,y_1),F(x_1,y_1)\le F(x_1,y_2)$

   $F(x_1,y_1)\le F(x_2,y_2)$

3. 右连续性：

   $\begin{array}{r}\underset{\begin{array}{c}{x}^{\prime }\to x^{+}\\ y^{\prime }\to y^{+}\end{array}}{lim}F(x^{\prime },y^{\prime })=F(x,y)\end{array}$

4. 极限性质：

   $\begin{array}{r}\underset{\begin{array}{c}x\to -\mathrm{\infty }\\ y\to -\mathrm{\infty }\end{array}}{lim}F(x,y)=0,\underset{\begin{array}{c}x\to +\mathrm{\infty }\\ y\to +\mathrm{\infty }\end{array}}{lim}F(x,y)=1\end{array}$

   $\underset{x\to -\mathrm{\infty }}{lim}F(x,y)=0,\underset{y\to -\mathrm{\infty }}{lim}F(x,y)=0$

5. 概率计算：对于平面上的矩形区域$R=\{(x,y):a<x\le b,c<y\le d\}$，有

   $P((X,Y)\in R)=F(b,d)-F(b,c)-F(a,d)+F(a,c)$

存在性定理：反之，若二元函数$F(x,y),(x,y)\in {\mathbb{R}}^2$满足上述性质，则必存在随机向量$(X,Y)$，使得$F(x,y)$为$(X,Y)$的联合分布函数。

3.2 二维随机向量及其分布

3.2.1 二维随机向量

二维随机向量$(X,Y)$可以根据其分布类型分为离散型随机向量和连续型随机向量，也有既不是离散型也不是连续型的混合型随机向量。

3.2.2 二维随机向量的联合分布函数

二维随机向量$(X,Y)$的联合分布函数$F(x,y)$完整地描述了随机向量的概率分布。

对于矩形区域$R=\{(x,y):a<x\le b,c<y\le d\}$，有：

$$P((X,Y)\in R)=F(b,d)-F(b,c)-F(a,d)+F(a,c)$$

3.2.3 二维离散型随机向量

如果二维随机向量$(X,Y)$的所有可能取值是有限对或可列无限对，则称$(X,Y)$是离散型随机向量。

设离散型随机向量$(X,Y)$的所有可能取值为$(x_i,y_j),i,j=1,2,\cdots$，则其联合分布律为：

$$P(X=x_i,Y=y_j)=p_{ij},i,j=1,2,\cdots$$

联合分布律满足：

1. 非负性：$p_{ij}\ge 0$
2. 规范性：$\sum _{i=1}^{\mathrm{\infty }}\sum _{j=1}^{\mathrm{\infty }}{p}_{ij}=1$

联合分布函数可以通过联合分布律计算：

$$F(x,y)=\sum _{x_i\le x}\sum _{y_j\le y}{p}_{ij}$$

3.2.4 二维连续型随机向量

如果存在非负函数$f(x,y)$，使得对于任意$(x,y)\in {\mathbb{R}}^2$，有：

$$F(x,y)={\int }_{-\mathrm{\infty }}^x{\int }_{-\mathrm{\infty }}^{y}f(u,v)\mathrm{d}u\mathrm{d}v$$

则称$(X,Y)$为连续型随机向量，$f(x,y)$称为$(X,Y)$的联合概率密度函数。

联合概率密度函数具有以下性质：

1. 非负性：$f(x,y)\ge 0$
2. 规范性：$\begin{array}{r}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}x\mathrm{d}y=1\end{array}$
3. 对于平面上的区域$D$，有：$$P((X,Y)\in D)={\iint }_{D}f(x,y)\mathrm{d}x\mathrm{d}y$$

3.3 边缘分布

边缘分布可以理解为从二维（或高维）随机变量的全局视角转向单个随机变量的局部视角。对于二维平面上的概率分布，边缘分布就像是将这个平面上的概率"投影"到坐标轴上，得到单个随机变量的分布。

这个过程在数学上，对于离散型随机变量来说是对另一个变量求和；对于连续型随机变量则是对另一个变量积分。边缘分布忽略了变量间的相互关系，只关注单个变量自身的概率分布。

假设有一个统计表格，行表示变量$X$的不同取值，列表示变量$Y$的不同取值，表格中的数值是联合概率$P(X=x_i,Y=y_j)$。那么：

• $X$的边缘分布就是对每一行概率求和（得到每行的总和）
• $Y$的边缘分布就是对每一列概率求和（得到每列的总和）

例如，对于某年级中1班和2班学生的期末考试成绩等级分布的联合概率表：

$X$ \ $Y$	优	良	中	差	边缘
1班	0.1	0.2	0.15	0.05	0.5
2班	0.15	0.2	0.1	0.05	0.5
边缘	0.25	0.4	0.25	0.1	1

这就像是在表格的边缘上标注行和列的汇总数据，因此得名边缘分布。

3.3.1 边缘分布函数

随机向量$(X,Y)$中的随机变量$X$和$Y$各自的分布称为$(X,Y)$的边缘分布。

随机变量$X$和$Y$的边缘分布函数分别为：

$$F_X(x)=P(X\le x)=P(X\le x,Y<+\mathrm{\infty })=F(x,+\mathrm{\infty })$$$$F_Y(y)=P(Y\le y)=P(X<+\mathrm{\infty },Y\le y)=F(+\mathrm{\infty },y)$$

从几何角度看，$F_X(x)$可以理解为，在$X$轴上截至点$x$、在$Y$方向没有限制的半平面内的概率；同理，$F_Y(y)$是在$Y$轴上截至点$y$、在$X$方向没有限制的半平面内的概率。

3.3.2 离散型随机向量的边缘分布律

对于离散型随机向量$(X,Y)$，其边缘分布律为：

$$P(X=x_i)=\sum _{j=1}^{\mathrm{\infty }}P(X=x_i,Y=y_j)=\sum _{j=1}^{\mathrm{\infty }}{p}_{ij}$$$$P(Y=y_j)=\sum _{i=1}^{\mathrm{\infty }}P(X=x_i,Y=y_j)=\sum _{i=1}^{\mathrm{\infty }}{p}_{ij}$$

3.3.3 连续型随机向量的边缘概率密度

对于连续型随机向量$(X,Y)$，随机变量$X$和$Y$的边缘概率密度分别为：

$$f_X(x)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}y$$$$f_Y(y)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}f(x,y)\mathrm{d}x$$

由边缘分布不能唯一确定联合分布。也就是说，知道$X$和$Y$各自的分布，不能确定它们的联合分布，除非有额外的信息（如独立性）——了解个体的特性不足以完全理解它们组合在一起的行为。

3.4 条件分布

3.4.1 条件分布函数

给定事件$Y=y$（对于连续型随机变量，考虑$Y=y$的邻域）下，随机变量$X$的条件分布函数定义为：

$$F_{X|Y}(x|y)=P(X\le x|Y=y)$$

类似地，给定$X=x$下，$Y$的条件分布函数为：

$$F_{Y|X}(y|x)=P(Y\le y|X=x)$$

3.4.2 离散型随机向量的条件分布律

对于离散型随机向量$(X,Y)$，其条件分布律为：

$$P(X=x_i|Y=y_j)=\frac{P(X=x_i,Y=y_j)}{P(Y=y_j)}=\frac{p_{ij}}{\sum _{i=1}^{\mathrm{\infty }}{p}_{ij}}$$$$P(Y=y_j|X=x_i)=\frac{P(X=x_i,Y=y_j)}{P(X=x_i)}=\frac{p_{ij}}{\sum _{j=1}^{\mathrm{\infty }}{p}_{ij}}$$

3.4.3 连续型随机向量的条件概率密度

对于连续型随机向量$(X,Y)$，当$f_Y(y)>0$时，$X$在给定$Y=y$条件下的条件概率密度为：

$$f_{X|Y}(x|y)={\displaystyle \frac{f(x,y)}{f_Y(y)}}$$

类似地，当$f_X(x)>0$时，$Y$在给定$X=x$条件下的条件概率密度为：

$$f_{Y|X}(y|x)={\displaystyle \frac{f(x,y)}{f_X(x)}}$$

3.5 随机变量的独立性

两个随机变量$X$和$Y$是相互独立的，如果对于任意实数$x$和$y$，有：

$$P(X\le x,Y\le y)=P(X\le x)P(Y\le y)$$

即：

$$F(x,y)=F_X(x)F_Y(y)$$

对于离散型随机向量，$X$和$Y$相互独立的充要条件是：

$$P(X=x_i,Y=y_j)=P(X=x_i)P(Y=y_j)$$

即：

$$p_{ij}=p_{i\cdot }\cdot p_{\cdot j}$$

对于连续型随机向量，$X$和$Y$相互独立的充要条件是：

$$f(x,y)=f_X(x)f_Y(y)$$

独立性的一些重要性质：

1. 若$X$和$Y$相互独立，则$g(X)$和$h(Y)$也相互独立，其中$g$和$h$是任意函数。
2. 独立性与不相关性：如果$X$和$Y$相互独立，则它们一定不相关，即$Cov(X,Y)=0$；但反之不一定成立。
3. 对于正态随机向量，独立性与不相关性等价。

3.6 n维随机向量简介

3.6.1 n维随机向量的联合分布

$n$维随机向量$(X_1,X_2,\cdots ,X_n)$的联合分布函数定义为：

$$F(x_1,x_2,\cdots ,x_n)=P(X_1\le x_1,X_2\le x_2,\cdots ,X_n\le x_n)$$

对于离散型$n$维随机向量，其联合分布律为：

$$P(X_1=x_{1i_1},X_2=x_{2i_2},\cdots ,X_n=x_{n{i}_n})=p_{i_1{i}_2\cdots i_n}$$

对于连续型$n$维随机向量，存在非负函数$f(x_1,x_2,\cdots ,x_n)$，使得：

$$F(x_1,x_2,\cdots ,x_n)={\int }_{-\mathrm{\infty }}^{x_1}{\int }_{-\mathrm{\infty }}^{x_2}\cdots {\int }_{-\mathrm{\infty }}^{x_n}f(t_1,t_2,\cdots ,t_n)\mathrm{d}{t}_1\mathrm{d}{t}_2\cdots \mathrm{d}{t}_n$$

函数$f(x_1,x_2,\cdots ,x_n)$称为$n$维随机向量的联合概率密度。

3.6.2 k维边缘分布及条件分布

对于$n$维随机向量$(X_1,X_2,\cdots ,X_n)$，任意$k$个分量$(X_{i_1},X_{i_2},\cdots ,X_{i_k})$，其中$1\le k<n$，$1\le i_1<i_2<\cdots <i_k\le n$，构成的随机向量的分布称为原随机向量的$k$维边缘分布。

对于离散型随机向量，$k$维边缘分布律可通过对其余$n-k$个分量求和得到。对于连续型随机向量，$k$维边缘概率密度可通过对其余$n-k$个分量积分得到。

条件分布的定义与二维情况类似，只是条件可能是多个随机变量。

3.6.3 n维随机向量的独立性

随机变量$X_1,X_2,\cdots ,X_n$是相互独立的，如果对于任意实数$x_1,x_2,\cdots ,x_n$，有：

$$P(X_1\le x_1,X_2\le x_2,\cdots ,X_n\le x_n)=P(X_1\le x_1)P(X_2\le x_2)\cdots P(X_n\le x_n)$$

即：

$$F(x_1,x_2,\cdots ,x_n)=F_{X_1}(x_1)F_{X_2}(x_2)\cdots F_{X_n}(x_n)$$

对于离散型随机向量，相互独立的充要条件是：

$$P(X_1=x_{1i_1},X_2=x_{2i_2},\cdots ,X_n=x_{n{i}_n})=P(X_1=x_{1i_1})P(X_2=x_{2i_2})\cdots P(X_n=x_{n{i}_n})$$

对于连续型随机向量，相互独立的充要条件是：

$$f(x_1,x_2,\cdots ,x_n)=f_{X_1}(x_1)f_{X_2}(x_2)\cdots f_{X_n}(x_n)$$

3.7 随机向量函数的分布

3.7.1 二维离散型随机向量函数的分布律

设$(X,Y)$是离散型随机向量，其联合分布律为$P(X=x_i,Y=y_j)=p_{ij}$，$Z=g(X,Y)$是$(X,Y)$的函数，则$Z$的分布律为：

$$P(Z=z_k)=P(g(X,Y)=z_k)=\sum _{g(x_i,y_j)=z_k}{p}_{ij}$$

3.7.2 二维连续型随机向量函数的概率密度

设$(X,Y)$是连续型随机向量，其联合概率密度为$f(x,y)$，$Z=g(X,Y)$是$(X,Y)$的函数。

1. 分布函数法：先求$Z$的分布函数$F_Z(z)=P(Z\le z)=P(g(X,Y)\le z)$，再求导得到概率密度。

2. 变量变换法：若$U=\phi (X,Y)$，$V=\psi (X,Y)$是一对可逆的变换，则$(U,V)$的联合概率密度为：

   $$f_{U,V}(u,v)=f(x(u,v),y(u,v))|J|$$

   其中$J$是雅可比行列式：

   $$J=\left|\begin{array}{cc}\frac{\partial x}{\partial u}& \frac{\partial x}{\partial v}\\ \frac{\partial y}{\partial u}& \frac{\partial y}{\partial v}\end{array}\right|$$

   $Z=g(X,Y)=g(x(U,V),y(U,V))$的概率密度可以通过$(U,V)$的联合概率密度积分得到。

卷积

设$X$和$Y$是两个相互独立的随机变量，其概率密度函数分别为$f_X(x)$和$f_Y(y)$。$Z=X+Y$的概率密度函数$f_Z(z)$

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x$$

这被称为卷积公式，它表明两个独立随机变量之和的概率密度函数是这两个随机变量的概率密度函数的卷积。

卷积公式描述了两个随机变量和的概率密度函数。直观地说，$Z=X+Y$的概率密度在点$z$处的值，是由所有满足$x+y=z$的可能组合贡献的概率累加而成的。因为$X$和$Y$是连续随机变量，这种累加通过积分实现。

在离散情况下，两个随机变量$X$和$Y$的和$Z=X+Y$的概率分布为：

$$P(Z=z)=\sum _{x}P(X=x)P(Y=z-x)$$

卷积积分是这个求和的连续版本。

推导

首先，我们从分布函数出发：

$$F_Z(z)=P(Z\le z)=P(X+Y\le z)$$

因为$X$和$Y$是连续型随机变量，所以：

$$F_Z(z)={\iint }_{x+y\le z}{f}_{X,Y}(x,y)\mathrm{d}x\mathrm{d}y$$

由于$X$和$Y$相互独立，联合概率密度可以写成边缘概率密度的乘积：

$$f_{X,Y}(x,y)=f_X(x)f_Y(y)$$

因此：

$$F_Z(z)={\iint }_{x+y\le z}{f}_X(x)f_Y(y)\mathrm{d}x\mathrm{d}y$$

这个二重积分可以通过变换积分区域重写为：

$$F_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\int }_{-\mathrm{\infty }}^{z-x}{f}_X(x)f_Y(y)\mathrm{d}y\mathrm{d}x$$

简化为：

$$F_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)[{\int }_{-\mathrm{\infty }}^{z-x}{f}_Y(y)\mathrm{d}y]\mathrm{d}x$$

内层积分表示为$F_Y(z-x)$：

$$F_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)F_Y(z-x)\mathrm{d}x$$

对$z$求导，得到概率密度函数：

$$f_Z(z)={\displaystyle \frac{d}{dz}}{F}_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x){\displaystyle \frac{d}{dz}}{F}_Y(z-x)\mathrm{d}x$$

由于${\displaystyle \frac{d}{dz}}{F}_Y(z-x)=f_Y(z-x)$，所以：

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(x)f_Y(z-x)\mathrm{d}x$$

常见随机变量函数的分布

差的分布

对于$Z=X-Y$，其中$X$和$Y$独立：

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{f}_X(z+y)f_Y(y)\mathrm{d}y$$

直观解释：对于$Z=X-Y$，思路类似于和的情况，只是条件变为$x-y=z$，即$x=z+y$。积分累加了所有可能的$y$值对应的联合概率密度。

积的分布

对于$Z=XY$，其中$X$和$Y$独立：

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\displaystyle \frac{1}{|y|}}{f}_X\left({\displaystyle \frac{z}{y}}\right)f_Y(y)\mathrm{d}y$$

直观解释：对于乘积$Z=XY$，条件变为$xy=z$，即$x=z/y$。系数$1/|y|$来自于变量变换时的雅可比行列式，它表示当$y$变化时$z/y$的变化率。

商的分布

对于$Z=X/Y$（假设$P(Y=0)=0$），其中$X$和$Y$独立：

$$f_Z(z)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}|y|f_X(zy)f_Y(y)\mathrm{d}y$$

直观解释：对于商$Z={\displaystyle \frac{X}{Y}}$，条件为${\displaystyle \frac{x}{y}}=z$，即$x=zy$。系数$|y|$同样来自变量变换的雅可比行列式。当$y$接近零时，小的$y$值变化会导致${\displaystyle \frac{x}{y}}$的大幅变化，这反映在公式中。

最大值和最小值的分布

对于$Z=max(X,Y)$，其中$X$和$Y$独立：

$$F_Z(z)=F_X(z)F_Y(z)$$

直观解释：最大值小于等于$z$的条件是$X$和$Y$都小于等于$z$。由于$F_X(z)$表示$X\le z$的概率，$F_Y(z)$表示$Y\le z$的概率，当$X$和$Y$独立时，这两个事件同时发生的概率就是它们各自概率的乘积。

对于$Z=min(X,Y)$，其中$X$和$Y$独立：

$$F_Z(z)=1-(1-F_X(z))(1-F_Y(z))$$

直观解释：最小值大于$z$的条件是$X$和$Y$都大于$z$。$(1-F_X(z))$表示$X>z$的概率，$(1-F_Y(z))$表示$Y>z$的概率，它们的乘积是最小值大于$z$的概率。因此，最小值小于等于$z$的概率是$1$减去这个乘积。