学习不易,把知识点讲清楚更是难上加难……
这一节是将特征数从一维推广到多维的情况。(一维的还没写,如果有时间以后会补充)。先给出理论知识,最后给出一些习题及解答。
多维随机变量(函数)的数学期望和方差
若二维随机变量
![]()
的分布用联合分布列
![]()
或用联合密度函数
![]()
表示,下面讨论:
1.多维随机变量的数学期望和方差
在离散场合:
![]()
的数学期望
![]()
的方差:
同样可给出
![]()
的数学期望和方差。
在连续场合:
![]()
的数学期望
![]()
的方差:
同样可给出
![]()
的数学期望和方差。
2.多维随机变量函数的数学期望和方差
随机变量
![]()
的数学期望为:(这里假设涉及到的数学期望都存在)
数学期望与方差的运算性质
1.
对于任意的随机变量
![]()
:
这个结论很强,对于随机变量间的关系没有任何要求。可简单地叙述为和的期望等于期望的和,可以推广到有限的
![]()
维的情形:
2.
若随机变量
独立(可减弱为
不相关,后面会解释),则:
这个结论亦可推广到有限的
![]()
维的情形:若
![]()
相互独立,则
3.
若随机变量
独立(可减弱为
不相关),对于任意常数
![]()
,有:
该性质只对方差成立,对标准差不成立,标准差应这样计算:
该性质亦可推广到有限的
![]()
维的情形:若
![]()
相互独立,则对于任意常数列
![]()
和任意常数
![]()
,有:
这说明对于独立随机变量来说,它们之间无论是相加或是相减,其方差只增不减。
特别地,
![]()
个方差均为
![]()
独立同分布的随机变量
![]()
,其算术平均值的方差:
这说明若对某个物理量进行测量,可用
![]()
次独立重复测量的平均值来提高测量的精度。
协方差(Covariance)
定义随机变量
![]()
的
协方差(或称
相关中心矩)如下:
若取
![]()
,则
![]()
。可以看出方差是协方差的特殊情况。我们知道,随机变量:
被称为随机变量
![]()
的
中心化随机变量(该随机变量表示
![]()
的每一个取值与
![]()
的差),因而
![]()
的协方差
![]()
。这也是
相关中心矩的名称的由来。
我们规定,当
![]()
时,称
正相关;当
![]()
时,称
负相关;当
![]()
时,称
不相关。这里随机变量间的
相关性与随机变量间的
独立性有相通之处,即都是从
严格的数学定义出发的,而非凭借我们的直观印象。
协方差和方差的性质
1.
对于任意的随机变量
![]()
和任意常数
![]()
:
这个性质的证明很简单。协方差的本质是数学期望,只需按照数学期望的性质将左式展开即可:
若取
![]()
,这个性质也说明(3)和(5)的条件为何可减弱为不相关,下面这个性质揭示了其本质原因:
2.
若
![]()
独立,则
![]()
不相关,反之不然。即由独立可推出不相关,但由不相关不能推出独立。即“独立”是比“不相关”更强的一个概念:
这是因为若
![]()
独立,则有:
按照式(11)
从而说明
![]()
不相关。
3.协方差与次序无关:
4.任意随机变量与常数的协方差为
![]()
:
5.对于任意的随机变量
![]()
和任意常数
![]()
:
6.对于任意随机变量
![]()
:
7.对于任意的随机变量
![]()
和任意常数
![]()
:
证明从略。这个性质可推广到有限的
![]()
维的情形。对于任意的
![]()
个随机变量
![]()
和任意常数列
![]()
和任意常数
![]()
:
这里相比(7)虽然条件减弱了,但是结论却复杂了,体现着数学的守恒的美感。
这里有别于数学期望的线性性质,关于多维随机变量的方差,除了将涉及到的随机变量的方差的加起来之外,还要加上随机变量两两之间的协方差。
(线性)相关系数((Linear) Correlation Coefficient)
若随机变量
![]()
的方差非零,定义二维随机变量
![]()
的
(线性)相关系数(以下简称
相关系数):
因标准差大于零,因而相关系数
![]()
与协方差
![]()
同号,因而从相关系数的符号也可看出两随机变量的相关性(正相关、负相关、不相关)。
类似用“中心化随机变量乘积的数学期望”来解释协方差,相关系数可用“标准化随机变量的协方差”来解释:
设
![]()
分别为相应的随机变量的数学期望和方差,均为常数。引入标准化随机变量:
则:
Schwarz不等式
证明:
1.当
![]()
时,
几乎处处为常数,因而其与
![]()
的协方差为零。不等式成立。
2.当
![]()
时,考虑关于
![]()
的二次函数:
因
![]()
非负,从而判别式非正:
化简后即得(21)
利用Schwarz不等式可得到:
此即说明相关系数有界。
性质
![]()
的充要条件是
![]()
之间几乎处处有
线性关系,即存在常数
![]()
,使得:
当
![]()
时,我们称
![]()
线性正相关;当
![]()
时,我们称
![]()
线性负相关。
![]()
越接近1,它们之间的线性相关程度越高;
![]()
越接近0,它们之间的线性相关程度越低。
但是要注意的是,由
说明的“ 不相关”仅仅表示 不具有线性关系,但可能具有其他的函数关系(如平方关系、指数关系、对数关系等)。同时也要说明,相关系数比协方差更能反映两随机变量的线性相关程度,因相关系数考虑了两随机变量的标准差,而协方差没有。随机向量、协方差矩阵
记
![]()
维随机向量:
其每一个分量均为一个随机变量。以下假设所涉及到的量都存在。
定义随机向量的数学期望:
定义随机向量的协方差矩阵:
结论:协方差阵是非负定的对称阵。(证明从略)
以上是理论部分,下面给出几个例题:
e.g.1
求掷
![]()
颗骰子,点数之和的数学期望和方差。
解:
每颗骰子的点数
![]()
独立同分布,
![]()
。设点数之和为
![]()
。则:
e.g.2
从数字
![]()
中任取两个不同的数字,求这两个数字之差的绝对值的数学期望。
解:
记
![]()
分别为两次取到的数字,则:
则所求数学期望:
e.g.3
设
![]()
独立同分布于
![]()
,试证:
证明:
![]()
的联合密度函数为:
从而:
e.g.4
将一枚硬币重复投掷
![]()
次,以
![]()
分别表示正面向上和反面向上的次数,求
![]()
的协方差和相关系数。
解:
因
![]()
,且
![]()
,故:
e.g.5
已知随机变量
![]()
的相关系数为
![]()
,求
![]()
与
![]()
的相关系数,其中
![]()
均为非零的正常数。
解:
这个例题说明相关系数对伸缩变换和平移不敏感,最多只是改变符号。
e.g.6
设随机向量
![]()
的相关系数分别为
![]()
,证明:
证明:
记标准化变量为:
因:
则:
从而
![]()
的协方差阵的行列式为:
再由协方差的非负定性:
移项即得:
“计数器”的应用
e.g.7
在区间
![]()
上随机地取
![]()
个点,求相距最远的两点间的距离的数学期望。
方法一:
![]()
个点将区间
![]()
分为
![]()
个小区间,记它们的长度为随机变量
![]()
。
因这些点是随机选取的,故
![]()
同分布,因而具有相同的数学期望,且
![]()
。则:
而相距最远的两点间的距离为:
![]()
,从而所求期望为:
方法二:
记这
![]()
个点为
![]()
,则
![]()
独立同分布于
![]()
。我们的目标是求
![]()
。由最大值和最小值分布的计算方法(见多维随机变量函数的分布),
![]()
和
![]()
的密度函数分别为:
而:
从而:
e.g.8
将
![]()
个姓名互不相同的人的姓名分别写在
![]()
张完全一样的纸条上,现将纸条随机打乱,每人从中抽取一张纸条,求抽中写有自己姓名的纸条的人数
![]()
的数学期望和方差。
解:
随机变量
![]()
的分布十分复杂,因而我们考虑间接的方法。这里引入类似计数器功能的随机变量
![]()
,用来表示第
![]()
个人是否抽中写有自己姓名的纸条,即记:
显然有
![]()
。
因这里是随机抽取,因而“中奖”的概率与抽签顺序无关,则
![]()
同分布于两点分布
![]()
(但不独立),即:
从而:
则:
因
![]()
不独立,则:
问题转化为求
![]()
,我们先求
![]()
的分布列:
所以:
从而:
从而: