二、期望和方差-AI算法工程师手册-面试哥

二、期望和方差

二、期望和方差

2.1 期望

期望描述了随机变量的平均情况，衡量了随机变量的均值。它是概率分布的泛函（函数的函数）。
- 离散型随机变量的期望：。
  
  若右侧级数不收敛，则期望不存在。
- 连续性随机变量的期望：。
  
  若右侧极限不收敛，则期望不存在。
定理：对于随机变量，设也为随机变量，是连续函数。
- 若为离散型随机变量，若的期望存在，则：。
  
  也记做：。
- 若为连续型随机变量，若的期望存在，则：。
  
  也记做：。
该定理的意义在于：当求时，不必计算出的分布，只需要利用的分布即可。

该定理可以推广至两个或两个以上随机变量的情况。对于随机变量，假设也是随机变量，为连续函数，则有：。也记做：。

期望性质：
- 常数的期望就是常数本身。
- 对常数有：。
- 对两个随机变量，有：。
  
  该结论可以推广到任意有限个随机变量之和的情况。
- 对两个相互独立的随机变量，有：。
  
  该结论可以推广到任意有限个相互独立的随机变量之积的情况。

2.2 方差

对随机变量，若存在，则称它为的方差，记作。

的标准差为方差的开平方。即：
- 方差度量了随机变量与期望值偏离的程度，衡量了取值分散程度的一个尺度。
- 由于绝对值带有绝对值，不方便运算，因此采用平方来计算。
  
  又因为是一个随机变量，因此对它取期望，即得与期望值偏离的均值。
根据定义可知：
对于一个期望为，方差为的随机变量，随机变量的数学期望为0，方差为1。称为的标准化变量。
方差的性质：
- 常数的方差恒为 0 。
- 对常数，有。
- 对两个随机变量，有：
  
  当和相互独立时，有。这可以推广至任意有限多个相互独立的随机变量之和的情况。
- 的充要条件是以概率1取常数。

2.3 协方差与相关系数

对于二维随机变量，可以讨论描述与之间相互关系的数字特征。
- 定义为随机变量与的协方差，记作。
- 定义为随机变量与的相关系数，它是协方差的归一化。
由定义可知：
协方差的性质：
- ，为常数。
协方差的物理意义：
- 协方差的绝对值越大，说明两个随机变量都远离它们的均值。
- 协方差如果为正，则说明两个随机变量同时趋向于取较大的值或者同时趋向于取较小的值；如果为负，则说明一个随变量趋向于取较大的值，另一个随机变量趋向于取较小的值。
- 两个随机变量的独立性可以导出协方差为零。但是两个随机变量的协方差为零无法导出独立性。
  
  因为独立性也包括：没有非线性关系。有可能两个随机变量是非独立的，但是协方差为零。如：假设随机变量。定义随机变量的概率分布函数为：
  
  定义随机变量，则随机变量是非独立的，但是有：。
相关系数的物理意义：考虑以随机变量的线性函数来近似表示。以均方误差

来衡量以近似表达的好坏程度。越小表示近似程度越高。

为求得最好的近似，则对分别取偏导数，得到：

因此有以下定理：
- （是绝对值）。
- 的充要条件是：存在常数使得。
当较大时，较小，意味着随机变量和联系较紧密。于是是一个表征、之间线性关系紧密程度的量。
当时，称和不相关。
- 不相关是就线性关系来讲的，而相互独立是一般关系而言的。
- 相互独立一定不相关；不相关则未必独立。

2.4 协方差矩阵

设和是随机变量。
- 若存在，则称它为的阶原点矩，简称阶矩。
- 若存在，则称它为的阶中心矩。
- 若存在，则称它为和的阶混合矩。
- 若存在，则称它为和的阶混合中心矩。
因此：期望是一阶原点矩，方差是二阶中心矩，协方差是二阶混合中心矩。
协方差矩阵：
- 二维随机变量有四个二阶中心矩（假设他们都存在），记作：
  
  称矩阵
  
  为随机变量的协方差矩阵。
- 设维随机变量的二阶混合中心矩都存在，则称矩阵
  
  为维随机变量的协方差矩阵。
  
  由于因此协方差矩阵是个对称阵。
通常维随机变量的分布是不知道的，或者太复杂以致数学上不容易处理。因此实际中协方差矩阵非常重要。