协方差矩阵-在离散中求“聚合”

方差是均值之上的产物，然后协方差又比方差更近一步，然后带个矩阵的话，可以说明很多变量的关系。

协方差（Covariance）是用于衡量两个随机变量之间线性关系的强度和方向。协方差告诉我们两个变量是趋向于一起增大或减小（正相关），还是一个增大而另一个减小（负相关），或者两者之间没有明显的线性关系。

假设有两个随机变量X和Y，它们的期望分别为E(X)和E(Y)，那么X和Y的协方差Cov(X,Y)定义为：

Cov(X, Y) = E[(X - E(X))(Y - E(Y))]

计算每个变量与各自均值的偏差：X - E(X)表示X的每个取值与X的平均值之间的差值，Y - E(Y)同理。

计算偏差的乘积：将两个变量的偏差相乘，如果两个变量同时大于或小于均值，乘积为正；如果一个大于均值，另一个小于均值，乘积为负。

计算乘积的期望：对所有可能的样本点上的乘积求平均，得到协方差。

协方差的意义：

1. 正协方差： 表示两个变量呈正相关，即一个变量增大，另一个变量也倾向于增大。
2. 负协方差： 表示两个变量呈负相关，即一个变量增大，另一个变量倾向于减小。
3. 零协方差： 表示两个变量之间不存在线性关系，但并不意味着两个变量之间完全独立。

对称性： Cov(X, Y) = Cov(Y, X)，线性性： Cov(aX+b, cY+d) = acCov(X, Y) （a, b, c, d为常数），方差是特殊的协方差： Var(X) = Cov(X, X)。

协方差矩阵是一个方阵，它描述了多个随机变量之间的协方差关系。

协方差矩阵想象成一个弹簧系统。如果两个变量的协方差很大，那么它们就像两个紧密连接的弹簧，当一个弹簧伸展时，另一个弹簧也会跟着伸展。而如果两个变量的协方差很小，那么它们就像两个松散连接的弹簧，一个弹簧的运动对另一个弹簧的影响很小。

简单来说，它可以告诉我们：

1. 各个变量的方差： 协方差矩阵对角线上的元素就是各个变量的方差，反映了每个变量自身数据的离散程度。
2. 变量之间的协方差： 协方差矩阵非对角线上的元素表示不同变量之间的协方差，反映了两个变量之间的线性相关性。

对真实的世界建模-概率论(分布&计算) 关于方差在这个里面稍微写了一下。

协方差的含义：

1. 正协方差： 两个变量的变化趋势一致，即一个变量增大时，另一个变量也倾向于增大。
2. 负协方差： 两个变量的变化趋势相反，即一个变量增大时，另一个变量倾向于减小。
3. 零协方差： 两个变量之间没有线性关系。

协方差矩阵的数学表示，假设我们有n个随机变量X1, X2, ..., Xn，它们的协方差矩阵C可以表示为。

C = [cov(X1, X1)  cov(X1, X2)  ...  cov(X1, Xn)]
    [cov(X2, X1)  cov(X2, X2)  ...  cov(X2, Xn)]
    [  ...        ...        ...   ...  ]
    [cov(Xn, X1)  cov(Xn, X2)  ...  cov(Xn, Xn)]

其中，cov(Xi, Xj)表示随机变量Xi和Xj的协方差。协方差矩阵是一个对称矩阵，即cov(Xi, Xj) = cov(Xj, Xi)。