从空间上理解:降维的目的,摆脱一些线性有关特征,减少特征的个数,方便后续处理建模。基变换恰好可以完成这样的工作。那怎么样去找这个基呢?协方差矩阵,包含了方差信息和协方差信息。协方差取值范围在【-1,1】之间,1代表两个或以上特征变化趋势相同,-1代表相反,0则代表这些特征线性无关。基的特征向量相乘也是为0,线性无关。特征值越大,相当于在某一个特征向量上步长越大,即该特征向量上,方差越大,数据在该特征上分的越开,这样就好进行分类。
数学基础:
恰好在线性代数中有协方差矩阵,带了带上了方差和斜方差这两个概念,在协方差矩阵中,协方差为0,代表两个特征在几何上互相垂直,线性无关,通过协方差为0,恰好可以提取出我们需要的主信息,尽可能的减少了我们原始特征上线性相关的特征。因此转成协方差矩阵了求解特征值,特征向量的过程。
意义: