令是一个的方阵,且有个线性独立的特征向量。这样,可以被分解为(其中是方阵,且其第列为的特征向量。是对角矩阵,其对角线上的元素为对应的特征值,也即)。一般来说,特征向量被单位化(但这不是必须的)。未被单位化的特征向量组,也可以作为的列向量。这一事实可以这样理解:中
向量的长度都被抵消了。
特征分解主要应用于
方差、
协方差、相关系数、协方差矩阵、主成分分析、机器学习中的分类问题。
其中 λ 为一
标量,称为 v 对应的特征值。也称 v 为特征值 λ 对应的特征向量。也即特征向量被施以线性变换 A 只会使向量伸长或缩短而其方向不被改变。
称多项式 为矩阵的特征多项式。上式亦称为矩阵的特征
方程。特征多项式是关于未知数 λ 的 N 次多项式。由
代数基本定理,特征方程有 N 个解。这些解的解集也就是特征值的集合,有时也称为“谱”(Spectrum)。
对每一个特征
方程,都会有( )个线性无关的解。这 个
向量与一个特征值 相对应。这里,整数 m 称为特征值 的 几何重数,而 n 称为
代数重数。这里需要注意的是几何重数与代数重数可以
相等,但也可以不相等。一种最简单的情况是 。特征向量的极大线性无关向量组中向量的个数可以由所有特征值的几何重数之和来确定。
其中 Q 是 N× N方阵,且其第 i列为 A 的特征向量。 Λ 是对角矩阵,其对角线上的元素为对应的特征值,也即。这里需要注意只有可对角化矩阵才可以作特征分解。比如 不能被对角化,也就不能特征分解。
一般来说,特征向量 一般被正交单位化(但这不是必须的)。未被正交单位化的特征向量组 也可以作为 Q 的列向量。这一事实可以这样理解: Q 中
向量的长度都被 抵消了。
任意的 N× N实对称矩阵都有 N 个线性无关的特征向量。并且这些特征
向量都可以正交单位化而得到一组正交且模为 1 的向量。故实对称矩阵 A 可被分解成
其中 U 为一个酉矩阵。进一步地,若 A 是
埃尔米特矩阵,那么对角矩阵 Λ 的对角元全是
实数。若 A 还是酉矩阵,则 Λ 的所有对角元在复平面的单位圆上取得。