Descomposición en valores singulares

Sean ${\displaystyle \lambda _{1}\geq \lambda _{2}\geq \cdots \geq \lambda _{n}\geq 0}$ los autovalores de la matriz ${\displaystyle A^{t}A}$ ordenados de mayor a menor. Entonces ${\displaystyle \sigma _{i}={\sqrt {\lambda _{i}}}}$ es el ${\displaystyle i}$-ésimo valor singular de la matriz ${\displaystyle A}$.

Sea ${\displaystyle A\in M_{m,n}(\mathbb {R} )}$ y ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$ los autovalores de ${\displaystyle A^{t}A}$. Es decir los primeros ${\displaystyle r}$autovalores no nulos, ordenados de manera decreciente y los ${\displaystyle n-r}$ autovalores nulos.

Sea ${\displaystyle \{v_{1},\ldots ,v_{n}\}}$ una base ortonormal de ${\displaystyle \mathbb {R} ^{n}\,}$ formada por autovectores de ${\displaystyle A^{t}A}$. Entonces:

1. ${\displaystyle \{Av_{1},\ldots ,Av_{r}\}}$ es un conjunto ortogonal y ${\displaystyle \|Av_{i}\|={\sqrt {\lambda _{i}}}=\sigma _{i}}$
2. ${\displaystyle \left\{{\frac {Av_{1}}{\sigma _{1}}},\ldots ,{\frac {Av_{r}}{\sigma _{r}}}\right\}}$ es una base ortonormal del subespacio fundamental ${\displaystyle \operatorname {Col} (A)}$.
3. ${\displaystyle \{v_{r+1},\ldots ,v_{n}\}}$ es una base ortonormal del subespacio fundamental ${\displaystyle \operatorname {Nul} (A)}$.
4. ${\displaystyle \operatorname {rg} (A)=r}$ es decir, el rango de la matriz ${\displaystyle A\,}$ coincide con la cantidad de valores singulares no nulos.

1. ${\displaystyle \langle Av_{i},Av_{j}\rangle =v_{i}^{t}A^{t}Av_{j}=\lambda _{j}\cdot v_{i}^{t}v_{j}={\begin{cases}\lambda _{j}&i=j\\0&i\neq j\end{cases}}}$. Teniendo en cuenta este resultado ${\displaystyle \|Av_{i}\|={\sqrt {\langle Av_{i},Av_{i}\rangle }}={\sqrt {\lambda _{i}}}=\sigma _{i}}$
2. Como el conjunto de los vectores ${\displaystyle v_{i}}$, ${\displaystyle 1\leq i\leq r}$, es ortonormal (por lo tanto linealmente independiente), se ve que hacer el producto ${\displaystyle Av_{i}}$ es ni más ni menos que una combinación lineal de las columnas de la matriz; por lo que el espacio generado por estos productos y las columnas de la matriz es el mismo. Por lo tanto, teniendo en cuenta lo demostrado en el punto anterior, ${\displaystyle \left\{{\frac {Av_{1}}{\sigma _{1}}},\cdots ,{\frac {Av_{r}}{\sigma _{r}}}\right\}}$ es una base ortonormal de ${\displaystyle \operatorname {Col} (A)}$
3. Es claro que si los vectores ${\displaystyle v_{i}}$, ${\displaystyle r+1\leq i\leq n}$, están asociados a autovalores nulos, teniendo en cuenta lo visto en el punto 1 y también sabiendo que ${\displaystyle \operatorname {Nul} (A)=\operatorname {Nul} (A^{t}A)}$ (demostración en el último punto de esta lista de propiedades) se ve que ${\displaystyle \{v_{r+1},\ldots ,v_{n}\}}$ es una base ortonormal del ${\displaystyle \operatorname {Nul} (A)}$
4. Mirando la dimensión del subespacio hallado en el punto 2 de esta demostración, es claro que ${\displaystyle \operatorname {rg} (A)=r}$

Toda matriz ${\displaystyle A\in M_{m,n}(\mathbb {R} )}$ admite una DVS.

Sean ${\displaystyle \lambda _{1}\geq \cdots \geq \lambda _{r}>\lambda _{r+1}=\cdots =\lambda _{n}=0}$ los autovalores de ${\displaystyle A^{t}A\in M_{n}(\mathbb {R} )}$ ordenados de esta manera. Sea ${\displaystyle \{v_{1},\ldots ,v_{n}\}}$ una base ortonormal de ${\displaystyle \mathbb {R} ^{n}}$ formada por autovectores de ${\displaystyle A^{t}A}$, cada uno asociados (en orden) a un autovalor.

Recordemos que el conjunto ${\displaystyle \{Av_{1},\ldots ,Av_{n}\}}$ es ortogonal, con ${\displaystyle Av_{r+1}=\cdots =Av_{m}=0_{\mathbb {R} ^{m}}}$. Si llamamos ${\displaystyle u_{1}={\frac {Av_{1}}{\sigma _{1}}},\cdots ,u_{r}={\frac {Av_{r}}{\sigma _{r}}}}$, vemos que:

• ${\displaystyle \{u_{1},\ldots ,u_{r}\}}$ es un conjunto ortonormal. Entonces, si ${\displaystyle r<m\,}$ podemos completar con ${\displaystyle \{u_{r+1},\ldots ,u_{m}\}}$ hasta formar una base ortonormal de ${\displaystyle \mathbb {R} ^{m}}$

• ${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\\vdots \\Av_{r}=\sigma _{r}u_{r}\\Av_{r+1}=0_{\mathbb {R} ^{m}}\\\vdots \\Av_{n}=0_{\mathbb {R} ^{m}}\end{array}}\right.}$

• Reescribiendo este último sistema de ecuaciones de manera matricial con las matrices ${\displaystyle V={\begin{pmatrix}|&&|\\v_{1}&\cdots &v_{n}\\|&&|\end{pmatrix}}\in M_{n}(\mathbb {R} )}$ ortogonal y

${\displaystyle U\Sigma =\underbrace {\begin{pmatrix}|&&|\\u_{1}&\cdots &u_{n}\\|&&|\end{pmatrix}} _{U\in M_{m}(\mathbb {R} ){\text{ ortogonal}}}\underbrace {\begin{pmatrix}\sigma _{1}&0&\cdots &0&0&\cdots &0\\0&\sigma _{2}&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &\sigma _{r}&0&\cdots &0\\0&0&\cdots &0&0&\cdots &0\\\vdots &\vdots &\ddots &\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &0&0&\cdots &0\\\end{pmatrix}} _{\Sigma \in M_{m,n}(\mathbb {R} )}={\begin{pmatrix}|&&|&|&&|\\\sigma _{1}u_{1}&\cdots &\sigma _{r}u_{r}&0&\cdots &0\\|&&|&|&&|\end{pmatrix}}}$

Claramente ${\displaystyle AV=U\Sigma \,}$ y, finalmente, como ${\displaystyle V\,}$ es una matriz ortogonal ${\displaystyle A=U\Sigma V^{t}}$. Esta es la ecuación de una DVS de ${\displaystyle A\,}$.

Viendo esta descomposición, es claro que la matriz ${\displaystyle A\,}$ puede escribirse como combinación lineal de matrices de rango 1 tal que:

${\displaystyle A=\sum _{i=1}^{r}\sigma _{i}u_{i}v_{i}^{t}}$

Para una matriz no cuadrada ${\displaystyle A}$ descompuesta en valores singulares ${\displaystyle A=U\Sigma V^{t}}$, su pseudoinversa es

${\displaystyle A^{+}=V\Sigma ^{+}U^{t}}$

donde ${\displaystyle \Sigma ^{+}}$ es la pseudoinversa de ${\displaystyle \Sigma }$, que siendo una matriz diagonal se computa reemplazando todos los valores no ceros de la diagonal por sus recíprocos, y luego trasponiendo.

La pseudoinversa es un camino para resolver cuadrados mínimos lineales.

La pseudoinversa obtenida mediante la DVS permite hallar ${\displaystyle x}$ que minimiza la norma ${\displaystyle \|Ax-b\|}$. La solución esː

${\displaystyle x_{\text{min}}=A^{+}b=V\Sigma ^{+}U^{t}b}$

Se aplica para aproximar la solución del sistema de ecuaciones indeterminado ${\displaystyle \|Ax-b\|}$.

Un conjunto de ecuaciones lineales homogéneas se puede escribir ${\displaystyle Ax=0}$ para una matriz ${\displaystyle A}$ y un vector ${\displaystyle x}$. Una situación típica consiste hallar ${\displaystyle x}$ no cero, conociendo ${\displaystyle A}$. Las soluciones son todos los vectores singulares cuyo valor singular es cero, y toda combinación lineal entre ellos. Si ${\displaystyle A}$ no tiene ningún valor singular cero, entonces no hay solución aparte de ${\displaystyle x=0}$.

El problema de minimización por cuadrados mínimos totales consiste en hallar ${\displaystyle x}$ que minimiza la norma ${\displaystyle \|Ax\|}$ bajo la condición ${\displaystyle \|x\|=1}$.

${\displaystyle \min _{x}\|Ax\|}$ para ${\displaystyle \|x\|=1}$

La solución es el vector singular correspondiente al mínimo valor singular no cero.

Si ${\displaystyle A={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}}$, entonces ${\displaystyle A^{t}A={\begin{pmatrix}9&0\\0&81\end{pmatrix}}}$, cuyos autovalores son ${\displaystyle \lambda _{1}=81}$ y ${\displaystyle \lambda _{2}=9}$ asociados a los autovectores ${\displaystyle v_{1}=(0,1)^{t}}$ y ${\displaystyle v_{2}=(1,0)^{t}}$. Ya que la matriz es simétrica, estos vectores son ortogonales (ver diagonalización de matrices Hermíticas).

Entonces, los valores singulares de ${\displaystyle A\,}$ son ${\displaystyle \sigma _{1}={\sqrt {81}}=9}$ y ${\displaystyle \sigma _{2}={\sqrt {9}}=3}$. Observamos que, efectivamente, la cantidad de valores singulares no nulos coincide con el rango de la matriz.

Ahora buscamos los vectores ${\displaystyle \{u_{1},u_{2},u_{3}\}}$ con ${\displaystyle u_{i}\in \mathbb {R} ^{3}}$, que deberán cumplir

${\displaystyle \left\{{\begin{array}{c}Av_{1}=\sigma _{1}u_{1}\\Av_{2}=\sigma _{2}u_{2}\\Av_{3}=0_{\mathbb {R} ^{3}}\end{array}}\right.}$

Esto es ${\displaystyle u_{1}={\frac {Av_{1}}{\sigma _{1}}}={\frac {1}{9}}(0,9,0)^{t}=(0,1,0)^{t}}$ y ${\displaystyle u_{2}={\frac {Av_{2}}{\sigma _{2}}}={\frac {1}{3}}(0,0,3)^{t}=(0,0,1)^{t}}$.

Entonces completamos una base ortonormal de ${\displaystyle \mathbb {R} ^{3}\,}$ con ${\displaystyle \{(0,1,0),(0,0,1),(1,0,0)\}}$.

Nuestras matrices ortogonales son:

${\displaystyle U={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}}$ y ${\displaystyle V={\begin{pmatrix}0&1\\1&0\end{pmatrix}}}$

Y la matriz compuesta por los valores singulares ordenados:

${\displaystyle \Sigma ={\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}}$

Por lo tanto la DVS de ${\displaystyle A\,}$ es:

${\displaystyle A={\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\\0&0\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}=9{\begin{pmatrix}0\\1\\0\end{pmatrix}}{\begin{pmatrix}0&1\end{pmatrix}}+3{\begin{pmatrix}0\\0\\1\end{pmatrix}}{\begin{pmatrix}1&0\end{pmatrix}}={\begin{pmatrix}0&0\\0&9\\3&0\end{pmatrix}}}$.

Y la DVS reducida es

${\displaystyle A={\begin{pmatrix}0&0\\1&0\\0&1\end{pmatrix}}{\begin{pmatrix}9&0\\0&3\end{pmatrix}}{\begin{pmatrix}0&1\\1&0\end{pmatrix}}}$

Observación: No siempre ocurre que ${\displaystyle V=V^{t}}$ como en este caso.

Sea ${\displaystyle B={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}}$. Entonces, para hacer más sencillo el proceso, calculamos ${\displaystyle BB^{t}={\begin{pmatrix}1&1\\1&1\end{pmatrix}}}$ que tiene un polinomio característico de grado 2. Los autovalores son ${\displaystyle \lambda _{1}=2}$ y ${\displaystyle \lambda _{2}=0}$ asociados a los autovectores de norma unitaria ${\displaystyle u_{1}={\frac {1}{\sqrt {2}}}(1,1)^{t}}$ y ${\displaystyle u_{2}={\frac {1}{\sqrt {2}}}(-1,1)^{t}}$. Nuestro único valor singular no nulo es ${\displaystyle \sigma _{1}={\sqrt {2}}}$.

Observaciones:

• Es claro que ${\displaystyle \operatorname {rg} (B)=1}$ coincide con la cantidad de valores singulares no nulos de la matriz y además ${\displaystyle \operatorname {Col} (B)=\left\langle {\frac {1}{\sqrt {2}}}(1,1)\right\rangle }$
• Sabemos que ${\displaystyle B^{t}B\in M_{3}(\mathbb {R} )}$ tiene un polinomio característico de grado 3. Entonces, sus raíces son ${\displaystyle \lambda _{1}=2}$, ${\displaystyle \lambda _{2}=\lambda _{3}=0}$. Veámoslo:

${\displaystyle B^{t}B={\begin{pmatrix}0&0&0\\0&0&0\\0&0&2\end{pmatrix}}\Longrightarrow p_{B^{t}B}(x)=\det(xI_{3}-B^{t}B)=x^{3}-2x^{2}}$

Ahora, sabemos que ${\displaystyle Bv_{i}=\sigma _{i}u_{i}\Longleftrightarrow B^{t}Bv_{i}=\sigma _{i}^{2}v_{i}=\sigma _{i}\cdot B^{t}u_{i}}$, es decir ${\displaystyle B^{t}u_{i}=\sigma _{i}v_{i}\Longleftrightarrow v_{i}={\frac {B^{t}u_{i}}{\sigma _{i}}}}$. Entonces, resulta del único Valor singular no nulo: ${\displaystyle v_{1}={\frac {1}{2}}(0,0,2)^{t}=(0,0,1)^{t}}$.

Ahora, completamos una base ortonormal de ${\displaystyle \mathbb {R} ^{3}\,}$ con ${\displaystyle \{(0,0,1),(1,0,0),(0,1,0)\}}$. En este ejemplo, nuestras matrices ortogonales son:

${\displaystyle U={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}}$ y ${\displaystyle V={\begin{pmatrix}0&1&0\\0&0&1\\1&0&0\end{pmatrix}}}$

${\displaystyle \Sigma ={\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}}$

Y la DVS resulta entonces:

${\displaystyle B={\frac {1}{\sqrt {2}}}{\begin{pmatrix}1&-1\\1&1\end{pmatrix}}{\begin{pmatrix}{\sqrt {2}}&0&0\\0&0&0\end{pmatrix}}{\begin{pmatrix}0&0&1\\1&0&0\\0&1&0\end{pmatrix}}={\begin{pmatrix}1\\1\end{pmatrix}}{\begin{pmatrix}0&0&1\end{pmatrix}}={\begin{pmatrix}0&0&1\\0&0&1\end{pmatrix}}}$

Nota: la DVS reducida se muestra en la segunda igualdad de la ecuación anterior.