Método iterativo
Un método iterativo trata de resolver un problema matemático (como una ecuación o un sistema de ecuaciones) mediante aproximaciones sucesivas a la solución, empezando desde una estimación inicial. Esta aproximación contrasta con los métodos directos, que tratan de resolver el problema de una sola vez (como resolver un sistema de ecuaciones Ax=b encontrando la inversa de la matriz A). Los métodos iterativos son útiles para resolver problemas que involucran un número grande de variables (a veces del orden de millones), donde los métodos directos tendrían un coste prohibitivo incluso con la potencia del mejor computador disponible.
Puntos fijos atractivos
Si una ecuación puede ponerse en la forma f(x) = x, y una solución x es un punto fijo atractivo de la función f, entonces puede empezar con un punto x1 en la base de atracción de x, y sea xn+1 = f(xn) para n ≥ 1, y la secuencia {xn}n ≥ 1 convergerá a la solución x.
Sistemas lineales
En el caso de un sistema lineal de ecuaciones, las dos clases principales de métodos iterativos son los métodos iterativos estacionarios y los más generales métodos del subespacio de Krylov.
Métodos iterativos estacionarios
Los métodos iterativos estacionarios resuelven un sistema lineal con un operador que se aproxima al original, y basándose en la medida de error (el residuo), desde una ecuación de corrección para la que se repite este proceso. Mientras que estos métodos son sencillos de derivar, implementar y analizar, la convergencia normalmente solo está garantizada para una clase limitada de matrices.
Métodos del subespacio de Krylov
Los métodos del subespacio de Krylov forman una [Base (álgebra)|base]] ortogonal de la secuencia de potencias de la matriz por el residuo inicial (la secuencia de Krylov). Las aproximaciones a la solución se forman minimizando el residuo en el subespacio formado. El método prototípico de esta clase es el método de gradiente conjugado. Otros métodos son el método del residuo mínimo generalizado y el método del gradiente biconjugado.
Convergencia
Dado que estos métodos forman una base, el método converge en N iteraciones, donde N es el tamaño del sistema. Sin embargo, en la presencia de errores de redondeo esta afirmación no se sostiene; además, en la práctica N puede ser muy grande, y el proceso iterativo alcanza una precisión suficiente mucho antes. El análisis de estos métodos es difícil, dependiendo de lo complicada que sea la función del espectro del operador.
Precondicionantes
El operador aproximativo que aparece en los métodos iterativos estacionarios puede incorporarse también en los métodos del subespacio de Krylov, donde se pasan de ser transformaciones del operador original a un operador mejor condicionado. La construcción de precondicionadores es un área de investigación muy extensa y de gran alcance científico.[cita requerida]
Historia
Probablemente, el primer método iterativo apareció en una carta de Gauss a un estudiante. Proponía resolver un sistema 4 por 4 de ecuaciones mediante la repetición de la solución del componente donde el residuo era mayor.
La teoría de métodos estacionarios se estableció sólidamente con el trabajo de D. M. Young, que empezó en la década de 1950. El método del gradiente conjugado se inventó en esa misma década, con desarrollos independientes de Cornelius Lanczos, Magnus Hestenes y Eduard Stiefel, pero su naturaleza y aplicación se malentendieron en esa época. Solo en la década de 1970 se puso de manifiesto que estos métodos los cuales tienden a funcionan muy bien para resolver ecuaciones de derivadas parciales, especialmente del tipo elíptico.