Для исследования сходимости итерационных методов, т.е. установления справедливости равенства  где  – точное решение системы (2.1), удобнее записывать эти методы в матричной, а не в координатной форме.

Представим матрицу  в виде суммы трех матриц

, где

– строго нижняя треугольная часть матрицы , 

 – строго верхняя треугольная часть матрицы ,

 – диагональная часть матрицы А.

Очевидно, метод Якоби с использованием введенных обозначений в векторной форме принимает вид

,

где  – матрица, обратная к матрице :

Метод Якоби также можно записать следующим образом:

.

(2.7)

Аналогичным образом из соотношений (2.6) можно получить представление метода Зейделя в векторной форме

.

(2.8)

Далее мы увидим, что векторные равенства (2.7) и (2.8) являются частными случаями так называемой канонической формы одношаговых (двухслойных) итерационных схем вида

(2.9)

где  – квадратная невырожденная матрица размера , называемая стабилизатором,  – число, называемое итерационным параметром.

Матрица  называется положительно определенной, если скалярное произведение  для всех ненулевых векторов , или, что то же самое, .

Сформулируем теорему, принадлежащую А.А. Самарскому.

Теорема. Пусть  – симметричная положительно определенная матрица, , и пусть выполнено неравенство для любого ненулевого вектора  из -мерного пространства.

.

Тогда итерационный метод (2.9) сходится, т.е.

Покажем, как использовать данную теорему для доказательства сходимости, например, метода Зейделя.

Сравнивая (2.8) и (2.9), приходим к равенствам

, .

Таким образом, если  и  – положительно определенная матрица, то при условии выполнения неравенства , что является краткой формой записи неравенства относительно скалярных произведений

, ,

метод Зейделя сходится.

Заметим, что

.

(2.10)

Нетрудно проверить, что для любого -мерного вектора

.

(2.11)

C другой стороны, из неравенства  вытекает неравенство

.

(2.12)

В самом деле, выберем , где . Тогда

Поскольку  – любое, то все , . Значит, справедливо неравенство (2.12). В силу (2.11) и (2.12) из (2.10) имеем

.

Вариационно-итерационные методы решения СЛАУ

Преимущество данных методов – они не используют никакой дополнительной информации об операторе , т.е. значения  и  (собственные числа , входящие в оценку  и необходимые для выбора ) здесь не требуются. Рассмотрим методы минимальных невязок и скорейшего спуска.

Метод минимальных невязок

(2.13)

Для  получим равенство, умножив обе части равенства (2.13) на матрицу :

.

Меняя знаки и группируя слагаемые соответствующим образом, получаем:

 или

Параметр  будем выбирать из условия минимума невязки  по норме

.

Продифференцируем  по , получим

,

.

(2.14)

Метод скорейшего спуска

Получается из условия минимума энергетической нормы погрешности где ,  – точное решение исходной системы. Поскольку , и учитывая, что

, получим

Дифференцируя  по , получим

, откуда

(2.15)

Пример выполнения практической работы №2

Решите систему уравнений методом Якоби, Зейделя, наименьших невязок и методом скорейшего спуска