Полагая, что погрешность мала, а функция f(x) имеет непрерывную вторую производную, разложим в ряд Тейлора:

где . Учитывая, что и оставляя только линейную часть разложения в ряд (отсюда и другое название метода – МЕТОД ЛИНЕАРИЗАЦИИ), можем записать приближенное, линейное относительно погрешности, уравнение

из которого для погрешности имеем

(1)

Так как использована лишь линейная часть разложения в ряд, то при подстановке (1) в соотношение следующее из соотношения для погрешности, получим вместо лишь приближенное уточненное значение корня, которое обозначим Тогда можем записать основное соотношение метода Ньютона в виде

(2)

Это соотношение позволяет построить последовательность приближений к точному значению корня по заданному приближению

Геометрически процесс (2) означает замену на каждой итерации кривой y = f(x) на касательную к ней в точке и определение значения как координаты точки пересечения касательной и оси абсцисс (рис. 2). С рассмотренной интерпретацией соотношения (2) связано еще одно название метода – МЕТОД КАСАТЕЛЬНЫХ.

Рисунок 2 – Геометрическая интерпретация метода Ньютона

Достаточное условие сходимости метода Ньютона получим из соответствующего условия для метода простой итерации. Сопоставляя соотношения (1) и (2), можно заключить, что метод простой итерации, в котором

Используя условие сходимости метода итераций и выражение

Нетрудно получить достаточное условие сходимости метода Ньютона в форме

. (3)

Поскольку , то , и итерации по соотношению (2) сходятся к точному значению корня при произвольном начальном приближении, но вдали от корня сходимость может быть немонотонной.

Для оценки скорости сходимости метода Ньютона запишем соотношение

Далее разложим в ряд Тейлора:

Подставляя это разложение в предыдущую формулу, и учитывая, что , получаем

Из этого соотношения следует, что метод Ньютона имеет вблизи корня второй порядок сходимости: на каждой итерации ошибка меняется пропорционально квадрату ошибки на предыдущей итерации. Нетрудно видеть, что метод Ньютона является одношаговым. Достоинства метода Ньютона состоят в его квадратичной сходимости, возможности обобщения на случай систем уравнений, а также в том, что он является одношаговым. Однако метод Ньютона расходится в тех областях, где . Кроме того, если функция f(x) задана таблично, то вычисление затруднено. Указанная трудность устраняется в методе секущих (методе хорд).

Существует вариант метода Ньютона с постоянным значением производной; значение производной вычисляется только в начальной точке (рис. 3), и далее для всех итераций значения производных полагаются постоянными, равными

Последовательные приближения вычисляются по формуле

Рисунок 3 – Модифицированный метод Ньютона

Геометрически замена производной на каждой итерации постоянным значением означает, что наклон прямой, точка пересечения которой с осью абсцисс принимается за новое приближение для корня уравнения, считается постоянным. Часто эта модификация метода Ньютона рекомендуется, как позволяющая уменьшить объем вычислений за счет отказа от вычисления производной на каждой итерации. Однако следует учитывать, что метод Ньютона с постоянным значением производной имеет лишь первый порядок сходимости – вблизи корня соотношение для погрешности имеет вид:

и, следовательно, сходится медленнее, чем метод Ньютона. Это, в конечном счете, нередко приводит к увеличению общего объема вычислений.

Метод простой итерации

При использовании метода простой итерации для уточнения корня уравнение f(x) = 0 заменяется эквивалентным уравнением

(3)

Это означает, что из следует и наоборот. Привести уравнение (3) к простому уравнению можно многими способами, например, положив , где - непрерывная произвольная знакопостоянная функция.

Геометрически на интервале отделения корня уравнение (3) представляется в виде двух пересекающихся линий и y = x (рис. 4). Пологая, что известно начальное приближение для значения корня , построим итерационный процесс

k = 0, 1, 2, …, (3.1)

изображенный на рис.4 ломаной линией со стрелочками, указывающими направление движения. Для представленного на рис.4 случая взаимного расположения линий y = x и неограниченное повторение вычислений по соотношению (3.1) позволяет сколь угодно близко подойти к точному значению корня .

Рисунок 4 – Геометрическая интерпретация метода простой итерации

Исследуем сходимость метода. Если имеет непрерывную производную, то из теоремы Лагранжа о конечном приращении

(3.2)

следует, что точка лежит между точками и . Поэтому если всюду , то отрезки убывают не медленнее геометрической прогрессии со знаменателем q<1. Действительно, из (3.2), которое можно рассматривать как рекуррентное соотношение, следует, что и последовательность сходится при любом нулевом приближении.

Итак, условие:

(3.3)

Является достаточным условием сходимости итераций. Если , то итерации могут не сходиться. Если , но вдали от корня , то итерации сходятся, если начальное приближение выбрано достаточно близко к корню. При произвольном начальном приближении сходимости может не быть. Таким образом, в методе простой итерации важен выбор начального приближения. Из соотношения (3.4) следует, что если на интервале отделения корня выполняется условие

,

то погрешность на каждой итерации уменьшается для любого начального приближения не медленнее членов геометрической прогрессии со знаменателем q.

Четыре случая взаимного расположения линий y = x и вблизи корня и соответствующие им итерационные процессы показаны на рис. 5,a и 5. б соответствуют случаю – процесс итераций сходится. При этом в первом случае и сходимость носит односторонний характер (рис. 5,а), а во втором и сходимость носит двусторонний характер (рис. 5,б). Рис. 5, в и 5, г соответствуют случаю – процесс итерации расходится, при этом имеет место односторонняя и двусторонняя расходимость.

Рисунок 5 – Типовые случаи устойчивой и неустойчивой реализации метода простой итерации

Подчеркнем, что условие (3.3) сходимости метода итераций является лишь достаточным. При этом все приближения должны попадать в отрезок отделения корня. Выполнение условия (3.3) гарантирует сходимость процесса (3.1), но невыполнение условия (3.3) в общем случае не означает, что итерационный процесс окажется расходящимся. Например, для случая, проиллюстрированного рис.6, условие (3.3) на интервале не выполняется, но метод итераций сходится.

Рисунок 6 – Частный случай сходимости метода простой итерации

Используя соотношения(3.2) и (3.3), можно записать

где Из этого соотношения следует, что скорость сходимости метода итерации зависит от величины q: чем меньше q, тем быстрее сходится метод.

Исходное уравнение f(x) = 0 может быть преобразовано к виду многими способами, и, очевидно, для метода итерации целесообразно брать то уравнение , для которого q имеет наименьшее значение.

Для пояснения рассмотрим классический пример вычисления квадратного корня. Исходное уравнение преобразуем к виду тремя способами, приведенными в табл. 1 в первом столбце.

Анализ поведения вблизи корня (третий столбец таблицы) показывает, что при удачном выборе представления можно обеспечить высокую скорость сходимости итерационного процесса без ограничения диапазона параметра а. Третье уравнение используется для вычисления квадратного корня на компьютерах. Таким образом, в методе простой итерации важен выбор вида функций Отметим, что метод простой итерации обобщается на случай систем линейных уравнений.