Решение, полученное численным методом, обычно является приближенным, т. е. содержит некоторую погрешность. Источниками погрешности приближенного решения являются: 1) несоответствие математической задачи (математической модели) изучаемому реальному явлению; 2) погрешность исходных данных (входных параметров); 3) погрешность метода решения; 4) ошибки округлений в арифметических и других действиях над числами [2].

Погрешность в решении, обусловленная первыми двумя источниками, называется неустранимой. Эта погрешность может присутствовать, даже если решение поставленной математической задачи найдено точно. Вопрос о том, насколько хорошо описывает математическая модель исследуемое явление, проверяется путем сравнения результатов экспериментов и типичных частных решений при некоторых значениях входных параметров. Влияние погрешности исходных данных часто удается оценить элементарными средствами, например, варьируя исходные данные в пределах их ошибок и фиксируя решения. Если исходных данных много, а их ошибки носят случайный характер, то на помощь могут прийти статистические методы. В некоторых случаях неустранимую погрешность можно рассматривать как погрешность функции, возникающую за счёт погрешности аргументов.

Численные методы в большинстве случаев сами по себе являются приближенными, т. е. даже при отсутствии ошибок во входных данных и при идеальном выполнении арифметических действий они дают решение исходной задачи с некоторой погрешностью, называемой погрешностью метода. Это происходит потому, что численным методом обычно решается некоторая другая, более простая задача, аппроксимирующая (приближающая) исходную задачу. В ряде случаев используемый численный метод строится на базе бесконечного процесса, который в пределе приводит к искомому решению (например, вычисление значений элементарной функции с помощью частичных сумм степенного ряда, в который разлагается эта функция). Однако реально предельный переход обычно не удаётся осуществить, и процесс, прерванный на некотором шаге, даёт приближенное решение.

Численный метод обычно зависит от одного или нескольких параметров, которыми можно распоряжаться. В качестве такого параметра служит, например, число итераций при решении систем уравнений или число учитываемых членов при суммировании ряда, а также шаг, с которым используются значения подынтегральной функции при приближенном вычислении определенного интеграла. Погрешность метода или получаемая её оценка обычно зависит от соответствующего параметра. Иногда удается получить оценку погрешности, выражаемую только через известные величины. С помощью этой оценки можно определить значения параметра, задающего метод, при которых погрешность метода лежит в требуемых пределах. Чаще же оценка погрешности содержит неизвестные постоянные множители, а параметр метода входит в нее в виде либо степенной, либо показательной функции. По такой оценке судят о скорости убывания погрешности при изменении параметра метода. Скорость убывания погрешности является важной характеристикой метода.

Вопросом, наиболее сложным технически, является учёт погрешностей округления в арифметических действиях. Если действий выполняется немного, то погрешности округления при ручных вычислениях можно учесть методом, посвященном элементарной теории погрешностей, рассчитанной на небольшое число действий. При решении задач на ЭВМ характерны две ситуации. Если количество выполняемых арифметических действий невелико, то обычно ошибки округления не проявляются, так как в ЭВМ числа представляются с 10 и более десятичными значащими цифрами, а окончательный результат редко бывает нужен более чем с 5 десятичными значащими цифрами. Если задача сложная (например, сводящаяся к решению уравнений с частными производными) и для ее приближённого решения потребуется, скажем, 10⁷ арифметических действий, то в этой ситуаций нереально учитывать влияние погрешностей округления в каждом действии. При таком учёте получится слишком завышенная оценка погрешности, отвечающая самому неблагоприятному случаю. Ошибки же округления ведут себя достаточно случайно как по величине, так и по знаку. Поэтому имеются предпосылки для их взаимной компенсации. Однако с ошибками округления при решении сложных задач все равно приходится серьёзно считаться.

Для решения одной и той же задачи могут применяться различные приближенные методы. Чувствительность к ошибкам округления существенно зависит от выбранного численного метода. Существуют разностные методы решения краевых задач для дифференциальных уравнений. Среди них можно выделить так называемые устойчивые методы (разностные схемы), которые мало чувствительны к ошибкам округления. Мало чувствительными к таким ошибкам являются итерационные сходящиеся методы, поскольку возникающие погрешности на следующих итерациях исправляются.

Численный метод может считаться удачно выбранным, если его погрешность в несколько раз меньше неустранимой погрешности, а погрешность, возникающая за счет округлений, называемая вычисленной погрешностью, по крайней мере в несколько раз меньше погрешности метода. Если неустранимая погрешность отсутствует, то погрешность метода должна быть несколько меньше заданной точности решения.

К численному методу, кроме требования достижения заданной точности, предъявляется ряд других требований. Предпочтение отдаётся методу, который реализуется с помощью меньшего числа действий, требует меньшей памяти ЭВМ и является логически более простым, что способствует более быстрой его реализации на ЭВМ. Перечисленные условия обычно противоречат друг другу, поэтому часто при выборе численного метода приходится соблюдать компромисс между ними.