Для обеспечения точности и достоверности результатов прогнозиро­вания необходима проверка адекватности или верификация прогнозной модели.

Проверка адекватности модели выполняется с использованием формальных статистических критериев. Однако такая проверка возможна при наличии надежных статистических параметров как оригинала (объекта прогнозирования), так и модели. Если по каким-то причинам такие оценки отсутствуют, то осуществляют сравнение отдельных свойств оригинала и модели. При этом первоначально должна проверяться истинность реали­зуемых функций, затем истинность структуры и, наконец, истинность дос­тигаемых при этом значений параметров. Для этого помимо модели необ­ходимо иметь функционирующий оригинал, то есть проводить сопровож­дающее моделирование.

Таблица 3.1. Методы верификации прогнозных моделей

Верификация модели - оценка ее функциональной полноты, точно­сти и достоверности с использованием всей доступной информации в тех случаях, когда проверка адекватности по тем или иным причинам невоз­можна.

В прогнозировании чаще используют верификацию, так как в боль­шинстве случаев реальный объект отсутствует или разрабатываются новые (еще не существующие) функции объекта прогнозирования. В таблице 3.1 представлены наиболее часто используемые методы верификации.

В прогнозировании случай совершенного прогноза достигается крайне редко, поэтому проблема верификации прогнозной модели является одной из важнейших в прогностике. Степень совершенства прогнозов вы­ражают через различные измерители точности прогнозирования. Точность точечного прогноза в момент f, определяется разностью между прогнозом Р, и фактическим значением F_h прогнозируемого показателя в этот момент времени. Отдельный точечный прогноз не определяет точность конкрет­ной процедуры прогнозирования в целом, то есть потребуется некоторая выборка {( Pj , fj )}, на основе которой рассчитывается значение некоторого измерителя точности прогнозирования.

Важность проблемы точности прогнозирования определяет важность анализа различных ее измерителей. В настоящее время нет достаточно полного исследования всевозможных критериев точности, что затрудняет оценивание возможностей различных моделей и опыта их применения в прикладных работах по прогнозированию конкретных процессов [10].

Для измерения точности прогнозирования можно использовать лю­бой коэффициент парной корреляции между последовательностями про­гнозных и фактических значений. Классический критерий точности про­гнозирования - коэффициент корреляции Пирсона.

Максимальное значение r = 1 достигается при наличии линейной связи

          (3.1)

между Р и F , т.е. когда существуют такие а₀ и а/>0, что Р = oq + a_t F .

Однако при а₀ £ 0 и а, = 1 прогноз не будет совершенным, хотя кор­реляция полная и положительная; только при Р = F коэффициент корреля­ции может характеризовать совершенный прогноз.

Коэффициент ранговой корреляции Спирмэна также может быть ис­пользован в качестве измерителя точности прогнозирования. Для этого вычисляются ранги { x } и {у} элементов соответствующих последователь­ностей { PJ и { F_t }. Очевидно, что

                                              (3.2)     

Если несколько элементов из Pi или Ft имеют одинаковые ранги, то им определяется ранг, равный среднему арифметическому значений мест элементов в данной ранжировке. В этом случае последнее соотношение останется верным. Вычисляются корректирующие множители для связей соответственно для последовательностей x_i и у _i :

                                            (3.3)

где г,- и /, равно числу повторений i-го ранга в соответствующих по­следовательностях. Вычисляют сумму квадратов разностей рангов

                                                                  (3.4)

Если T_f или Т_у равно нулю, то коэффициент ранговой корреляции Спирмэна равен:

                                                                                  (3.5)

Коэффициент ранговой корреляции р позволяет характеризовать ка­чественную сторону последовательности прогнозов {Р/ j, а именно способ­ность предсказывать точки поворота. Коэффициент ранговой корреляции можно рассматривать как дополнительный измеритель точности прогнози­рования при Pi= Fi и г, близким к 1, так как критерий р инвариантен отно­сительно линейной вариации, причем р=1 прогноз может быть далеко не совершенным, так как для этого достаточно лишь совпадения рангов.

В качестве измерителей точности прогнозирования могут быть ис­пользованы и другие коэффициенты парной корреляции, например коэф­фициент ранговой корреляции Кендэлла. Однако для характеристики ко­эффициентов парной корреляции как некоторого класса измерителей точ­ности прогнозирования достаточно провести анализ этих двух наиболее часто используемых коэффициентов, чтобы выделить общие для этого класса свойства. Во-первых, инвариантность относительно линейной ва­риации, а во-вторых, полная корреляция еще fie определяют совершенный прогноз. Еще одним важным свойством коэффициентов парной корреля­ции является возможность проверки их на значимость, так как определены соответствующие законы распределения этих статистик. Например, для коэффициента ранговой корреляции Спирмэна значимость проверяется с п-2 степенями свободы по следующей t-статистике:

                                                                             (3.6)        

Наиболее распространенными оценками точности прогнозирования также являются средняя ошибка аппроксимации

                                                       (3.7)

и средняя квадратическая ошибка прогнозов

                                                                (3.8)

Точность прогнозирования тем выше, чем меньше значения е или S соответственно. Совершенный прогноз достигается при e= S=0.

Одним из исследователей проблем экономического прогнозирова­ния, Г. Тейлом [10], предложен в качестве меры качества прогнозов коэф­фициент расхождения V (или коэффициент несоответствия), числителем которого является среднеквадратическая ошибка прогноза, а знаменатель равен квадратному корню из среднего квадрата реализации:

(3.9)

Если У=0, то прогноз абсолютно точен (случай «идеального» прогнозирования). Если F=l, то это означает, что прогноз близок к простой (и наивной) экстраполяции. Если У>1, то прогноз дает худший результат, чем предположение о неизменности тенденций исследуемого явления.

Коэффициент расхождения может быть использован при сопостав­лении качества прогнозов, получаемых на основе различных методов и моделей. В этом его несомненное достоинство. Величина V поддается разложению на составляющие (частные коэффициенты расхождения), харак­теризующие влияние ряда факторов (это достигается разложением числи­теля, представляющего собой средний квадрат ошибки прогноза).

В некоторых случаях более важное значение имеют распознающие способности моделей прогнозирования, особенно при краткосрочном про­гнозировании. Например, при прогнозировании выполнения месячных планов предприятий отрасли по особо учитываемой номенклатуре в начале месяца в первую очередь интерес представляет более точная оценка воз­можности выполнения плана, чем прогнозная информация о величине от­клонения от плана. В данном случае целесообразно использовать следую­щую меру точности прогнозирования:

                                                     (3.10)

где q - число подтвержденных прогнозов; р - число неподтвержденных прогнозов.

Если £~\, то имеет место случай «идеального» прогнозирования.

Таким образом, измерители точности прогнозирования по отноше­нию к инвариантности относительно линейной вариации делятся на инва­риантные и не инвариантные. Инвариантные измерители (S и коэффициен­ты парной корреляции), хотя и не позволяют сравнивать точность прогно­зирования различных процессов, могут использоваться для определения точности прогнозирования различных последовательностей прогнозных значений { Pi } при фиксированной последовательности { Ft }. Например, по­добная ситуация возникает при моделировании, когда необходимо выби­рать между несколькими моделями прогнозирования, генерирующими со­ответствующие последовательности { Ft }. Инвариантные измерители могут быть проверены на статистическую значимость, то есть с определенной доверительной вероятностью конкретное значение измерителя является обоснованным. Однако особый интерес при построении моделей прогно­зирования имеет критерий Г. Тейла, так как позволяет определить, в чем состоит расхождение: имеет место дрейф среднего или дрейф дисперсии. С другой стороны, критерий У не является инвариантным, и есть возмож­ность оценивать применимость модели для совокупности различных про­гнозируемых процессов в целом. Например, для прогнозирования по одной модели поведения отдельных предприятий или отрасли в целом.

Средняя ошибка аппроксимации е является наиболее наглядным из­мерителем точности прогнозирования, что вместе с неинвариантностью приводит к тому, что требование к точности задач прогнозирования фор­мулируется по этому критерию.

Определить точность точечного прогноза по данным формулам можно при ретроспективности прогнозирования, когда апробируется мо­дель, а также для прогнозов с малым периодом упреждения {краткосроч­ные прогнозы).

Точность и надежность прогнозов - широко распространенные в прогностической литературе термины, смысл которых, как это представля­ется на первый взгляд, вполне очевиден. Однако содержание этих терми­нов часто толкуется достаточно субъективно. Нередки случаи, когда одно понятие подменяется другим ввиду отсутствия строгого определения дан­ных категорий [39].

О точности прогноза принято судить по величине погрешности (ошибки) прогноза - разности между прогнозируемым и фактическим зна­чением (реализацией) исследуемой переменной. Однако такой подход к оценке точности возможен только в двух случаях. Во-первых, когда пери­од упреждения уже окончился и исследователь имеет фактические значе­ния переменной. При краткосрочном прогнозировании это вполне реально. Во-вторых, когда прогноз разрабатывается ретроспективно, то есть про­гнозирование осуществляется для некоторого момента времени в про­шлом, для которого уже имеются фактические данные. Так поступают в тех случаях, когда проверяется разработанная методика прогноза.

При этом имеющаяся информация делится на две части. Одна из них, охватывающая более ранние данные, служит для оценивания пара­метров прогностической модели, а более поздние данные рассматриваются как реализации соответствующих прогностических оценок. Полученные ретроспективно ошибки прогноза в какой-то мере характеризуют точность примененной методики прогнозирования и могут оказаться полезными при сопоставлении нескольких методов. В то же время величину ошибки рет­роспективного прогноза нельзя рассматривать как окончательное доказа­тельство пригодности или, наоборот, непригодности применяемого метода прогнозирования. К ней следует относиться с известной осторожностью и при ее применении в качестве меры точности необходимо учитывать, что она получена при использовании лишь части имеющихся данных. Однако эта мера точности обладает большей наглядностью и уж во всяком случае, более надежна, чем погрешность прогноза, исчисленная для периода, ха­рактеристики которого уже были использованы при оценивании парамет­ров модели. В последнем случае погрешности, как правило, будут незна­чительны и мало зависимы от теоретической обоснованности примененной для прогнозирования модели. Точность же прогнозов будет преувеличен­ной и в известном смысле иллюзорной.

Если для ретроспективного прогнозирования применяется модель, содержащая одну или несколько экзогенных переменных, то точность про­гноза будет в значительной мере зависеть от того, насколько точно опреде­лены значения этих переменных на период упреждения. При этом возможны два пути: воспользоваться фактическими значениями экзогенных пере­менных (так называемый прогноз ex post) и ожидаемыми их значениями (так называемый прогноз ex ante). Естественно, что точность прогноза ех post будет выше, чем прогноза ex ante, так как в первом случае будет ис­ключено искажающее влияние погрешности в значении экзогенных пере­менных. О степени погрешности прогноза можно судить по относительной ошибке - отношению абсолютной погрешности прогноза к ожидаемому (или фактическому) значению признака. Проверка точности единичного прогноза, как правило, мало, что может сказать исследователю. В самом деле, на формирование исследуемого явления влияет множество разнооб­разных факторов, поэтому полное совпадение или значительное расхожде­ние прогноза и его реализации может быть следствием просто особо благо­приятных (или неблагоприятных) стечении обстоятельств. Хороший единичный прогноз может быть получен и по плохой модели, и наоборот. От­сюда следует, что о качестве прогнозов применяемых методик и моделей можно судить лишь по совокупности сопоставлений прогнозов и их реали­зации.

Измерители качества прогнозов (их точности) рассматривались вы­ше при условии, что исследователь располагает информацией об истинных значениях величин, которые он оценивал в ходе разработки прогнозов. Та­кие меры качества, несомненно, представляют ценность при изучении раз­личных методик прогнозирования. Однако в практической работе пробле­му точности прогноза надо решать тогда, когда период упреждения еще не прошел и истинное значение прогнозируемой переменной неизвестно. В этом случае проблема точности может рассматриваться в плане сопостав­ления априорных качеств, свойств, присущих альтернативным прогности­ческим моделям. Так, если прогнозирование осуществляется статистиче­скими методами, то, вероятно, понятие точности прогноза можно сделать более узким, а именно связав априорную точность прогноза с размером доверительного интервала. Модель, дающая более узкий доверительный интервал при одной и той же доверительной вероятности, и является более точной (при этом теоретическая обоснованность сравниваемых моделей является примерно равной).

Очевидно, что надежность прогноза определяется вероятностью на­ступления прогнозируемого события, - т. е. реализации соответствующей прогностической оценки. Чем она выше, тем выше надежность. Вероят­ность реализации может быть оценена субъективно (экспертное прогнози­рование) или может быть связана с доверительными интервалами прогно­за, если последний основывается на статистической модели.

Рассмотренные понятия априорной точности и надежности прогно­зов, связанные с доверительными интервалами, являются в значительной мере условными показателями. Они могут использоваться в практической работе лишь при условии, что принятая для получения прогнозов модель имеет серьезное теоретическое обоснование и спецификация модели кор­ректна. В противном случае полученные доверительные интервалы лишь создают иллюзию точности. Практика разработки экономических прогно­зов опирается на целую систему методов, среди которых статистические методы прогнозирования занимают важное место. Решающую роль при статистическом подходе к прогнозированию играет выбор соответствую­щей модели, которая, будучи наполненной числовыми параметрами, ста­новится непосредственным инструментом прогнозирования - так называе­мым предиктором. Располагая предиктором, можно получить варианты прогноза, отвечающие определенным условиям и гипотезам, учтенным при его построении. Вместе с тем необходимо помнить, что механическое ис­пользование предиктора может стать причиной серьезных погрешностей.

Экономическое прогнозирование слишком ответственное дело, для того чтобы можно было ограничиться одними формальными построениями и расчетами. Цель модели - не заменить суждения и опыт специалиста, а дать ему в руки инструмент, позволяющий более глубоко проникнуть в существо исследуемых явлений, инструмент, в котором специфическим образом обобщена и приведена в систему разнообразная статистическая информация. Получаемые на основе предикторов прогнозы имеют смысл только в рамках тех условий, гипотез и предположений, которые были уч­тены при разработке соответствующих статистических моделей и при их применении для прогнозирования. Таким образом, разработка и примене­ние моделей в прогностических целях предполагают углубленный эконо­мический и экономико-статистический анализ.