Элементы теории стационарных

Поможем в ✍️ написании учебной работы

Имя

Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Нажимая кнопку "Продолжить", я принимаю политику конфиденциальности

СТАТИСТИЧЕСКИЙ АНАЛИЗ

ВРЕМЕННЫХ РЯДОВ

АВТОРЕГРЕССИИ

И СКОЛЬЗЯЩЕГО СРЕДНЕГО

УЧЕБНОЕ ПОСОБИЕ

САМАРА 1998

УДК 519.2 (075)

Статистический анализ временных рядов авторегрессии и скользящего среднего : Учебное пособие / А.Ф.Тараскин; Самар. гос. аэрокосм. ун-т. Самара, 1998. 64 с.

ISBN 5-230-16 956-7

Кратко излагаются основные факты теории случайных временных рядов авторегрессии и скользящего среднего. Рассматривается статистические задачи для процессов при условии их стационарности.

Предназначено для студентов специальности «Прикладная математика» при изучении курса «Случайные процессы» и при выполнению курсовой работы по этому курсу. Подготовлено на кафедре «Техническая кибернетика».

Ил.2 Библиогр.: 7 назв. Табл 1.

Печатается по решению редакционно-издательского совета

Самарского государственного аэрокосмического университета

имени академика С.П.Королева

Рецензенты: А.И.Жданов, В.М.Климкин

ISBN 5-230-16 956-7 © Тараскин А.Ф., 1998

аэрокосмический университет, 1998

ОГЛАВЛЕНИЕ

1. ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ....................................................... 4

1.1.Основные понятия и терминология........................................... 4

1.2.Элементы теории стационарных случайных процессов......... 5

2. ПРОЦЕССЫ АВТОРЕГРЕССИИ И СКОЛЬЗЯЩЕГО СРЕДНЕГО.. 7

2.1.Значение процессов авторегрессии
и скользящего среднего........................................................................ 7

2.2.Случайные последовательности авторегрессии....................... 7

2.3.Случайные последовательности скользящего среднего........ 13

2.4.Смешанная модель авторегрессии -
скользящего среднего......................................................................... 16

3. СТАТИСТИЧЕСКИЕ ВЫВОДЫ ПО НАБЛЮДЕНИЯМ
СЛУЧАЙНЫХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ...................................... 20

3.1.Общая характеристика задач статистики
и случайных процессов...................................................................... 20

3.2.Оценка среднего значения и корреляционной модели.......... 21

3.3.Оценивание параметров модели методом моментов............. 28

3.4.Оценивание параметров модели
методом максимального правдоподобия......................................... 32

Библиографический список.............................................................................. 48

Приложения...................................................................................................... 49

ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ

Основные понятия и терминология

При исследовании реальных устройств, функционирующих в условиях случайных возмущений, экспериментатор может наблюдать и фиксировать реализации случайных процессов, связанных с работой устройства. При этом статистические закономерности процессов и параметры исследуемого устройства частично или полностью оказываются априори неизвестными. Поскольку получение точных значений интересующих характеристик и параметров, как правило, бывает невозможным, приходится оценивать из на основе обработки экспериментальных данных с учетом априорной информации, указывающей, например, класс к которому принадлежит исследуемый процесс.

Для широкого класса устройств модель функционирования может быть представлена как реакция на входные возмущения и начальное состояние. Модель, описывающую работу устройств как преобразование входных возмущений и начального состояния в выходную реакцию, называют системой.

Для математического описания системы удобно использовать принятую терминологию: так, входные возмущения и начальное состояние называют входным сигналом, реакцию системы - выходным сигналом. Входные и выходные сигналы в общем случае являются элементами произвольных пространств. Например, для механических устройств входными сигналами могут быть силы и моменты, а выходными - перемещения, скорости и ускорения. Для радиотехнических и электронных систем входными сигналами являются электромагнитные поля, токи и напряжения, а выходными - сигналы той же природы или звуковые сигналы, а возможно и телевизионные изображения. Для организационных систем в качестве входных сигналов можно рассматривать проблемы, а качестве выходных - решения проблем.

Обозначая входной сигнал через X, а выходной - через Y, можно схематически изобразить систему (рис.1).

Мы будем рассматривать стационарные (установившиеся) режимы функционирования систем, а это означает, что входной и

выходной процессы являются стационарными в широком смысле. Кроме этого, предположим, что X и Y, являются процессами с целочисленным временем: Такие процессы чаше называются случайными последовательностями (с.п.) или временными рядами.

Случайных процессов

С.п. ., принимающая, вообще говоря, комплексные значения, называется стационарной в широком смысле, если для любого целого t и корреляционная функция

зависит только от разности моментов времени t и s. Таким образом, корреляционная функция стационарной с.п. является комплекснозначной функцией целочисленного аргумента:

Она обладает следующими свойствами:

а.) ; если же принимает только вещественные значения, то ;

б.) ; если вещественнозначная с.п., то ;

в.) неотрицательно определена, т.е. для любого целого , любых целых и любого набора комплексных чисел выполнятся неравенство

Согласно теореме А.Я.Хинчина для корреляционной функции стационарной с.п. имеет представление

(1)
в котором - неубывающая неотрицательная ограниченная функция на , называемая, как и в случае процессов с непрерывным временем, спектральной функцией. Если

(2)
то функция будет дифференцируемой, и она может быть представлена в виде

(3)
где . При этом (1) можно заменить формулой

(4)

Функция , где , называется спектральной плотностью случайной последовательности. Из (4) видно, что величины , являются коэффициентами Фурье функции , так что разложение этой функции в ряд Фурье будет иметь вид

(5)
Эту формулу можно рассматривать как дискретный аналог известной формулы обращения для спектральной плотности непрерывного в среднем квадратическом (с.к.) стационарного в широком смысле процесса.

Используя теорему Карунена для стационарной последовательности , с и с корреляционной функцией (1), получаем интегральное представление (теорема Хинчина)

, (6)
где в правой части имеем стохастический интеграл по процессу с ортогональными приращениями и со спектральной функцией , совпадающей со спектральной функцией в представлении (1) корреляционной функции последовательности .

ПРОЦЕССЫ АВТОРЕГРЕССИИ

И СКОЛЬЗЯЩЕГО СРЕДНЕГО

И скользящего среднего

Разнообразные данные в физике, космических исследованиях, экономике, медицине и других областях поступают исследователю в виде случайных последовательностей (временных рядов). Совокупность существующих методов изучения таких рядов зависимых наблюдений называется анализом временных рядов.

В начале 70-х годов многие зарубежные исследователи стали аппроксимировать изучаемый временной ряд наиболее близкой (например, с точки зрения асимптотической среднеквадратичной теории) последовательностью авторегрессии, скользящего среднего или смешанной последовательностью авторегрессии - скользящего среднего. Это позволило характеризовать целый ряд наблюдений всего несколькими параметрами. Простота структуры последовательностей авторегрессии и скользящего среднего и в то же время возможность использования их для аппроксимации широкого класса с.п. определяют как практический, так и теоретический интерес к ним. Моделирование этих последовательностей позволяет решать самые разнообразные прикладные задачи, связанные с изучением реальных процессов в науке и технике.

Скользящего среднего

В теореме 1 утверждалось, что в условиях стационарности с.п.АР(p) может быть представлена бесконечной линейной комбинацией с.в. , т.е. может рассматриваться как с.п.СС(¥) с последовательностью параметров . Известно также, что и с.п.СС(q) может быть (при условии обратимости) представлена в виде с.п.АР(¥) с последовательностью параметров . Это ставит вопрос об экономичности (в смысле числа используемых параметров) представления данной с.п. На практике для получения экономичной параметризации иногда бывает необходимо включать в модель как члены, описывающие авторегрессию, так и члены, моделирующие скользящее среднее. Такая с.п. может определена уравнением

, (43)
где - вещественные параметры, а - последовательность некоррелированных одинаково распределенных с.в. с и называется смешанной с.п. авторегрессии-скользящего среднего порядка (p,q). В дальнейшем такую последовательность сокращенно будем обозначать АРСС(p,q).

В соответствии с замечанием к теореме 1 члены со скользящим средним в правой части (43) не повлияют на условия стационарности последовательности . Поэтому с.п. АРСС(p,q) будет стационарной в широком смысле при условии, что все корни характеристического уравнения

(44)
лежат внутри единичного круга . Аналогично для обратимости АРСС(p,q) корни характеристического уравнения

(45)
должны лежать внутри единичного круга .

Предполагая с.п. АРСС(p,q) стационарной, найдем, как и для с.п. АР(p), рекуррентные соотношения, связывающие параметры и со значениями корреляционной функции. Для этого все члены в (43) умножим на и, перейдя к математическим ожиданиям получаем

, (46)
где - взаимная корреляционная функция последовательностей X и Y. Так как зависит только от членов входной последовательности X до момента , то, очевидно, что при и для . Из (46) следует, что

(47)
и для нормированной корреляционной функции

(47’)
Это означает, что для с.п. АРСС(p,q) существует q значений корреляционной функции , которые связаны зависимостью (46) с q параметрами скользящего среднего и p параметрами авторегрессии . Для решения разностных уравнений (47) и (47’) (для больших k) в качестве начальных необходимы p значений, например, .

Дисперсию с.п. АРСС(p,q) вместе с получим, решая систему уравнений, получающаяся из (46) при k=0,1,2,...,p.

Спектральную плотность можно получить аналогично случаям «чистых» последовательностей АР(p) и СС(q).

(48)
Рассмотрим подробнее случай АРСС(2,1):

(49)
Из (46) имеем

(50)

(51)
Чтобы найти и , умножим поочередно (49) на и и перейдем к математическим ожиданиям. В результате получим

и .

Тогда уравнениям (50) и (51) приобретают вид

(52)
При уравнения (47) в рассматриваемом случае имеют вид

(53)
и вместе с уравнениями (52) позволяют определить последовательность . В частности, из системы уравнений (52) и уравнения (53) при получаем формулу для дисперсии

(54)

Спектральная плотность с.п. АРСС(2,1) согласно (48) имеет вид

(55)

Наконец, рассмотрим часто употребляемую в различных прикладных науках с.п. АРСС(1,1). Она определяются разностным уравнением

(56)
В этом случае входящая в с.п. авторегрессия имеет порядок p=1, и корень ее характеристического уравнения равен . Последова-тельность будет стационарной, если . Уравнения для корреляционной функции получаются из формул (46) и (47)

(57)
Выражения для и получаются аналогично предыдущему умножением (56) на и и переходом к математическим ожиданиям.

. (58)

Из (57) и (58) получаем выражения корреляционной функции с.п. АРСС(1,1)

(59)

Из (59) следует, что при имеем . Поэтому при всех значениях , т.е. последовательность является некоррелированной.

Спектральная плотность с.п. АРСС(1,1) будет иметь вид

(60)

СЛУЧАЙНЫХ ВЕРОЯТНОСТЕЙ

Общая характеристика задач

Оценка среднего значения

И корреляционной функции

Пусть - T последовательных наблюдений с.п. , стационарной в широком смысле со средним значением , и корреляционной функцией , , , .

Рассмотрим сначала оценивание среднего значения . Будем искать оценку величины в классе линейных оценок, т.е. среди линейных комбинаций наблюдений

. (63)
Среднее значение и дисперсия произвольной линейной комбинации (63) соответственно равны

(64)
и

, (65)
где при и при . Для того, чтобы с.в. была несмещенной оценкой среднего значения , должно выполнятся равенство

(66)
По обычным правилам отыскания условного экстремума находим вектор , обеспечивающий минимальную дисперсию несмещенной оценке

, . (67)
Несложные выкладки показывают, что несмещенная линейная оценка с минимальной дисперсией задается формулой (67) при векторе коэффициентов

, (68)
где - матрица, обратная к корреляционной матрице наблюдений - единичный вектор, а (.,.) - скалярное произведение n-мерном евклидовом пространстве. Таким образом, оптимальная линейная несмещенная оценка будет иметь вид

. (69)

где - вектор наблюдений, а дисперсия этой оценки определяется равенством

(70)
где - элементы матрицы .

На практике часто в качестве несмещенной оценки среднего значения стационарной с.п. используется среднее арифметическое наблюдений

(71)
Используя формулу (65) получим дисперсию этой оценки

. (72)
Асимптотическое (при ) поведение дисперсии среднеарифметической оценки величины дается следующей теоремой.

Теорема 3. Если выполняется условие

, (73)
то оценка (71) состоятельна и

. (74)

Доказательство состоятельности оценки следует из того, что при условии (73) при . Основанием соотношения (74) является известный из анализа факт.

Лемма. Если ряд сходится, то

. (75)

Соотношение (75) следует из (74), если учесть разложение вида (5) спектральной плотности в ряд Фурье, полагая в нем .

Теперь рассмотрим оценивание корреляционной функции. Если известно, то обычно используется оценка

, (76)
где .

Если неизвестно, то по аналогии можно построить следующую оценку:

, (77)
где .

Возможны еще и другие оценки, в частности

,
где

Рассмотрим моменты первого и второго порядков оценок величины . Непосредственные вычисления дают следующие результаты. В случае известного среднего

, (78)
т.е. оценка является несмещенной. В случае неизвестного для математического ожидания оценки после несложных, но утомительных вычислений получаем соотношения:

; (79)

(80)

если ;

, (81)

если ;

, (82)

если ;

. (83)
Формулы (79)-(83) показывают, что оценка является смещенной, порядок смещения равен .

Математическое ожидание оценки можно также выразить с помощью спектральной плотности

. (84)

Аналогичные выражения можно получить и для математического ожидания оценки .

Ждя дисперсии несмещенной оценки можно получить следующее выражение:

, (85)
где

- семиинвариант четвертого порядка.

Если последовательность гауссовская, то семиинварианты четвертого порядка в выражениях (85) обращаются в нуль.

Более трудоемко вычисление выражений для дисперсий смещенных оценок и ; сами выражения дисперсий более громоздки и мы их не приводим.

Отметим некоторые ассимптотические свойства оценок корреляционоой функции. При известном среднем оценка , как уже отмечалось выше, является несмещенной. При неизвестном среднем оценки и , как показывают, в частности, формулы (79)-(83), являются смещенными, причем смещение содержит множитель . Более точно поведение оценок и при выражается следующей теоремой.

Теорема 4. Если , то оценки и являются ассимптотическими несмещенными и

Если непрерывна при , то

Вернемся к дисперсиям оценок корреляционной функции. Если для с.п. , и , то предельная дисперсия величины будет определятся соотношением

. (86)

Соотношение (86) вместе с асимптотической несмещенностью означают состоятельность оценки .

Если (что имеет место для гауссовских с.п.) и , то предельные дисперсии величин стремятся к , когда .

Можно установить, что если моменты с.п. до четвертого порядка включительно соответствуют стационарности, и

и ,
то разность между и , а также между и имеет порядок . Это означает, во-первых, что оценки и состоятельны, а, во-вторых, что для «больших выборок» величину можно использовать как апроксимацию для и .

Методом моментов

Одним из общих методов нахождения оценок параметров является метод моментов. Он заключается в приравнивании определенного количества выборочных моментов к соответствующим теоретическим параметрам, которые являются функциями от неизвестных параметров. Рассматривая количество моментов, равное числу оцениваемых параметров, получаем искомые оценки. На практике этод метод приводит к сравнительно простым вычислениям. Мы рассмотрим применение этого метода последовательно к оцениванию параметров последовательности АР(p), СС(q) и АРСС(p,q).

Для уравнений с.п.АР(p) метод моментов сводится к решению системы уравнений Юла-Уокера (11) для относительно параметров . Вместо теоретических значений корреляционной функции следует подставить их оценки. В качестве таких оценок можно использовать , и из предыдущего раздела. Поскольку эти оценки состоятельны, то при больших T с вероятностью, близкой к единице, выборочная корреляционная матрица будет невырожденной и уравнения Юла-Уокера будут иметь решение , которое будет также состоятельной оценкой вектора . Однако оценки, найденные с помощью метода моментов, с точки зрения эффективности не являются наилучшими из возможных и даже при больших T они имеют наименьшую возможную дисперсию. В рассматриваемой модели с.п.АР(p) дисперсия «шума» тоже может являтся неизвестным параметром и для ее оценки может быть использованно равенство (14), в котором значения следует заменить их оценками, как при оценивании , а сами параметры в (14) должны быть заменены уже найденными оценками .

Приведем два примера оценок, полученных по методу моментов.

1. Последовательность АР(1), определяемая уравнением (8), содержит один неизвестный параметр . Уравнение Юла-Уокера имеет вид . Подставляя в него вместо и оценки и вида (77), получаем

. (87)

В нашем примере равенство (14) имеет вид

.
Отсюда получается оценка дисперсии «шума»

2. Последовательность АР(2), определяемая уравнением (9), содержит неизвестные параметр и . Система уравнений Юла-Уокера имеет вид

и дает оценки

.
Оценка для дисперсии «шума» будет иметь вид

,
В случае последовательности СС(q) метод моментов приводит к системе нелинейных уравнений относительно параметров , если в (33) полагать . Два метода решения такой нелинейной системы изложены в [3, с.226-229]. Приведем здесь один из них. Это так называемый линейно сходящийся итеративный процесс.

Из выражений (34) и (33) для корреляционной функции процесса СС(q) можно найти оценки параметров , точно в том порядке, как здесь указано, при помощи итераций

(88)
с условием, что . Параметры приравниваются к нулю в самом начале итеративной процедуры; значения и , используемые в любом цикле вычисления - это последние из доступных оценок этих величин. Например, в случае уравнения (88) имеют вид

В случае уравнения (88) приобретают вид

После исключения из этих уравнений величины приходим к квадратному уравнению относительно и находим оценку

(89)
в которой . Затем получаем оценку

. (90)

Наконец, рассмотрим оценку параметров в смешанной модели АРСС(p,q). Для оценки параметров авторегрессии можно использовать p-уравнения вида (47) для , в которых значения корреляционной функции заменяются выборочными значениями (оценками). Затем введем вспомогательный процесс W, полагая

, (91)
Тогда уравнению (43) можно придать вид

и, следовательно, с.п.W можно рассматривать как «чистую» последовательность CC(q). Исходя из равенства (91), можно выразить корреляционную функцию последовательности W через значения корреляционной функции последовательности Y. Можно показать, что

, (92)

где ; , .
Далее, пользуясь уже найдеными оценками для и параметров , по формулам (92) будем иметь оценки для корреляционной функции . На заключительном этапе используем описанный выше линейно сходящийся итеративный процесс для оценки неизвестных , либо (в частном случае ) воспользуемся готовыми формулами (89) и (90), в которых оценки и должны быть заменены оценками и .

Оценивание параметров