Существует класс цепей Маркова, отличающихся следующей особенностью: при достаточно большом числе шагов п вероятности перехода р _{i , j}(п) системы в различные состояния перестают ме­няться от шага к шагу. При этом предельные вероятности перехо­дов  р _{i , j}(п) = р _j, существуют для всех значений i, j и не зависят от номера исходного состояния А_i. Цепи Маркова, обладающие подобными свойствами, называются эргодическими, а режим функционирования системы, при котором вероятности переходов неизменны, – стационарным режимом.

Частным случаем эргодических цепей являются рассмотренные выше цепи с невосстанавливаемым ущербом и одним поглощающим состоянием: при достаточно большом числе шагов система с вероятностью р _m = 1 перейдет в поглощающее состояние А_m, из какого бы состояния ни начался процесс. Вероятность же на­хождения системы во всех других состояниях А_j (j¹ m) будет при этом равна нулю. Матрицы переходов для таких цепей в ста­ционарном режиме имеют следующий вид:

Заметим, однако, что если цепь с невосстанавливаемым ущер­бом имеет несколько поглощающих состояний или групп поглоща­ющих состояний, то процесс не будет эргодическим, так как его исход будет зависеть от начального состояния системы.

Судить об эргодичности процесса можно по следующим при­знакам:

– по известным особенностям протекания процесса (напри­мер, дискретные цепи с невосстанавливаемым ущербом);

– по виду матрицы перехода. Типичными признаками явля­ются: матрица переходов, состоящая только из положительных элементов р _{i , j}, или же матрица переходов, у которой положитель­ны все элементы главной диагонали и все элементы прилегающих к ней двух соседних диагоналей;

– если в результате возведения в степень п матрицы переходов ||р_i,j|| будет выполнено условие:                           

                р_i,j(п) – р _i,j(п – 1) £ e  (i=1,2, ..., т; j=1,2, ..., т),                     (22)

где e – заданная малая положительная величина.

Существуют следующие методы определения вероятностей пе­реходов эргодических цепей.

Для переходного режима функциони­рования цепи применяются методы, изложенные в 4 пункте 3-го вопроса лекции. Эти же методы могут быть использованы и при стационарном режиме. При этом процесс последовательного перемножения матриц дол­жен сопровождаться проверкой условия (22). Выполнение это­го условия на п-м шаге свидетельствует о том, что начался стационар­ный режим. Полученная матрица ||р _{i , j}(п)||содержит предельные вероятности перехода. Однако существует и специальный метод определения предельных вероятностей переходов, к изложению ко­торого мы и переходим.

Используем выражение (3):

Для п, при котором имеет место условие  р _{i , j}(п) = р _j(п) = P_j, можем записать

Поэтому

Таким образом, предельные вероятности переходов находятся из решения системы алгебраических уравнений (23). Эта си­стема при т неизвестных имеет только т – 1 независимых уравне­ний, так как одно (любое) из уравнений системы может быть по­лучено с помощью остальных благодаря условию

Поэтому система (23) дополняется этим условием.

Пример 8. Разрабатываются методы корректировки залпово­го артиллерийского огня по кораблю противника. Результатом каждого залпа может быть одно из следующих событий: А₁ – недолет или перелет без выноса по целику; А₂ – вынос по целику; А₃ – накрытие.

Различным методам корректировки соответствуют различные вероятности указанных событий на залп, задаваемые матрицами перехода вида    

w₁ – вероятность наступления в результате залпа события А₁, если в результате предыдущего залпа наступило событие А₁;

w₂ – вероятность наступления в результате залпа события А₂, если в результате предыдущего залпа наступило событие А₁;

w₃ – вероятность наступления в результате залпа события А₃, если в результате предыдущего залпа наступило событие А₁;

v₁ – вероятность наступления в результате залпа события А₁, если в результате предыдущего залпа наступило событие А₂;

v₂ – вероятность наступления в результате залпа события А₂, если в результате предыдущего залпа наступило событие А₂;

v₃ – вероятность наступления в результате залпа события А₃, если в результате предыдущего залпа наступило событие А₂;

z₁ – вероятность наступления в результате залпа события А₁, если в результате предыдущего залпа наступило событие А₃;

z₂ – вероятность наступления в результате залпа события А₂, если в результате предыдущего залпа наступило событие А₃;

z₃ – вероятность наступления в результате залпа события А₃, если в результате предыдущего залпа наступило событие А₃;

Все элементы р _{i , j} таких матриц положительны.

Цель применения оружия – поражение корабля противника. Цель моделирования – обоснование лучшего метода корректиров­ки огня из числа заданных методов.

Показателем эффективности стрельбы является вероятность поражения корабля противника. Однако при стационарном режи­ме этот показатель может быть заменен вероятностью накрытия цели залпом.

Стрельба на поражение (после окончания пристрелки) может рассматриваться именно как стационарный режим дискретной це­пи. Об эргодичности цепи свидетельствует также характер матри­цы перехода, все элементы которой положительны.

Для определения вероятностей различных исходов очередных залпов найдем предельные вероятности переходов. Составим си­стему уравнений

дополняемую условием р₁ + р₂ + р₃ = 1.

Подставим в два первых уравнения вместо вероятности р₃ ее значение, выраженное через веро­ятности р₁ и р₂:

р₃ = 1 – р₁ – р₂.

Получим систему из двух уравнений с двумя 'неизвестными:

Решением этой системы будет

где a₁=1–w₁+z₁; a₂=w₂–z₂; b₁=v₁–z₁; b₂=1–v₂+z₂;

После этого может быть найдена вероятность

Показателем эффективности в данном случае является W = р₃. Данную задачу иллюстрирует граф переходов (рис. 3.4.3)

Рис. 3.4.3. Графическое представление модели задачи