С  шумами

1.2.1. Определение количества информации, получаемой от источника дискретных сообщений при неполной достоверности результатов опыта

В реальных каналах передачи информации всегда действуют шумы. Поэтому нельзя с полной достоверностью утверждать, что принятое сообщение y_j полностью соответствует переданному сообщению x_i.

Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.

Пусть интересующие нас события (переданные сообщения) составляют ансамбль  

,                                  (8)

а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль  (принятые сообщения)

.                                (9)

 Обозначим через  вероятность того, что при известном исходе опыта  имело место событие , т.е. это апостериорная вероятность p_c(x_i) события (x _i). Если выполняется условие

                                (10)

то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение)  имело место. Так как неопределенность исхода событий  до опыта равна , а после опыта неопределенность отсутствует, то в этом случае

                                (11)

где  – количество информации, содержащееся в среднем в опытах  относительно интересующих нас событий .

В более общем случае, когда  для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации по сравнению с (11).

Количество информации, содержащееся в опыте  относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить как

                      .         (12)

Еще раз отметим, что условная вероятность  определяет послеопытную вероятность .

Количественная мера информации  (11) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (12) при неполной достоверности результатов опыта:

.     (13)

 Используя в (13) формулу вероятности совместных событий (см. (11) в описании лабораторной работы №1), получим выражение, описывающее количество информации в принятых сообщениях Y относительно переданных сообщений X

.             (14)

Учитывая, что , из выражения (14) находим количество информации, в среднем приходящееся на один опыт при его неполной достоверности,

,                               (15)

где   –  энтропия источника Х,  

 – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.

.             (16)

Учитывая две формы записи вероятности совместных событий (см. (15) в описании лабораторной работы №1),  для введенной меры количества информации, наряду с (15) можно получить дополнительные формы записи:

. (17)

1.2.2. Пропускная способность дискретных (цифровых) каналов

     с шумами

Для дискретного канала с шумами (рис. 1) количество информации, получаемой за время Т из последовательности выходных сигналов Z _T о входных сигналах Y_T, cоставит:

              I(Z_T,Y_T) = H(Z_T) – H(Z_T /Y_T) = H(Y_T) – H(Y_T /Z_T) ,                 (18)

где H(Z_T / Y_T) и H(Y_T / Z_T) – условные энтропии.

Если последовательность Y _Т состоит из m сообщений и средняя длительность сигнала, обеспечивающего передачу одного сообщения, составляет t _с, то из (18) можно определить скорость передачи информации как

    ,          (19)

где ,  – поток информации соответственно на выходе кодирующего устройства (на входе канала связи) и выходе канала связи (см. рис. 1),  и  характеризуют потерю информации в канале связи, обусловленную действием помех.

Из соотношения (19) и пропускная способность дискретного канала с шумами может быть определена из условия

.              (20)

1.2.3. Пропускная способность двоичного канала

Рассмотрим двоичный симметричный канал связи без памяти. Каналами без памяти называются такие каналы, у которых на каждый передаваемый сигнал (символ) шум действует независимо от того, какие символы передавались ранее. Симметричным называют канал, в котором вероятности искажения передаваемых символов одинаковые.

 Длительности передаваемых символов двоичного кода у₀ и у₁ («0» и «1») примем одинаковыми и равными t,  следовательно, длительность сообщения  t _с = t .

На выходе канала используется решающее устройство (РУ), с помощью которого принимаемые сигналы разделяются на две области z₀ и z₁ так, что если сигнал попадает в область z₀, то считается (принимается решение), что был передан сигнал y₀, а если в z₁, то передан у₁.

Решающее устройство допускает принятие и ошибочных решений. Если сигнал у₁ будет искажен помехой так, что он окажется в области z₀, в результате чего РУ принимает ошибочное решение, вероятность которого обозначим P(z₀/ y₁)= P_I. Ошибочное решение может быть принято и для сигнала у₀. Вероятность этого решения составит P(z₁/ y₀)= P_II.

Очевидно, что при данных обозначениях вероятности правильного решения будут P(z₀/ y₀)=1– P_II и P(z₁/ y₁)=1– P_I. Обозначим априорные вероятности передачи сигналов P(y₀)= P₀ и P(y₁)= P₁=1– P₀.

С учетом введенных обозначений двоичный канал можно представить в виде модели, приведенной на рис. 3.

Используя правила теории вероятностей, можно найти значения априорных вероятностей различных решений, принимаемых на выходе канала:

                      (21)

Рис. 3. Модель двоичного канала

Для вычисления пропускной способности рассматриваемого канала в соответствии с (20), (19) и (15) необходимо найти поток информации  на выходе канала связи и потерю информации  в канале связи, обусловленную действием помех.

Используя выражения (6), (19) и (21), получим

.                               (22)

Соответственно, из (16), (19) и (21) получим

.        (23)    Используя принятые выше обозначения вероятностей P(z₀) и P(z₁), представим (22) и (23) в виде:

, (24)

    (25)

Для симметричного двоичного канала вероятности искажения символов равны:  P_I = P_II = P _ош. В этом случае из (24) и (25) получим

(26)

и

 .     (27)

Очевидно,  не зависит от Р₀. В таком случае скорость передачи информации (19) будет максимальной, когда величина  примет наибольшее значение. Из свойств энтропии следует, что это условие выполняется, когда P(z₀)= P(z₁)=0.5, и в этом случае , что совпадает с пропускной способностью двоичного канала без шумов (см. (7)).

В соответствии с (19) скорость передачи информации в двоичном канале с шумами определяется как

.                                (28)

Когда условие равенства вероятностей появления символов «0» и «1» не выполняется, , то H(Z)<H(Z)_max и возможная скорость передачи уменьшается, соответственно снижается достижимая пропускная способность двоичного канала.

Наличие шумов, приводящих к ошибкам приема, снижает пропускную способность каналов.

Таким образом, для симметричного двоичного канала с шумами пропускная способность

.         (29)

На рис. 4 приведен график зависимости С_с t от Р_ош, полученный из формулы (29). Как видно из этого графика, при Р_ош= 0,5 пропускная способность канала С_с= 0. Этот результат очевиден, поскольку для значения Р_ош = 0,5 при передаче каждого из символов на выходе канала с равной вероятностью может быть принято решение z₀ и z₁.

При Р_ош > 0.5 с увеличением Р_ош пропускная способность канала возрастает. Этот, на первый взгляд, парадоксальный результат становится очевидным, если принять во внимание, что мы всегда можем изменить правило распознавания символов на обратное.

Рис. 4. График зависимости С_с t от Р_ош

Если считать, что решение z₁ соответствует передаче символов у₀, а решение z₀ – передаче символа у₁. Тогда вероятность принятия ошибочного решения станет равной 1 – Р_ош.

2. ВЫПОЛНЕНИЕ РАБОТЫ

ВНИМАНИЕ! Для задания диапазона изменения переменных величин использовать индексные переменные. Учтите, что по умолчанию счет в Mathcad начинается с 0.

В таблице 1 приведены исходные данные, используемые в работе. Номер варианта для выполнения работы соответствует номеру бригады

Таблица 1 – Длительность символа двоичного кода