Поможем в ✍️ написании учебной работы

Имя

Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Выберите тип работыЧасть дипломаДипломная работаКурсовая работаКонтрольная работаРешение задачРефератНаучно - исследовательская работаОтчет по практикеОтветы на билетыТест/экзамен onlineМонографияЭссеДокладКомпьютерный набор текстаКомпьютерный чертежРецензияПереводРепетиторБизнес-планКонспектыПроверка качестваЭкзамен на сайтеАспирантский рефератМагистерская работаНаучная статьяНаучный трудТехническая редакция текстаЧертеж от рукиДиаграммы, таблицыПрезентация к защитеТезисный планРечь к дипломуДоработка заказа клиентаОтзыв на дипломПубликация статьи в ВАКПубликация статьи в ScopusДипломная работа MBAПовышение оригинальностиКопирайтингДругое

Нажимая кнопку "Продолжить", я принимаю политику конфиденциальности

Свойства энтропии источника дискретных сообщений

 

Энтропия  источника дискретных сообщений, определяемая выражением (8), обладает следующими свойствами [4].

1.2.1. Энтропия есть величина вещественная, неотрицательная и ограниченная.

Выделим из формулы для энтропии (8) одно слагаемое  и докажем, что это слагаемое является величиной вещественной, неотрицательной и ограниченной.

Для крайних значений  и  рассматриваемое слагаемое обращается в нуль. При этом для значения  необходимо рассмотреть предел . Здесь р перевели в знаменатель в виде дроби 1/р. В числителе остается –logp, который представлен как log1/p=log1– logp = –logp, т.к. log1=0.

Обозначив  и воспользовавшись правилом Лопиталя, получим

.

Для значений  слагаемое  будет вещественным и неотрицательным.

Для доказательства ограниченности величины  найдем , при котором исследуемая величина примет максимальное значение. Для этого, как известно, надо отыскать первую производную и приравнять ее нулю:

,

Решая приведенное выше уравнение, получаем .

Этому значению будет соответствовать максимальное значение слагаемого , равное 0,531.

Таким образом, слагаемое  является вещественным, неотрицательным и ограниченным. График зависимости величины этого слагаемого от  приведен на рис..1.

Поскольку энтропия представляет собой сумму конечного числа N слагаемых,  то свойства для одного слагаемого в данном случае можно перенести на всю сумму.

1.2.2  Энтропия  лишь в том случае, когда все вероятности , кроме одной, равны нулю, а эта единственная вероятность равна единице. Следовательно,  только в случае полной определенности исхода опыта, а в остальных случаях . Последнее вытекает из того, что при , как было доказано в п.1.2.1, .

1.2.3 При заданном N энтропия максимальна и равна  лишь тогда, когда все события равновероятны, т.е. .

 

 

                            

Рис. 1. Зависимость значения одного слагаемого  от р

 

Двоичный канал связи

Двоичным каналом связи называют канал, в котором передаются два символа: «0» и «1».

Рассмотрим двоичный канал как дискретный источник сообщений. Учитывая, что канал может находиться в одном из двух возможных состояний (0 или 1), ансамбль событий на выходе канала можно представить как

,

где событие  соответствует передаче символа «0», а событие  – передаче символа «1».

Как отмечалось выше, при отсутствии шумов в канале принятое сообщение равно переданному сообщению, т.е. z₁=y₁ и z₂=y₂.

Длительности передаваемых символов двоичного кода z₁ и z₂ («0» и «1») примем одинаковыми и равными t. Так как двоичный канал является источников всего двух сообщений («0» или «1»), то длительность t _с сообщения равна длительности символа. Следовательно, t _с = t .

Обозначим вероятность появления символа «0» как . Так как символы двоичного кода «0» и «1» образуют полную группу несовместных событий ( ),  то вероятность появления символа «1» можно определить как . С учетом введенных обозначений и того факта, что число возможных сообщений для двоичного канала n=2 из выражения (3) получим

.                       (6)

График зависимости  от вероятности  появления символа, построенный на основании формулы (6), приведен на рис. 2.

При  символы «0» и «1» будут иметь одинаковую вероятность и наличие каждого из этих символов будет иметь наибольшую неопределенность. Достоверный прием на выходе канала конкретного символа будет полностью устранять эту неопределенность, поэтому сообщение, получаемое в результате приема, будет обеспечивать получение максимального количества информации: . Таким образом, в двоичном канале, когда вероятности обоих символов одинаковы, достоверный прием любого из них несет 1 дв. ед. информации.

 

Рис. 2. Зависимость энтропии Н(Z) двоичного канала

 от вероятности р появления символов

 

При всех других соотношениях значений вероятности появления символов «0» и «1» энтропия будет меньше (см. свойства энтропии дискретного источника [2]).

Из графика на рис. 2 видно, что энтропия  при  и . Действительно, при  априорно известно, что в канале передаются только символы «1», и сообщение об этом, т.е. их прием на выходе канала, не несет информации.

Аналогично при , когда в канале передаются только символы «0», сообщение не несет информации.

Определим пропускную способность двоичного канала при отсутствии шумов. Учитывая, что t _с = t и H(Z)_max=log2, из выражений (2) и (5) получим

.                                         (7)

 

С  шумами

1.2.1. Определение количества информации, получаемой от источника дискретных сообщений при неполной достоверности результатов опыта

В реальных каналах передачи информации всегда действуют шумы. Поэтому нельзя с полной достоверностью утверждать, что принятое сообщение y_j полностью соответствует переданному сообщению x_i.

Требуется определить количество информации, приходящееся в среднем на один опыт, когда полная достоверность его исхода отсутствует.

Пусть интересующие нас события (переданные сообщения) составляют ансамбль  

,                                  (8)

а результаты опыта, на основе которых мы выносим суждение об исходе событий , составляют ансамбль  (принятые сообщения)

.                                (9)

 Обозначим через  вероятность того, что при известном исходе опыта  имело место событие , т.е. это апостериорная вероятность p_c(x_i) события (x _i). Если выполняется условие

                                (10)

то в результате опыта ситуация полностью определена, и мы можем с полной достоверностью утверждать, какое событие (сообщение)  имело место. Так как неопределенность исхода событий  до опыта равна , а после опыта неопределенность отсутствует, то в этом случае

                                (11)

где  – количество информации, содержащееся в среднем в опытах  относительно интересующих нас событий .

В более общем случае, когда  для различных , после опыта сохранится неопределенность, которая, очевидно, приведет к уменьшению количества информации по сравнению с (11).

Количество информации, содержащееся в опыте  относительно событий , которое назовем частной мерой количества информации при ее неполной достоверности, можно определить как

                      .         (12)

Еще раз отметим, что условная вероятность  определяет послеопытную вероятность .

Количественная мера информации  (11) по аналогии с другими мерами будет представлять в данном случае усреднение частных мер количества информации (12) при неполной достоверности результатов опыта:

.     (13)

 Используя в (13) формулу вероятности совместных событий (см. (11) в описании лабораторной работы №1), получим выражение, описывающее количество информации в принятых сообщениях Y относительно переданных сообщений X

.             (14)

Учитывая, что , из выражения (14) находим количество информации, в среднем приходящееся на один опыт при его неполной достоверности,

,                               (15)

где   –  энтропия источника Х,  

 – условная энтропия, характеризующая потерю информации из-за недостоверности результатов опыта.

 

.             (16)

Учитывая две формы записи вероятности совместных событий (см. (15) в описании лабораторной работы №1),  для введенной меры количества информации, наряду с (15) можно получить дополнительные формы записи:

 

. (17)

 

1.2.2. Пропускная способность дискретных (цифровых) каналов

     с шумами

Для дискретного канала с шумами (рис. 1) количество информации, получаемой за время Т из последовательности выходных сигналов Z _T о входных сигналах Y_T, cоставит:

              I(Z_T,Y_T) = H(Z_T) – H(Z_T /Y_T) = H(Y_T) – H(Y_T /Z_T) ,                 (18)

где H(Z_T / Y_T) и H(Y_T / Z_T) – условные энтропии.

Если последовательность Y _Т состоит из m сообщений и средняя длительность сигнала, обеспечивающего передачу одного сообщения, составляет t _с, то из (18) можно определить скорость передачи информации как

    ,          (19)

где ,  – поток информации соответственно на выходе кодирующего устройства (на входе канала связи) и выходе канала связи (см. рис. 1),  и  характеризуют потерю информации в канале связи, обусловленную действием помех.

Из соотношения (19) и пропускная способность дискретного канала с шумами может быть определена из условия

.              (20)

 

1.2.3. Пропускная способность двоичного канала

Рассмотрим двоичный симметричный канал связи без памяти. Каналами без памяти называются такие каналы, у которых на каждый передаваемый сигнал (символ) шум действует независимо от того, какие символы передавались ранее. Симметричным называют канал, в котором вероятности искажения передаваемых символов одинаковые.

 Длительности передаваемых символов двоичного кода у₀ и у₁ («0» и «1») примем одинаковыми и равными t,  следовательно, длительность сообщения  t _с = t .

На выходе канала используется решающее устройство (РУ), с помощью которого принимаемые сигналы разделяются на две области z₀ и z₁ так, что если сигнал попадает в область z₀, то считается (принимается решение), что был передан сигнал y₀, а если в z₁, то передан у₁.

Решающее устройство допускает принятие и ошибочных решений. Если сигнал у₁ будет искажен помехой так, что он окажется в области z₀, в результате чего РУ принимает ошибочное решение, вероятность которого обозначим P(z₀/ y₁)= P_I. Ошибочное решение может быть принято и для сигнала у₀. Вероятность этого решения составит P(z₁/ y₀)= P_II.

Очевидно, что при данных обозначениях вероятности правильного решения будут P(z₀/ y₀)=1– P_II и P(z₁/ y₁)=1– P_I. Обозначим априорные вероятности передачи сигналов P(y₀)= P₀ и P(y₁)= P₁=1– P₀.

С учетом введенных обозначений двоичный канал можно представить в виде модели, приведенной на рис. 3.

Используя правила теории вероятностей, можно найти значения априорных вероятностей различных решений, принимаемых на выходе канала:

                      (21)

 

1-PII

z1

y0, P0

y1, P1

z0

1-PI

PI

PII

Рис. 3. Модель двоичного канала

 

Для вычисления пропускной способности рассматриваемого канала в соответствии с (20), (19) и (15) необходимо найти поток информации  на выходе канала связи и потерю информации  в канале связи, обусловленную действием помех.

Используя выражения (6), (19) и (21), получим

.                               (22)

Соответственно, из (16), (19) и (21) получим

.        (23)    Используя принятые выше обозначения вероятностей P(z₀) и P(z₁), представим (22) и (23) в виде:

, (24)

    (25)

Для симметричного двоичного канала вероятности искажения символов равны:  P_I = P_II = P _ош. В этом случае из (24) и (25) получим

(26)

и

 .     (27)

Очевидно,  не зависит от Р₀. В таком случае скорость передачи информации (19) будет максимальной, когда величина  примет наибольшее значение. Из свойств энтропии следует, что это условие выполняется, когда P(z₀)= P(z₁)=0.5, и в этом случае , что совпадает с пропускной способностью двоичного канала без шумов (см. (7)).

В соответствии с (19) скорость передачи информации в двоичном канале с шумами определяется как

.                                (28)

Когда условие равенства вероятностей появления символов «0» и «1» не выполняется, , то H(Z)<H(Z)_max и возможная скорость передачи уменьшается, соответственно снижается достижимая пропускная способность двоичного канала.

Наличие шумов, приводящих к ошибкам приема, снижает пропускную способность каналов.

Таким образом, для симметричного двоичного канала с шумами пропускная способность

.         (29)

На рис. 4 приведен график зависимости С_с t от Р_ош, полученный из формулы (29). Как видно из этого графика, при Р_ош= 0,5 пропускная способность канала С_с= 0. Этот результат очевиден, поскольку для значения Р_ош = 0,5 при передаче каждого из символов на выходе канала с равной вероятностью может быть принято решение z₀ и z₁.

При Р_ош > 0.5 с увеличением Р_ош пропускная способность канала возрастает. Этот, на первый взгляд, парадоксальный результат становится очевидным, если принять во внимание, что мы всегда можем изменить правило распознавания символов на обратное.

 

Рис. 4. График зависимости С_с t от Р_ош

 

Если считать, что решение z₁ соответствует передаче символов у₀, а решение z₀ – передаче символа у₁. Тогда вероятность принятия ошибочного решения станет равной 1 – Р_ош.

 

2. ВЫПОЛНЕНИЕ РАБОТЫ

 

ВНИМАНИЕ! Для задания диапазона изменения переменных величин использовать индексные переменные. Учтите, что по умолчанию счет в Mathcad начинается с 0.

В таблице 1 приведены исходные данные, используемые в работе. Номер варианта для выполнения работы соответствует номеру бригады

Таблица 1 – Длительность символа двоичного кода

№	1	2	3	4	5	6	7	8	9	10	11
τ, мкс	100	120	140	150	160	170	180	190	200	220	240

 

Энтропия дискретного источника информации

Каждому состоянию источника и ставится в соответствие условное обозначение в виде знака, например буквы, из алфавита данного источника: u₁, u₂, ..., u_N.

Одни состояния выбираются источником чаще, а другие реже, поэтому в общем случае он характеризуется ансамблем U. Ансамбль U представляет собой полную совокупность всех состояний с вероятностями p_i их появления

.                                         (1)

В частном случае все вероятности могут быть равны между собой. В этом случае говорят, что состояния источника информации равновозможны или равновероятны.

Так как источник информации в один и тот же момент времени может находиться только в одном из возможных состояний, то совокупность всех состояний образует полную группу несовместных событий. Для таких событий выполняется условие

.                                                   (2)

Вероятность p_i характеризует меру неопределенности выбора i -го состояния источника. Неопределенность до опыта можно рассматривать как меру количества информации, получаемой при полном устранении в результате опыта неопределенности относительно состояния источника.

Мера количества информации должна удовлетворять ряду естественных условий:

1) необходимость монотонного возрастания количества информации с увеличением возможностей выбора, т. е. с увеличением числа возможных состояний источника N. Это условие не выполняется при N=1, когда неопределенность дот опыта уже отсутствует, а количество информации, получаемое в результате опыта, имеет значение, равное единице;

2) требование аддитивности. Если два независимых источника с числом равновероятных состояний N и Μ рассматривать как один источник, одновременно реализующий пары состояний n_im_j, то неопределенность объединенного источника должна равняться сумме неопределенностей исходных источников. Поскольку общее число состояний объединенного источника равно Ν ^.Μ, то искомая функция должна удовлетворять условию

.                                    (3)

Меру количества информации, получаемой в результате опыта, можно установить как функцию отношения числа N равновозможных ответов о состоянии источника информации до опыта к числу n_c возможных ответов после проведения опыта: N/n_c. Если события равновероятны, то вероятность i-го события  до проведения опыта (априорная вероятность) равна . Вероятность определения состояния источника информации после проведения опыта (апостериорная вероятность) . Таким образом, количество информации, получаемое о состоянии источника информации в результате опыта, должно быть функцией отношения p_c/p_i.

Для выполнения перечисленных выше требований к количественной оценке информации целесообразно определять количество информации, полученной в результате проведения опыта об i-м событии, как логарифм отношения апостериорной и априорной вероятностей

.                                       (4)

В этом случае выполняются оба требования. При N=1, т.е. при полной доопытной определенности относительно состояния источника (р_с=р _i) получаем I_i=0. Соотношение (3), т.е. требование аддитивности, также выполняется, так как логарифм произведения чисел возможных состояний равен сумме логарифмов от каждого числа.

Обычно полагают К=1, а основание логарифма равным двум. При этом единица неопределенности называется двоичной единицей или битом и представляет собой неопределенность выбора из двух равновероятных событий.

Если в результате проведения опыта достоверно установлено, что источник информации находится в i-м состоянии, то р_с=1. Тогда количество информации определяется как

.                                            (5)

Учтем, что при равновероятных событиях априорная вероятность . Тогда выражение (5) преобразуется к виду

.                                      (6)

Мера количества информации, определяемая выражением (6) была предложена американским ученым Р. Хартли [1] в 1928г.

При неравновероятных состояниях свобода выбора источника ограничивается, что должно приводить к уменьшению априорной неопределенности.

Из выражения (5) следует, что в конечном ансамбле U сообщения u _i о разных событиях несут в общем случае разное количество информации. При решении большинства задач, связанных с построением систем передачи и преобразования информации, оказалось достаточным знать среднее количество информации, приходящееся на одно достоверное сообщение.

В соответствии с правилами теории вероятностей [2] среднее значение может быть определено как математическое ожидание (МО) величины , называемой частной мерой количества информации, т.е.

.                                   (7)

Используя значение I _i из (5), получим

.                     (8)

Мера неопределенности выбора дискретным источником состояния из ансамбля U неравновероятных событий была предложена американским ученым К. Шенноном [3]. Ее называют энтропией дискретного источника информации или энтропией конечного ансамбля. Энтропия определяет среднее количество информации, приходящееся на одно сообщение.

Рассмотрим взаимосвязь меры К. Шеннона с мерой Хартли. Если в источнике может быть реализовано N равновероятных состояний, то вероятность каждого из них равна р _i = (1/N), 1 i  N. Тогда из (8) следует

.      (9)

Из выражения (7) следует, что при равновероятных событиях при наступлении каждого события получают одно и то же количество информации log(N), оно же является и средним, т.е. энтропией источника с равновероятными состояниями.