Поможем в ✍️ написании учебной работы

Имя

Поможем с курсовой, контрольной, дипломной, рефератом, отчетом по практике, научно-исследовательской и любой другой работой

Выберите тип работыЧасть дипломаДипломная работаКурсовая работаКонтрольная работаРешение задачРефератНаучно - исследовательская работаОтчет по практикеОтветы на билетыТест/экзамен onlineМонографияЭссеДокладКомпьютерный набор текстаКомпьютерный чертежРецензияПереводРепетиторБизнес-планКонспектыПроверка качестваЭкзамен на сайтеАспирантский рефератМагистерская работаНаучная статьяНаучный трудТехническая редакция текстаЧертеж от рукиДиаграммы, таблицыПрезентация к защитеТезисный планРечь к дипломуДоработка заказа клиентаОтзыв на дипломПубликация статьи в ВАКПубликация статьи в ScopusДипломная работа MBAПовышение оригинальностиКопирайтингДругое

Нажимая кнопку "Продолжить", я принимаю политику конфиденциальности

                                                                                             

2.2.1. Энтропия одного дискретного источника

Имеется два статистически не связанных дискретных источника сообщений: U2 и V2. Источники формируют N=4 и M=4 разновероятных сообщений. Сообщения каждого источника образуют группу несовместных событий, т.е. выполняется условие (2).

Вероятности появления сообщений каждого источника:

 

Выполнить

1)  Определить энтропию каждого источника H(U2) и H(V2), используя меру Шеннона (см. выражение (8)). Задать формат результата с 6-ю знаками после запятой.

2) Сравнить полученные значения H(U2) и H(V2) и объяснить их различие.

3) Сравнить полученные значения H(U2) и H(V2) с H(U1) и H(V1) из п.2.1.1 и объяснить их различие.

2.2.2. Энтропия ансамбля статистически не связанных источников разновероятных событий

Как и в п.2.1.2 рассмотрим совместное появление событий из ансамбля U2 и ансамбля V2.

Объединим источники дискретных сообщений U2 и V2 в ансамбль . Все возможные пары   событий  и . могут рассматриваться как элементы нового объединенного ансамбля. Число таких элементов .

Выполнить

1) Определить вероятности появления каждой возможной пары событий , используя выражение (16).

2) Составить объединенный ансамбль  по образцу п.1.3.

3) Определить энтропию H(U2,V2) объединенного ансамбля событий, используя выражение (10). Задать формат результата с 6-ю знаками после запятой.

4) Сравнить полученное значение энтропии ансамбля  с суммой энтропий H(U2) и H(V2) источников U2 и V2, определенных в п.2.2.1. Убедиться, что энтропия ансамбля, образованного статистически не связанными источниками, равна сумме энтропий всех источников.

 

2.2.3. Энтропия ансамбля статистически связанных источников разновероятных событий

Изменим вероятности  совместного появления пары событий , определенные в 1) п.2.2.2. При этом нарушатся условия независимости источников U2 и V2, и вероятность появления одного из событий источника V2 будет зависеть от того какое событие произошло в источнике U2 (см. пояснения к формуле (11)).

Вероятность появления пары событий  определяется выражением (11). Зная вероятности  совместного появления пары событий   и вероятности событий  p(u _i) и p(v_j), из (11) можно определить условные вероятности:  – условная вероятность , то есть вероятность события  при условии, что произошло событие ,  – условная вероятность , то есть вероятность события  при условии, что произошло событие .

Выполнить

1) Для каждой бригады рассчитать вероятности  совместного появления пары событий  по следующей формуле

,          (17)

где  - вероятности совместного появления пары событий,  определенные в 1) п.2.2.2,

NB – номер бригады,

 - дискретность (шаг) изменения вероятности; =0.0005.

2) Определить энтропию H(U2,V2) объединенного ансамбля событий, используя выражение (10).

3) Используя полученные из (17) значения вероятностей  и  приведенные в п.2.2.1 вероятности p(u _i) сообщений источника U2, определить из выражения (11), условные вероятности  появления событий источника V2 при условии, что наступило одно из событий источника U2.

4) Вычислить, используя выражение (14), условную энтропию  ансамбля V2.

5) Вычислить, используя выражение (15) и данные из 3) п.2.2.3, энтропию H(U2,V2) ансамбля  статистически связанных источников разновероятных событий. Задать формат результата с 6-ю знаками после запятой.

Сравнить с данными, полученными в 2) п.2.2.3.

6) Используя полученные из (17) значения вероятностей  и  вероятности p(v_j) сообщений источника V2, определить из выражения (11), условные вероятности  появления событий источника U2 при условии, что наступило одно из событий источника V2.

7) Вычислить, используя выражение (14), условную энтропию  ансамбля U2.

8) Вычислить, используя выражение (15) и данные из 7) п.2.2.3,, энтропию H(U2,V2) ансамбля статистически связанных источников разновероятных событий. Задать формат результата с 6-ю знаками после запятой. Сравнить с данными, полученными в 2) п.2.2.3.

Сравнить результаты 5) и 8) п.2.2.3.

9) Сравнить полученное в 5) и 8) п.2.2.3 значение энтропии H(U2,V2) ансамбля статистически связанных источников с энтропией H(U2,V2) ансамбля статистически не связанных источников, определенной в 3) п.2.2.2. Объяснить различие.

 

3. СОДЕРЖАНИЕ ОТЧЕТА

 

3.1. Цель работы и краткие теоретические сведения по оценке количества информации, получаемой в результате опыта от источника информации.

3.2. Расчетные соотношения, определяющие количественные оценки энтропий источников информации, и результаты расчетов, выполненных в разделе 2.

3.3. Сравнение результатов, полученных при выполнении заданий раздела 2 и выводы по результатам сравнений.

4. КОНТРОЛЬНЫЕ ВОПРОСЫ

 

1. Приведите понятие об информации.

2. Виды сообщений.

3. Дискретные источники информации.

4. Количественная мера информации для равновозможных событий (сообщений). Мера Р. Хартли.

5. Недостатки меры Р. Хартли.

6. Энтропия источника дискретных разновозможных сообщений.

7. Свойства энтропии.

8. Энтропия совместных сообщений.

9. Как связана вероятность совместного появления сообщений от разных источников с вероятностью появления событий каждого источника?

10.  Что такое условная энтропия?

11.  Как определяется энтропия ансамбля статистически не связанных источников информации?

12.  Как определяется энтропия ансамбля статистически связанных источников информации?

13.  В чем отличие энтропий ансамбля статистически не связанных источников информации и ансамбля статистически связанных источников информации?

 

БИБЛИОГРАФИЧЕСКИЙ СПИСОК

 

1. Хартли Р. Передача информации. Теория информации и ее приложения /Под ред. А. А. Харкевича. — М.: Физматгиз, 1959. – 328 с.

2. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и ее инженерные приложения. – М.: Высшая школа, 2010. – 480 с.

3. Шеннон К. Работы по теории информации и кибернетике. — М.: ИЛ, 1963. – 832 с.

4. Кудряшов Б.Д. Теория информации. Учебник для вузов. – С.Пб.: ПИТЕР, 2009. – 320 с. (Допущено УМО в качестве учебного пособия для студентов вузов, обучающихся по направлению подготовки «Информационные системы»).

 

 

Лабораторная работа №2

 

ДВОИЧНЫЙ КАНАЛ ПЕРЕДАЧИ ИНФОРМАЦИИ

 

Цель работы: знакомство с понятием «пропускная способность канала передачи информации»; изучение зависимости пропускной способности двоичного канала от вероятности искажения передаваемых символов и вероятности их появления.

Используемые средства: программа MathCAD.

 

1. КРАТКИЕ ТЕОРЕТИЧЕСКИЕ СВЕДЕНИЯ

 

В самом общем виде структурную схему цифрового информационного канала можно представить в следующем виде (рис. 1 [1, 2]).

Кодирующее устройство

Декодирующее устройство

Канал связи

Источник помех

Сообщения от источника

Кодированный сигнал на входе канала связи

Кодированный сигнал на выходе канала связи

Сообщения к получателю

x

y

z

w

На вход такого канала обычно поступают дискретные сообшения х, например, в виде текста. Последние с помощью кодирующего устройства преобразуются в кодированные сигналы y, например, в двоичный код.

Для кодирования используется некоторый алфавит элементарных сигналов (символов) – , а существо кодирования сводится к представлению отдельных сообщений x_i или последовательностей сообщений некоторыми комбинациями символов используемого алфавита.

 

Рис. 1. Структурная схема цифрового канала

 

Декодирующее устройство преобразует кодированные сигналы z в сообщения w в форме, наиболее приемлемой для получателя, которым может быть не только человек, но и различные технические устройства (принтер, монитор, ПЭВМ и др.). В современных информационно-вычислительных комплексах исходные сообщения  x могут быть и в непрерывной форме, но с помощью кодирующих устройств преобразуются в кодированные (цифровые) сигналы.

Для двоичного канала достаточно иметь алфавит из двух символов: «0» и «1».