4.1 Количество информации приёмника
Количество информации
Количеством информации символа сообщения определяется:
I(bj) = - log2(p(bj)) = - log(p(bj)) [бит] (j=1,2…n)
В Шенноновской теории информации количество информации приемника определяется вероятностью появления символа.
I(bj) = - ln(p(bj)) [нат]
I(bj) = - lg(p(bj)) [дит]
Каждый символ сообщения содержит своё количество информации.
Свойства количества информации приемника сообщений
1. Количество информации неотрицательно: I(bj) ≥ 0
2. Чем выше вероятность, тем меньшее количество информации содержит символ.
3. Если вероятность символа равна 1, то количество информации этого символа равно 0.
р(bj) = 1 ⇒ I(bj) = 0
4. Аддитивность. Количество информации нескольких символов равно сумме количеств информаций каждого.
I(b1, b2, b3) = I(b1) + I(b2) + I(b3)
Энтропия – среднее количество информации на символ сообщения (средневзвешенное).
[бит/символ]
Свойства энтропии
1. Энтропия неотрицательна:
Н(А) ≥ 0
2. Энтропия равна нулю тогда и только тогда, когда вероятность символа равна 1:
Н(ai) = 0 ⇔ р(ai) =1
3. Энтропия ограничена
H (B) =< log n [бит/символ]
где n – количество символов в сообщении.
4. Максимальная энтропия равна
Hmax(B) = log n [бит/символ]
4.2 Информационные потери
Существует два вида условной энтропии, которые определяют действия помех на дискретном канале – это частная условная энтропия (ЧУЭ) и общая условная энтропия (ОУЭ).
Частная условная энтропия приемника (ЧУЭП) сообщений определяет потери информации каждого принятого сигнала .
H(A/ bj) = − p(ai/bj)log p(ai / bj) (j = 1,2…n) [бит/символ]
Общая условная энтропия приемника (ОУЭП) определяет средние потери информации на символ при приеме ансамбля {B, p( )}:
[бит/символ]
Скоростные характеристики
5.1 Скорость модуляции [симв/сек]
[симв/сек],
где - длительность передачи одного сигнала
Если длительность передачи сигналов различна, то вычисляется среднее время передачи одного сигнала.
5.2 Производительность источника бод;
Производительность источника - количество бит, вырабатываемых в единицу времени - 1 секунду.
[бод]
5.3 Скорость передачи или бод;
Скорость передачи источника:
[бит/сек], [бод]
Скорость передачи приёмника:
[бит/сек], [бод]
5.4 Емкость канала или бод;
Емкость канала (пропускная способность канала) - это максимальное
количество бит, передаваемое в единицу времени – секунду.
Пропускная способность – максимальная скорость передачи.
C=maxR
Емкость канала источника:
[бит/сек], [бод]
Емкость канала приёмника:
[бит/сек], [бод]
5.5 Коэффициент эффективности дискретного канала
Чем больше коэффициент эффективности дискретного канала стремится к единице, тем эффективнее канал и тем меньше информационные потери на нём.
Дата: 2019-12-22, просмотров: 398.