При отсутствии шумов можно считать, что в информационном канале (см. рис.1) z= y, а w=x, следовательно. Для сообщений, передаваемых за время Т, , . Количество информации, содержащейся в поступающих к получателю сообщениях W относительно переданных от источника сообщений Х,  за время Т составит

                           I(W_T, X_T) = I(X_T, X_T) = H(X_T),                            

где Н(Х_Т) – энтропия источника сообщений.

По аналогии для канала связи, являющегося частью информационного канала, количество информации, получаемой на выходе канала, можно представить в виде

                                 I(Z_T,Y_T) = I(Y_T, Y_T) = H(Y_T).                       (1)

Если последовательность х_Т состоит из m сообщений и средняя длительность сигнала, обеспечивающего передачу одного сообщения, составляет t _с, то можно определить скорость передачи информации как

,      (2)

где T = τ_cm;

Н(Х) – энтропия источника n сообщений.

.                                         (3)

Очевидно, что скорость передачи информации  будет зависеть от статистических характеристик источника сообщений, метода кодирования сообщений и свойств канала. Так, при одном и том же способе кодирования длительность символов передаваемых сигналов может быть различной в зависимости от ширины полосы частот пропускания канала. С изменением длительности символов меняется и скорость передачи информации.

Пропускная способность информационного канала C определяется максимальным значением скорости передачи:

           (4)

Аналогично находится пропускная способность канала связи C _с, являющегося частью информационного канала:

             (5)

Обычно C _с > C.

Двоичный канал связи

Двоичным каналом связи называют канал, в котором передаются два символа: «0» и «1».

Рассмотрим двоичный канал как дискретный источник сообщений. Учитывая, что канал может находиться в одном из двух возможных состояний (0 или 1), ансамбль событий на выходе канала можно представить как

,

где событие  соответствует передаче символа «0», а событие  – передаче символа «1».

Как отмечалось выше, при отсутствии шумов в канале принятое сообщение равно переданному сообщению, т.е. z₁=y₁ и z₂=y₂.

Длительности передаваемых символов двоичного кода z₁ и z₂ («0» и «1») примем одинаковыми и равными t. Так как двоичный канал является источников всего двух сообщений («0» или «1»), то длительность t _с сообщения равна длительности символа. Следовательно, t _с = t .

Обозначим вероятность появления символа «0» как . Так как символы двоичного кода «0» и «1» образуют полную группу несовместных событий ( ),  то вероятность появления символа «1» можно определить как . С учетом введенных обозначений и того факта, что число возможных сообщений для двоичного канала n=2 из выражения (3) получим

.                       (6)

График зависимости  от вероятности  появления символа, построенный на основании формулы (6), приведен на рис. 2.

При  символы «0» и «1» будут иметь одинаковую вероятность и наличие каждого из этих символов будет иметь наибольшую неопределенность. Достоверный прием на выходе канала конкретного символа будет полностью устранять эту неопределенность, поэтому сообщение, получаемое в результате приема, будет обеспечивать получение максимального количества информации: . Таким образом, в двоичном канале, когда вероятности обоих символов одинаковы, достоверный прием любого из них несет 1 дв. ед. информации.

Рис. 2. Зависимость энтропии Н(Z) двоичного канала

 от вероятности р появления символов

При всех других соотношениях значений вероятности появления символов «0» и «1» энтропия будет меньше (см. свойства энтропии дискретного источника [2]).

Из графика на рис. 2 видно, что энтропия  при  и . Действительно, при  априорно известно, что в канале передаются только символы «1», и сообщение об этом, т.е. их прием на выходе канала, не несет информации.

Аналогично при , когда в канале передаются только символы «0», сообщение не несет информации.

Определим пропускную способность двоичного канала при отсутствии шумов. Учитывая, что t _с = t и H(Z)_max=log2, из выражений (2) и (5) получим

.                                         (7)