Теорема Шеннона о кодировании для канала без помех

Эффективное кодирование для передачи по дискретному каналу без помех базируется на теореме Шеннона:

1. При любой производительности источника сообщений, меньшей пропускной способности канала, то есть при условии:
(здесь должна быть формула)
- сколь угодно малая положительная величина.
Существует способ кодирования, позволяющий передавать по каналу все сообщения, вырабатываемые источником.

2. Не существует способа кодирования, обеспечивающего передачу сообщения без их неограниченного накопления, если
(опять же формула)

Другая формулировка:

Сообщение источника с энтропией H(Z) всегда можно закодировать в последовательность символов с объемом алфавита m так, что среднее число символов на знак будет сколь угодно близко к величине, равной отношению H(Z)/Hmax(Z), (Hmax=log m) и никогда не будет меньше этой величины.

Эффективность достигается благодаря присвоению наиболее вероятных комбинаций наиболее вероятным знакам. Используют или разделяющий символ (длина увеличивается), или коды строятся так, чтобы ни одна кодовая комбинация не являлась началом более длинной кодовой комбинации – префиксные коды.