Возникновение и развитие основных идей современной синтактики связано с развитием науки, получившей название теории информации, или статистической теории связи Шеннона-Винера. Официальной датой ее рождения считается 1948 г., когда были опубликованы "Математическая теория связи" Клода Шеннона и "Кибернетика" Норберта Винера. Как видно из ее названия, эта теория первоначально создавалась для решения практических задач передачи сообщений по каналам связи.

В общих чертах проблема заключалась в следующем. Как известно, любая передача сообщений предполагает источник сообщения, получателя и канал связи, по которому сообщение передается. Сообщение в процессе передачи обязательно кодируется, например, в виде букв алфавита, цифр, электрических импульсов и т.п. При этом передаваемые сигналы, даже хорошо различимые в момент передачи, при приеме на другом конце линии налагаются друг на друга подобно эхо в горах. Кроме того, в канале связи возникают различные шумы и помехи, искажающие полезные сигналы и затрудняющие их опознавание. Можно увеличить надежность приема и опознавания сигналов, удлиняя время на их передачу или применяя более сложные способы кодирования. Однако это приводит к падению скорости передачи. Одна из центральных задач теории связи состоит в том, чтобы выбрать такой "экономный" код, который при заданной надежности связи обеспечил бы максимальную скорость передачи сообщений. Другой типичной задачей является определение пропускной способности канала связи. С появлением компьютеров возникла необходимость в разработке методов расчета необходимого объема запоминающих устройств, способов ввода данных в эти запоминающие устройства и вывода их для непосредственного использования.

Математическая теория, разработанная Шенноном и Винером, позволяла решить эти и ряд других важных задач на основе введенного понятия "количества информации". Более того, в их работах старая теория связи была рассмотрена со столь общих позиций, что стало возможным получить ряд новых общих закономерностей процессов управления в системах различной природы.

В то же время следует отметить, что специалисты, проектировавшие и эксплуатировавшие технические системы коммуникаций, интересовались в первую очередь правильностью передаваемых сигналов - носителей сообщений, а не их содержанием. В своей деятельности они исходили из того принципа, что если сигнал передается по каналу связи без искажений, то сообщение будет обладать смыслом, полезностью, истинностью, надежностью, новизной и всеми другими свойствами информации. Поэтому и математическая теория связи касается лишь самих сигналов и содержащегося в них "количества информации" (количества знаков), абстрагируясь от всех специфических областей ее использования человеком.

Из определения информации, введенного выше, следует, что любой подход к измерению информативности сообщения, в том числе и концепция Шеннона-Винера, связан с мерой неопределенности событий, которые происходят или будут происходить. Поэтому изучение свойств неопределенности и нахождение ее количественных характеристик является исходным этапом в теории информации.

Под неопределенностью в дальнейшем будем понимать отсутствие однозначного знания о состоянии объекта у получателя сообщения. Снять, устранить неопределенность - означает устранить неоднозначность. Различают неопределенность, обусловленную внутренними свойствами объектов и связанную с неполнотой сведений о них. В теории информации Шеннона-Винера исследуется неопределенность, связанная с неполнотой сведений, относительно систем, поддающихся описанию вероятностными законами.

Сформулируем свойства, которым должна удовлетворять численная мера неопределенности. Рассмотрим две системы с разным числом возможных состояний, причем в каждом из состояний системы могут оказаться случайным образом. Следовательно, нашим знаниям об этих системах присуща какая-то степень неопределенности. Интуитивно ясно, что неопределенность той системы больше, у которой больше возможных состояний. Очевидно также, что у системы, имевшей только одно возможное состояние, неопределенность отсутствует, а с ростом их числа неопределенность возрастает.

Может показаться, что число возможных состояний полностью характеризует степень неопределенности системы. Однако, как будет показано ниже, это верно лишь для систем с равновероятными состояниями. Поясним сказанное следующим примером. Пусть некоторое техническое устройство может находиться с вероятностью 0.99 в одном состоянии и 0.01 - во втором. Такая система, очевидно, имеет свою очень малую степень неопределенности, поскольку почти наверняка она окажется в первом состоянии. Если же оба состояния равновероятны, то неопределенность системы должна возрасти, хотя число состояний не изменилось. Следовательно, степень неопределенности системы зависит не только от числа возможных состояний, но и от вероятностей их наступления.

Наконец, естественно предположить, что неопределенность системы, состоящей из двух независимых подсистем, равна сумме неопределенности этих подсистем, взятых в отдельности.

Пусть имеет место некоторое событие А, следствием которого может быть п возможных исходных ( а₁,а₂,…, а₃). Предположим, что каким-то образом можно оценить вероятность наступления каждого исхода: Р(а₁ ), Р( а ₂), ….,Р(а _n ).