Как измерить количество новостей, принятых по телеграфу? В каком виде передаются «записи» о наследственных признаках? Как возникает в природе живая материя? Как рождается мысль?
Чтобы найти ответы на эти вопросы, читатель должен пройти вместе с автором и героями книги по улицам условного Нового Города и по просторам Ничейной земли. Эта книга поможет ему понять, почему методы, рожденные техникой связи, нашли применение в биологии и психологии и как удалось измерить одними и теми же единицами информацию в клетке, в кристалле и на страницах газет.
Обсуждаются также проблемы, которые еще предстоит решить современной науке с помощью теории информации.
Автор не обходит молчанием спорные вопросы. Читатель примет участие в горячих дискуссиях, познакомится с разными точками зрения и вооружится новыми знаниями, помогающими глубже понять окружающий нас материальный мир.
Новая территория была завоевана для науки с появлением в недавнее время теории информации. Это открытие создало новую область, немедленно привлекшую разведчиков и исследователей... Как это случилось? Как далеко это идет? Означает ли это вторжение науки на территорию, принадлежавшую по традициям философии, или это есть открытие новой страны, своего рода «ничейной земли»?
Так начинает свою книгу «Наука и теория информации» известный физик Леон Бриллюэн. Откройте ее на любой странице, и вы увидите цифры и уравнения, таблицы и графики — в общем то же, что в сотнях других специальных книг. И не каждый способен в этих графиках и уравнениях уловить очертания Ничейной земли.
Бриллюэн говорит про Ничейную землю, а я вспоминаю любимые книги детства. Всплывают в памяти их герои, вымышленные и реальные: суровый Немо, предприимчивый Крузо, мужественный Амундсен, благородный Миклухо-Маклай. Это они исследовали новые земли. А мы во всем старались им подражать. Покоренные их отвагой, мы увлекались романтикой их приключений и не слишком охотно замечали трудности, через которые им приходилось пройти. Кто из нас не был в детстве уверен, что вырастет таким же сильным и смелым и тоже пройдет по нехоженым тропам, познавая повадки диких животных и изучая обычаи неизвестных племен?
КАК ОТКРЫЛИ НИЧЕЙНУЮ ЗЕМЛЮ
(Вместо предисловия)
Но вот мы становимся старше, и мир детских фантазий уступает место миру реальному. Мы с удивлением замечаем, что на нашей планете, испещренной сетью дорог, наземных и водных, подземных, подводных, воздушных и даже космических, уже не осталось нехоженых троп. Разве что безжизненные вершины, вселяющие в оптимистов веру в «снежного человека», да неизведанные глубины океана, где, по рассказам некоторых мореплавателей, будто бы (и опять только будто бы!) скрываются чудовища, сохранившие облик прошлых времен.
О какой же Ничейной земле вспомнил вдруг Леон Бриллюэн?
Достаточно взглянуть на название его книги, чтобы понять, что речь в ней идет о теории информации и о том, что дала эта молодая теория современной науке. А тому, кто внимательно изучит эту книгу, станет ясно, о какой Ничейной земле говорит ее автор. Появление теории информации открыло науке новые перспективы, указало ей новые цели и неизведанные пути.
«Как это случилось? Как далеко это идет?» До последнего времени в слово «информация» никто не пытался вкладывать строгий научный смысл.
Приобретение знаний; факты, новости, сведения, полученные путем наблюдения, — так определяли понятие «информация» авторы энциклопедий и словарей. Определение казалось исчерпывающим и логичным до тех пор, пока не нашлись исследователи, пожелавшие измерить количество новостей, сведений, знаний (!) с помощью новых, невиданных единиц. Единицы не были досужим домыслом кабинетных ученых. Сама жизнь, клокочущая потоком новостей и фактов, поставила перед наукой этот вопрос.
Наш век — век стремительного движения, и мы уже давно перестали удивляться тому, что весть о важном событии с быстротой молнии облетает весь земной шар. Получение информации с любых расстояний стало делом будничным и привычным. Имея приемник и передатчик, вы легко наладитm связь с любым уголком земли.
Но вот в последние годы появились удивительные машины. Они могут получать информацию путем самостоятельных «наблюдений», хранить ее в своей «памяти», обрабатывать различные сведения и передавать их друг другу.
На страницах научных журналов стали обсуждаться поистине фантастические факты. Оказалось, что маленькая половая клетка несет в себе такое количество информации, которое нельзя уместить в сотнях огромных книг.
Странные сопоставления! Половая клетка — и книга. Что между ними общего? Казалось бы, ничего. А в сущности, они выполняют одну и ту же задачу: сохраняют информацию и передают ее следующим поколениям.
Не так-то легко привыкать к новым понятиям и новым взглядам. Книга доносит нам мысли и чувства автора. А какую информацию содержит в себе половая клетка? Может быть, мы просто называем одним и тем же словом совершенно разные вещи?
Нет, не разные. В любых явлениях информация имеет одни и те же неизменные свойства и может быть измерена с помощью одних и тех же единиц.
Кто же она, эта таинственная незнакомка? До нее все в мире было в общем понятно: мы знали, что в нем происходит много материальных явлений, но в конечном счете все они зависят от разных видов энергии и от различных веществ. И вдруг какая-то информация, понятие новое и непривычное: она существует вместе с веществом и энергией, но сама не энергия и не вещество. Так что же это такое?
Помните сказку о волшебном колечке? Катится оно по дорожке от леса к речке, через мостик и все дальше и дальше, туда, где за широкими морями, за дремучими лесами стоит высокий дворец, а в нем — хрустальный ларец, а в ларце — волшебный ключ. Нечто похожее происходит и с информацией. Отыскала наука «волшебное колечко», и покатилось оно по миру: от телеграфных текстов — к электронным машичам, от техники — к биологии, психологии, языкознанию, и вот уже слышатся голоса отважных, которые, следуя за колечком, впервые достигли Ничейной земли. И они принесли оттуда удивительнейшие вести: информация есть не только в книге, в машине и в клетке. Она есть и в кристалле, и в газе, и в молекуле, и в электроне — всюду, где в физические процессы вмешивается таинственная «сила» со странным именем «энтропия».
Все, как рассказано в старой сказке: шла, шла наука вслед, за колечком и отыскала золотой ключик. Но дальше вышло уже не по сказке: там ключом отпирался ларец с кощеевой. смертью, а здесь вдруг открылся путь к самому что ни на есть живому — оказалось, что без информации не мог бы родиться и жить на свете ни один живой организм.
Этим ключом наука теперь отпирает двери к сокровеннейшим тайнам природы. Она познает тайну жизни, разгадку которой тщетно искал человеческий разум в течение сотен и тысяч лет.
— Ну, кто там отважный? — зовет наука. — Кто рискнет побывать на Вершинах Знаний, переплыть через Море Вопросов, пробраться сквозь Дебри Противоречий и погрузиться в Глубины Неразгаданных Тайн?
И один за другим отправляются в путь отважные Магелланы, чтобы вновь посетить Ничейную землю и ценой огромных усилий найти новый ответ на новый вопрос.
А теперь ответь мне прямо, читатель: хочешь ли ты вслед за ними совершить этот путь? Но прежде всего учти, что на этом пути мы с тобой встретим не меньше трудностей, чем . встречали их Колумб и Амундсен, Пржевальский и Миклухо:Маклай. Едва лишь вступим мы на Ничейную землю, как нас плотным кольцом окружат сомнения и вопросы, и нам придется усвоить множество новых понятий, прежде чем сделать хотя бы несколько первых шагов: И чем больше ответов, тем больше новых вопросов: тот, кто однажды вступил на Ничейную землю, навсегда теряет покой.
Подумай как следует, ведь остались считанные секунды: перевернется страница, и мы вступим на таинственный берег Ничейной земли.
Часть первая
В МИРЕ НОВЫХ ИДЕЙ
Начало пути
«Мы высадились на берег. Вокруг нас насколько хватает глаз простирается безжизненная пустыня. Сердце сжимается тоской и болью при виде редкой растительности, разбросанной среди нагроможден ных скал».
Возможно, так или приблизительно так записал бы в дневник свои первые впечатления рожденный неистощимой фантазией Жюля Верна исследователь таинственных островов. А мы с вами не можем записать даже этою. Правда, мы тоже причалили к ив знакомому берегу, но мы пока не имеем ни малейшего представления, как выглядит Ничейная земля. Ну что ж, будем считать, что наш воображаемый корабль пришел на Ничейную землю поздней ночью, когда, говоря словами тех же героев Жюля Верна, «кругом не видно ни зги». И вот мы стоим на этой земле, и кромешная тьма неведения мешает нам принять решение, с чего начать нелегкий путь. Шутка ли сказать — исследовать Ничейную землю! Ведь здесь даже опытные ученые не всегда находят пути. Правда, в руках у нас волшебное колечко, именуемое «информацией». Так давайте же бросим его на землю. Пусть катится, куда хочет, а мы пойдем следом за ним.
Информация... Кто впервые произнес это емкое слово? Ученый? Инженер? Нет. Оно вошло в науку и технику из обихода. Ведь раньше, чем оно появилось на страницах научных журналов, его можно было встретить в служебных отчетах, в художественных романах, на страницах газет.
Но было же и такое время, когда в человеческом языке вообще отсутствовало это слово. Значит, люди обходились без информации? Отнюдь нет. Они использовали информацию даже в те далекие эпохи, когда вообще не было слов.
Если у нашего древнего предка возникала необходимость предупредить своих соплеменников о приближении опасности, он использовал то «средство информации», которое было ему доступно, — пронзительный крик. Различными оттенками голоса ему удавалось разнообразить информацию, передать всевозможные чувства: боль или радость, гнев или страх.
Сложные понятия, возникавшие в процессе совместного труда первобытных людей, требовали более совершенных способов обмена информацией: на базе осознанных движений родился язык жестов, из ограниченного числа бессвязных звуков выросла членораздельная речь. С появлением письменности и системы счета был сделан решительный шаг в развитии духовной культуры и научной мысли человечества: люди приобрели универсальное средство, пригодное для накопления и обмена информацией о любых явлениях и процессах.
Вместе с тем совершенствовались и способы передачи информации — от быстроногих гонцов и сторожевых постов, подававших сигналы и огнем и дымом, до новейших средств телевидения, радиовещания и космических телеметрических систем. И чем больше развивалась техника, тем шире и многообразнее становился круг вопросов, связанных с передачей различных сообщений. С изучения этих вопросов мы, пожалуй, и начнем наш путь.
Правда, читатель вправе выразить недовольство. Ведь мы собирались исследовать Ничейную землю. И началось, казалось бы, все как положено: был корабль, был пустынный берег. Все как на острове Робинзона. И вдруг — радио, телевидение... Раззе для того, чтобы рассказать об этом, нужно было плыть на край света, к берегам Ничейной земли? Может быть, мы попали сюда по ошибке?
Если будущему историку попадется в руки дневник нашего путешествия, он узнает, что сомнения и тревоги родились уже с первых шагов. Вот что прочтет он на первой странице: «Наступило утро, и земля, которая представлялась ночью пустынной и дикой, оказалась давно заселенной людьми. Куда же забросило нас провидение? Бриллюэн говорил про Ничейную землю, а здесь — здания, площади и проспекты. И названия их совсем не похожи на те, что встречаются в дневниках путешествий. Здесь нет мыса Надежды или бухты Печали, зато есть проспект Кибернетики, улица Необычных Понятий, площадь Новых Идей. Уж не зря ли мы доверились автору? Может быть, наш корабль уже давно сбился с курса, и мы никогда не достигнем Ничейной земли?»
С вашего разрешения; я отложу пока путевой дневник и попытаюсь внести некоторую ясность. Ничейная земля еще впереди. Это будет земля безлюдная, полная тайн и опасностей — именно такая, какой и положено быть Ничейной земле. Нам предстоит бродить там по нехоженым тропам, забираться в такие дебри, куда даже яркий свет науки проникает с большим трудом. Кто же поможет нам найти там правильную дорогу? Волшебное колечко? Но ведь мы материалисты и потому не можем верить в существование каких бы то ни было волшебных сил. Мы должны исследовать это колечко, узнать его истинную природу, понять, почему оно катится и куда держит путь. А для этого надо идти в Новый Город. Это город, в котором все необычно. Даже хорошо знакомые вещи имеют здесь иную окраску, непривычный, зато более глубокий смысл. Нам предстоит изучить этот город, рожденный наукой в последние годы на самых подступах к Ничейной земле. И хотя его улицы широки и просторны, путь по ним не будет легкой прогулкой: мы будем останавливаться у каждого поворота до тех пор, пока не поймем окончательно, почему старое слово «информация» в последние годы обрело новый смысл.
Текст на экране
Неожиданности таятся даже в самых привычных вещах. Телеграф и телефон. Для чего существует и то и другое? Разве нельзя передать по телефону любой телеграфный текст? Было, конечно, такое время, когда телеграф был единственным средством, позволяющим передать срочное сообщение, а кабель, брошенный предприимчивым Сайрусом Филдом* на дно океана, был единственной «ниточкой», связавшей Старый и Новый Свет. Но время это давно прошло, и теперь земной шар, словно паутиной, опутан сетью кабелей и проводов. Существует сеть телеграфная и сеть телефонная. Может быть, уже давно пора вообще отказаться от телеграфной сети? Разве не могут работники связи передавать друг другу по телефону тексты любых телеграмм? Конечно, могут, но при этом скорость передачи информации будет значительно ниже.
*Филд Сайрус — промышленник и акционер, по инициативе которого была организована экспедиция, проложившая телеграфный кабель между Голландией и Ньюфаундлендом.
Количество информации, передаваемой по телефону, ограничивается той скоростью, с которой человек способен разборчиво читать тексты — в минуту около 120 слов. Количество информации, передаваемой специально обученным телеграфистом с помощью буквопечатающего аппарата, составляет в каждую минуту уже целых 500 слов. Правда, такая дополнительная информация, как смысловые ударения в каждой передаваемой фразе, не может быть передана по телеграфу. Поэтому всякий раз, когда нам захочется поделиться своими чувствами с родными и близкими, мы, несомненно, предпочтем телефон.
Значит, избирая способ передачи каких-либо сообщений, необходимо учитывать количество передаваемой информации и оценивать скорость ее передачи. Современная техника позволяет достигать скорости передачи текста во много раз большей, чем обеспечивает телеграф. Так, если на экране телевизора вместо привычных нам телевизионных изображений будут, непрерывно сменяя друг друга, проектироваться страницы книги, то в течение каждой минуты на этом экране можно прочитать до 400 тысяч слов! Ясно, что такое «чтение» будет выглядеть не совсем обычно — успевать за такой скоростью передачи смогут лишь специальные автоматические устройства, которые тем или* иным способом «запомнят» (например, сфотографируют) каждый переданный кадр... Однако подобное усложнение не играет существенной роли. Важно, что такое устройство может заменить 800 телеграфистов. А один телеграфист два года выстукивал бы на нескончаемой ленте точки-тн-ре, чтобы передать те телеграммы, которые наше устройство принимает в течение одного дня!
Почему же такая, казалось бы, удобная и выгодная система передачи не нашла широкого применения и до сих пор не вытеснила телеграф? Вся беда в том, что скорость эта достигается слишком дорогой ценой, и определить эту цену можно только с помощью применяемого теорией информации своеобразного понятия «объема сигнала».
Невесомые грузы
Вот и первая остановка. «Объем сигнала». Встречали ли вы где-нибудь сигналы, имеющие объем? Нет? Ничего удивительного. Ведь вы впервые идете по городу, в котором есть улица Необычных Понятий. Там, на нашей земле, среди привычных для нас дел и предметов сигналы тоже играют немалую роль. Утром мы просыпаемся по сигналу будильника, сигнал телефона заставляет нас снимать трубку, на улицах родного города нам сигналят автомашины, а красные огоньки светофоров преграждают им путь. Так было там...
И здесь, в этом Новом Городе, на первый взгляд как будто все то же: улицы и машины, телевизор и телефон. Но стоит лишь осмотреться, и обнаруживаются удивительные вещи. Например, сигналы, имеющие объем. Жителю нашей земли это кажется невероятным. В самом деле, ведь не может же обладать объемом красный огонек светофора или телефонный звонок! Или в Новом Городе существуют какие-то иные сигналы? Нет, речь идет о тех же сигналах — звуковых, электрических и световых.
Один звуковой сигнал несет информации очень немного. В самом деле, о чем может «рассказать»
вам телефонный звонок? Пока вы не снимете трубку, вы не узнаете, кто звонит вам по телефону и что вам хотят сообщить. Зато два различных звонка, например короткий и длинный, могут рассказать о многом. Из них вы можете построить целую азбуку, например азбуку Морзе: короткий звонок — точка, длинный — тире. То же самое можно сделать с помощью звонков разной силы: громкий — тире, тихий — точка. А можно сделать и так, чтобы звуки одинаковой силы звучали по-разному. Для этого надо использовать звуки, имеющие разную частоту. Колебаться окружающий воздух заставляет и басовитый гудок паровоза и тоненький голос дрезины. Но в первом случае частота колебаний будет значительно ниже, чем во втором.
Итак, для создания самой простой азбуки приходится изменять или длительность сигналов, или их силу (уровень), или их частоту. Но еще чаще приходится иметь дело с такими сигналами, у которых все изменяется одновременно. Например, при передаче музыки. Звук оркестра включает в себя огромное множество различных сигналов, имеющих разную длительность, громкость и частоту. А наша речь? Ведь это тоже набор звуков. И все они опять-таки отличаются друг от друга по частоте, длительности и силе. Вот и пришла мысль инженерам и математикам, создателям улицы Необычных Понятий, изображать различные сообщения в таком виде, чтобы все эти величины можно было сравнивать между собой.
Спичечная коробка имеет ширину, высоту и длину. И сигнал стал похожим на спичечную коробку: «длина» его зависит от длительности, «высота» — от пределов изменения его силы (уровня), а «ширина» — от диапазона содержащихся в нем частот.
Сообщение о прогнозе погоды гораздо короче газетной передовицы. Значит, сигнал, содержащий сводку погоды, обладает меньшей «длиной».
«Высота» упакованного сообщения определяется пределами изменения уровня. Так, например, громкость звучания симфонического оркестра изменяется в больших пределах, чем голос певца. Поэтому «симфония в упаковке» имеет большую высоту.
«Ширина» звукового сигнала определяется богатством окраски звука, зависящим от количества со-
держащихся в нем частот. Ударяя по одной клавише пианино, вы получите звук одной частоты. Аккорд на пяти клавишах дает 5 различных частот. И в звуке оркестра, рожденного одновременным звучанием множества инструментов, содержится целый спектр разнообразных частот.
Итак, становится ясным, почему всякий сигнал обладает определенным объемом.
Мы уже не будем выглядеть провинциалами в Новом Городе и можем смело продолжать путь по улице Необычных Понятий, где сигналы имеют разный объем. А впрочем... Кажется, мы слишком поторопились. Ведь мы условились не делать ни шагу, прежде чем не найдем ответа на каждый новый вопрос. А вопрос остался пока нерешенным: ведь мы так и не поняли, почему даже в Новом Городе наряду с телефоном и телевизором до сих пор существует и телеграф.
Чтобы ответить на этот вопрос, давайте представим себе, каким объемом обладают телевизионный и телеграфный сигналы.
Известно, что рабочий диапазон частот, используемых в телевидении, превышает диапазон частот телеграфии в десятки тысяч раз. Кроме того, уровень телевизионного сигнала также колеблется в широких пределах — ведь яркость луча должна меняться от черного до белого свечения. А телеграф обходится всего двумя уровнями: отсутствие сигнала во время паузы или присутствие при передаче точки и тире. Чтобы сравнить эти способы передачи, инженеры связи учли «ширину», «высоту» и «длину» каждого из сигналов и подсчитали, какой объем занимает один и тот же текст. Объем телевизионного сигнала оказался больше почти в 60 раз.
Как объяснить такое различие? Ведь получатель этого «груза» прочтет на ленте и на экране одни и те же слова. А объем получается разный, потому что в одном случае груз «транспортировался» по телеграфу, а в другом — через телевизионный канал.
Работник транспорта, очевидно, развел бы руками: выходит, один и тот же груз будет обладать в вагоне одним объемом, а в самолете — другим? И разница получается весьма ощутимой: для отправки одного и того же словесного груза пришлось бы поднять в воздух 60 самолетов, вместо того чтобы отправить один вагон!
Здесь проявляются необычные свойства нашего «груза». Все дело в том, в какие сигналы мы превращаем текст. Можно превратить слова в три простейших сигнала: пауза, точка, тире. А можно сделать так, чтобы те же слова были видны на экране так же Четко, как на страницах книг. Но передача изображений — дело сложное и дорогостоящее: чтобы они были достаточно четкими, надо заставить луч с огромной скоростью бегать по строчкам экрана, и чем больше букв умещается на этом экране, тем чаще меняется яркость луча, тем шире будет диапазон рабочих частот. Поэтому наш «груз» оказался в десятки тысяч раз «шире», когда мы направили его в телевизионный канал.
Вот теперь становится ясным, почему телевидение не может вытеснить телеграф. Конечно, телевизор может дать значительный выигрыш в скорости передачи текста. Зато теперь мы знаем, какой ценой достигается эта скорость: 60 самолетов заменяют один вагон! И было бы ошибкой думать, что в данном случае «самолет» (то есть телевизионный сигнал) достигнет цели раньше «вагона» — и в том и в другом случае несущие информацию сигналы любое расстояние преодолевают практически мгновенно. Скорость сигналов в проводе или эфире так велика, что за 1 секунду сигнал успеет обежать земной шар по экватору почти 8 раз. Поэтому, рассматривая вопрос о скорости передачи сообщений, теория информации не учитывает, сколько времени «груз» находился в дороге: скорость передачи текста определяется тем временем, которое приходится затратить на «погрузку» и «разгрузку» передаваемого словесного груза.
И все же есть у каналов связи несомненное сходство с обычными средствами транспорта.
И тут и там приходится решать одни и те же задачи: объем и скорость доставки груза — разве не этими показателями оценивается качество работы транспорта? Даже задачи точности решаются и в системах связи и на железной дороге. В первом случае необходимо добиться передачи сигналов без искажений, во втором — доставки груза в целости и сохранности. Однако стоит ли удивляться такому сходству: ведь передача информации на расстояние — это тоже своего рода транспортировка. А мы и не подозревали, что всякий раз, когда из репродуктора доносится голос диктора или студия телевидения сообщает новости дня, мимо нас бесконечным потоком проносятся странные грузы. Они незримо проникают сквозь стены и не имеют веса. Зато имеют определенный объем. А жителям Нового Города приходится без конца загружать свой «транспорт» подобным грузом. Вот почему именно в этом городе впервые заметили, что сигналы имеют объем, и научились «упаковывать сообщения», используя различную «расфасовку».
Чудесное свойство
Размещать груз в таре можно по-разному: например, предназначенные для перевозки фрукты можно упаковать в несколько маленьких ящиков, а можно поместить в один большой. Большой ящик позволит лучше использовать объем вагона, зато создаст больше трудностей при погрузке или разгрузке. Каким же образом выгоднее «разместить» информацию?
Предположим, что с помощью автоматического устройства мы передаем на пульт управления информацию о скорости обработки каких-то деталей. В зависимости от характера операций скорость станка меняется много раз. Но изменения эти происходят не плавно, а так же, как и в автомашине, то есть тремя ступенями: 1-я, 2-я и 3-я. Если учесть к тому же, что в некоторые моменты времени может понадобиться остановка станка, то вся информация о его «поведении» может быть сведена к передаче четырех различных значений скорости: 0, 1, 2 й 3.
Сообщить об этом можно по-разному. Можно, например, вместе с изменением скорости изменять величину сигнала (случай I на рис. стр. 22). А можно сделать так, чтобы каждому значению скорости соответствовало определенное количество сигналов (случай И). Какой из способов лучше?
В первом случае сообщение займет очень немного времени — ведь все сведения «уместились» в четырех сигналах (импульсах), которые следуют с большими перерывами. Что ж, свободное время не пропадет даром: в перерыве можно передавать другие сигналы, например дополнительные сведения о качестве обработки деталей. Однако выигранное время пришлось «оплатить» большим диапазоном уровней: уровень сигнала должен меняться вместе с изменением скорости. Другими словами, мы должны иметь в запасе четыре сигнала. Это могут быть световые сигналы различной яркости, звуки различной громкости, электрические импульсы, отличающиеся по напряжению или по силе тока.
Во втором случае, уровень сигналов остается неизменным. Но при этом в три раза возрастает число импульсов, а следовательно, и время их передачи (случай II на рисунке).
Смотрите, что произошло с нашим невесомым «грузом»: он совершенно изменил свою форму, сохранив тот же объем. Как хорошо было бы, если бы все виды груза обладали таким же чудесным свойством: мы могли бы придавать им любую форму, чтобы, загружая тару, использовать каждый ее уголок. А инженеры-связисты и в самом деле имеют такую возможность. Своему «грузу» они придают такую форму, которая позволяет наилучшим образом использовать канал связи.
Любой канал связи обладает ограниченными возможностями: он способен передать лишь определенный диапазон изменения уровней и определенную полосу частот. Если каналом связи является телефонный кабель, связывающий двух абонентов, то полоса частот и уровень передаваемого сигнала ограничены и механической упругостью телефонной мембраны и теми усилителями, которые обычно включают в кабель.
Канал связи может включать в себя радиоприемник и радиопередатчик, настроенные на один и тот же диапазон частот. В этом канале нет связующего кабеля или специальной линии передачи — передатчик с приемником связаны через эфир. Но пропускная способность такого канала все равно ограничена — приемники и передатчики рассчитаны на определенный диапазон уровней и определенную полосу частот. Если сигнал не умещается в данном канале связи по диапазону частот или уровней, инженер имеет возможность уменьшить «ширину» или «высоту» передаваемого сигнала за счет увеличения времени передачи. Для этого надо применить соответствующий код.
Но чем дольше передается каждое сообщение, тем меньше пройдет информации через канал, — меньше окажется пропускная способность канала.
Может быть, для сокращения времени передачи сообщений следует укоротить каждый импульс? Упаковка от этого станет короче. Но объем груза останется прежним, потому что он станет одновременно и «шире»: возрастет диапазон содержащихся в сигнале частот (см. рис. на стр. 22, случай III). Эта особенность импульсов давно известна и инженерам-свя-зистам и специалистам по радиолокации: чем короче импульс, тем больше диапазон содержащихся в нем частот. Для доказательства этого свойства инженер прибегает к помощи математики, использует сложные преобразования, известные под названием преобразований Фурье.
А мы с вами обратимся к простому примеру. Допустим, вам захотелось выиграть время, передав какую-то арию в два раза быстрее, чем ее исполняет певец. Сделать это несложно: надо записать арию на магнитную ленту, а затем прокрутить ленту с удвоенной скоростью. При этом бас будет звучать как сопрано, потому что произойдет удвоение всех звуковых частот*.
* Легко убедиться в этом, включив долгоиграющую пластинку, рассчитанную на 33,3 оборота в минуту, на скорость 78 оборотов в минуту. Благодаря этому свойству роль Буратино и папы Карло в детских радиопередачах может исполнить один и тот же актер.
Если нормальный голос певца содержит частоты от 500 до 5000 колебаний в секунду (то есть от 500 до 5000 герц), значит диапазон частот составляет 5000 — 500 = 4500 герц.
При удвоенной скорости все частоты увеличатся вдвое и диапазон станет вдвое шире:
10000 — 1000 = 9000 герц.
В нашем примере «импульс» (то есть вдемя исполнения арии) длился минуты. Тем же свойством обладают импульсы, длящиеся тысячные или миллионные доли секунды. Значит, сигнал подобен несжимаемой жидкости: можно менять его «форму», используя разную «тару», но при любой форме «тары» сигнал сохраняет прежний «объем».
И все же нашелся способ, позволяющий «утрамбовать» предназначенный для транспортировки сигнал.
Вернемся к примеру передачи сообщения о четырех уровнях скорости (см. рис. на стр. 22). В первом случае величины импульсов соответствовали уровням скорости (случай I). Во втором случае число импульсов соответствовало скоростям (случай II).
А можно ступени скорости обозначить условно. Импульсы следуют друг за другом через равные промежутки времени. Давайте условимся так: появление каждого импульса будем отмечать цифрой «1». Если в следующий момент импульс не появился, значит передана цифра «О». Чередуясь в разной последовательности, цифры «О» и «1» передадут сообщения обо всех четырех скоростях:
Ступени скорости | Комбинация сигналов
0 00
1 01
2 10
3 11
Указанный способ соответствует IV графику, изображенному на рисунке, а при обозначении скоростей с помощью двух знаков (0 и 1) применен так называемый «двоичный код».
Сравним теперь объем сигнала для II и IV случаев, изображенных на нашем рисунке. Что получается? Уровень сигнала остался неизменным, зато число импульсов уменьшилось с трех до двух. Значит, нам удалось «упаковать» наши сообщения настолько удачно, что та же информация (информация о четырех возможных скоростях) уместилась в меньшем объеме сигнала.
А если бы скорость имела не 4, а 32 различные ступени, выигрыш был бы куда заметнее. Вместо 32 импульсов можно было послать только 6, потому что в обозначениях двоичного кода цифра 32 выглядит как 100 000*.
* Принцип двоичного кода рассмотрен подробно в главе 4 — раздел «Универсальный язык».
В нашем примере изменения сигнала соответствовали изменению скорости. С помощью тех же сигналов можно передать на расстояние сообщение об изменениях давления или температуры, в других случаях каждый из рассмотренных нами сигналов может соответствовать значению какой-либо из букв. Любое из этих сообщений можно путем кодирования перевести на язык импульсов и тем самым «упаковать» содержавшуюся в нем информацию в определенный объем сигнала. С точки зрения теории информации, вопрос о том, каково содержание передаваемого сообщения, не играет существенной роли: в любом случае задача состоит в том, чтобы при передаче нужного количества различных значений (уровней, чисел, букв и т. п.) «груз» был как можно «компактней», то есть имел наименьший объем.
То, что нам неизвестно
Туризм требует напряжения. Не всякий может пробираться по узким тропинкам, спускаться на дно оврагов, карабкаться по склонам хребтов. Красивый приморский город привлекает больше людей, чем крутые горные перевалы, но и он таит в себе немало «опасностей» для туристов. Вы можете целый день ходить здесь в легкой обуви и отутюженных брюках, но к вечеру все же почувствуете усталость ничуть не меньшую, чем от прогулки по диким местам. Правда, усталость эта будет иного рода: вас утомит обилие впечатлений. Но если вы знакомитесь с этим городом не из праздного любопытства, а с определенной целью, вам будет еще труднее. Зато истинное удовлетворение получает лишь тот, у кого есть конкретная цель.
Тому, кто впервые попал в Новый Город, некогда думать об отдыхе. Здесь что ни шаг, то новые впечатления. Сейчас мы подходим к самому центру — к площади Новых Идей.
Что за величественное сооружение установлено посреди этой площади? В честь каких побед воздвигнут этот необычный обелиск?
В причудливом беспорядке нагромоздили скульпторы у его подножия радиоприемники и антенны, книги и музыкальные инструменты, микроскоп и фотоаппарат, телевизионную камеру и простой телеграфный ключ. Стройная колонна возвышается в середине, а на самом верху на фоне ясного неба четко вырисовываются непонятные символы:
Что выражают эти значки? Может быть, спросить местных жителей? Вот как раз сюда идет какой-то прохожий,
— Простите, вы не скажете, что означает это сооружение?
— Это юбилейный подарок. Он преподнесен от имени жителей нашего города его основоположнику, ученому Клоду Шеннону.
— Простите, что мы отнимаем у вас время. Видите ли, мы впервые идем по улицам вашего города...
— Я так и подумал.
— ...и совершенно не знаем ни его истории, ни тех, кто его населяет. Объясните, пожалуйста, чем заслужил такое уважение этот ученый?
— Охотно! Имя Клода Шеннона стало таким популярным в последние годы. И не случайно: он научил людей измерять информацию. Вы видите формулу, изображенную там, на самом верху? Она носит его имя. По ней можно подсчитать, какое количество информации содержится на странице книги, в звуках человеческой речи или на телевизионном экране.
— Но мы только что научились измерять информацию без всяких формул.
— Каким же образом?
— Мы сравнивали текст, передаваемый по телеграфу, и текст на экране телевизора. Мы узнали, что в том же объеме телеграфного сигнала можно уместить в 60 раз больше слов. Чем больше слов, тем больше информации. Разве не так?
Почему наш собеседник улыбается столь снисходительно? Разве наши утверждения уж настолько наивны?
— Но ведь так поступают и работники связи, — пытаемся мы оправдаться. — Они тоже считают слова, чтобы определить стоимость телеграмм.
— Это верно. А не скажете ли вы, что должен сделать отправитель телеграммы, чтобы не расходовать лишних средств?
— Правильно составить текст.
— Что значит «правильно»?
— Это значит, что в тексте должно быть как можно меньше слов.
— Ну, а как же быть с информацией? Ведь вы же говорили, что информацию можно измерять словами. Значит, сократив количество слов, отправитель должен обязательно упустить что-то важное из той информации, которую предстоит передать? Так или не так?
— Нет, конечно. Просто он старается сказать обо всем очень коротко.
— Вот именно. Значит, об одном и том же можно сказать в одних случаях коротко, в других длинно. Следовательно, одну и ту же информацию можно передать разным количеством слов. А в одном и том же слове может содержаться больше или меньше информации, в зависимости от характера сообщений.
Представьте себе, что вы получаете такую телеграмму: «За июлем следует август». Много ли информации получите вы, прочитав эти слова?
Нет, немного. Например, слово «август» можно вовсе не передавать по телеграфу: для того чтобы понять эту фразу, достаточно и первых трех слов. А вслед за этим сообщением пришло, скажем, такое: «Ежегодное совещание работников транспорта будет проводиться в августе месяце». Чувствуете разницу? Здесь слово «август» содержит в себе гораздо больше информации. Пока вы не прочли на телеграфной ленте этого слова, вы оставались в полном неведении, в каком из 12 месяцев года будет совещание. А дополнив это сообщение еще всего одним словом — допустим, совещание состоится пятого августа, вы сможете отметить нужную дату среди 365 дней.
Как видите, даже при передаче текста дело обстоит совсем не так просто, как может показаться на первый взгляд. А с музыкой или телевизионным сигналом будет еще сложней. Ведь здесь нет ни слов, ни букв, ни импульсов азбуки Морзе, которые можно было бы сосчитать. Есть только непрерывно изменяющийся во времени сигнал. Но и он содержит в себе информацию, которую можно измерить.
Кажется, нам повезло. Наш новый знакомый, вероятно, крупный ученый, и он настолько увлекся затронутой темой, что уличная беседа превратилась в солидный доклад.
— Как же оценить количество информации, содержащейся в самых разнообразных сообщениях? Ведь информацию не измеришь линейкой и не взвесишь на весах! Какая же мера способна учесть не только количество переданных слов и сигналов, но и количество содержащихся в них «новостей»? Здесь-то и возникает новое понятие о «количестве информации», выражаемом с помощью энтропии.
Ученый обошел вокруг обелиска и остановился возле двух ящиков, затерявшихся среди множества прочих предметов. Заглянув туда, мы обнаружили, что в каждом из них есть черные и белые шары.
— Это устройство предназначено для туристов, — поясняет ученый. — Тому, кто стремится понять смысл информации, надо прежде всего познакомиться с вероятностью. В этом нам помогут шары. В урне 6 черных шаров и 4 белых. Вынимайте их наугад и бросайте обратно. А ваш товарищ будет записывать, какой попадается шар. Вторая пара проделает то же самое с шарами другой урны. Записали? Продолжайте опыт. Чтобы определить вероятность извлечения черного и белого шаров, придется повторить эти манипуляции несколько десятков раз.
Набравшись терпения, мы полчаса таскали шары из ящиков и отмечали, какой попадается шар. Записи выглядели так:
I урна: Ч, Б, Ч, Ч, Б, Ч, Б, Б, Ч, Ч, Ч, Б, Б...
II урна: Ч, Ч, Б, У, Ч, Ч, Ч, Ч, Ч, Б, Ч, Ч, Ч; Ч, Ч...
— Очевидно, Б обозначает «белый»? — спрашивает ученый. — Мы обычно пишем не так. У нас одному случаю соответствует 1, а второму — 0.
— Как в двоичном коде?
— Вот именно. Итак, белый шар — 1, черный — 0. Как теперь будут выглядеть записи?
I урна: 0, U 0, 0, /, 0, /, /, 0, 0, 0, 1, /...
II урна: 0, 0, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0...
— Теперь обратите внимание на одно весьма важное обстоятельство: во второй строчке цифра 0 встречается гораздо чаще, чем /. Во втором опыте вам гораздо чаще попадались черные шары. Как вы думаете, это случайно?
— Разумеется. Ведь мы вынимали их наугад.
— Совершенно справедливо. Но во втором случае извлечение черного шара имело большую вероятность. Это легко подсчитать: здесь среди 10 шаров 9 имеют черную окраску, значит вероятность такого события составляет 9/10, или 90 процентов.
В первом ящике было 6 черных шаров. Вероятность их извлечения составляет 60 процентов. Поэтому еще до начала опыта можно было предвидеть, что из второй урны мы будем извлекать черный шар гораздо чаще, чем из первой.
Итак, мы извлекаем наугад шары сначала из первой урны, затем из второй и получаем сообщения об исходе опыта: в обоих случаях извлечен черный шар. Какое из этих двух сообщений содержит большее количество информации? Теория информации утверждает, что первое, потому что случай с четырьмя и шестью шарами имеет большую неопределенность — ведь во втором случае можно еще до полу-
чения сообщений почти безошибочно предсказать, что при повторении опыта будут чаще попадаться черные шары. Таким образом, количество информации зависит как от степени неопределенности какого-то явления, так и от меры нашего неведения о том, как и что будет происходить.
Теперь предположим, что мы продолжаем поочередно извлекать шары из второго ящика до fex пор, пока в руках у нас не окажется белый шар. Давайте отложим этот шар в сторону и продолжим наш опыт. Сколько информации будет давать нам теперь сообщение об извлечении шара? Нуль. Ведь, получив информацию о том, что из ящика извлечен единственный белый шар, мы можем уже совершенно определенно утверждать, что теперь любой извлеченный шар будет черным. Значит, мы пришли к случаю, соответствующему полному отсутствию неопределенности: вся неопределенность, заключающаяся в наличии одного белого шара, исчерпана в момент получения информации о том, что этот шар извлечен.
Что же получается? До тех пор, пока белый шар оставался в ящике, сообщение об извлечении каждого шара несло в себе определенное количество информации. Сообщение же об извлечении белого шара исчерпало всю неопределенность. Продолжая вытаскивать оставшиеся черные шары, мы будем получать сообщения об извлечении каждого шара, не получая уже никакой дополнительной информации.
Значит, с точки зрения наблюдателя, не все, содержащееся в сообщении, является информацией, а только то, что заранее ему неизвестно.
Узнаем ли мы что-либо новое из сообщения, что за июлем следует август? Об этом событии все известно заранее, в нем отсутствует неопределенность, и потому в этом случае количество информации, содержащейся в слове «август», равно нулю.
А какое количество информации получали мы, извлекая шары из урн? Чтобы выразить ее точными цифрами, надо оценить неопределенность каждого опыта. Для этого теория информации привлекает на помощь формулу энтропии, о которой я вам сейчас расскажу.
Смысл информации и информация без смысла
И впрямь удивительный это город! Даже в простых шарах заключен здесь особый, глубокий смысл. А тут еще какая-то энтропия... Впрочем размышлять пока некогда — наш новый знакомый продолжает рассказ:
— В науке часто бывает так: стоит найти новый подход к привычным явлениям, и то, что казалось сложным и необъяснимым, не подчиняющимся никаким законам, вдруг становится простым и понятным. Порой даже кажется странным, почему люди не могли так долго уловить эту, ставшую теперь очевидной связь. Важно только четко сформулировать задачу, найти правильную точку зрения, и сразу разрозненные, бессвязные понятия и явления вдруг вливаются в единую, стройную систему, подобно тому как из разбросанных в коре земного шара вкраплений различных металлов возникают изящные стальные птицы, сверхдальние ракеты и сложные комплексы «умных» машин.
Так, рожденная великим Менделеевым периодическая система элементов не только внесла строгий порядок в исследования и оценки всех известных в то время веществ, но и предрекла открытие новых элементов и новых, неизведанных -свойств. Закон всемирного тяготения сразу позволил уяснить механику всего мироздания и «увидеть» без телескопа
движение неизвестных планет*. А закон сохранения энергии не только объяснил причину неудач многочисленных изобретателей «вечного двигателя», но и предрек неизбежною тщетность всех их попыток на все времена. И вот в наши дни появилась теория информации, и рожденные ею понятия заставили с новой точки зрения оценить окружающий мир.
* Открытие планеты Нептун было предсказано французским ученым Леверье, который вычислил ее орбиту по законам Ньютона.
Информация... Это все формы общения людей, начиная с обычной беседы и чтения книг и кончая всеми видами телеграфной и телефонной связи и передачи в эфир. Это все сведения о течении физических, химических, биологических процессов, полученные путем исследования, анализа и -регистрации всеми видами ныне существующих и будущих приборов. Это, наконец, неисчерпаемые процессы авторегулирования, происходящие и в созданных человеком машинах и в организмах, рожденных самой природой, процессы, в основе которых лежит получение информации и ее обработка. Мы посылаем в космос спутники и космонавтов. Мы создаем гигантские ускорители, в которых мельчайшие частицы материи могут «с разгона»-проникать в недра других частиц. С помощью телескопов мы изучаем миры, недоступные глазу. Микроскопы, рентгеновские аппараты и химические реактивы помогают проникнуть внутрь живых организмов и изучить их структуру вплоть до мельчайшего «атома жизни» — микроскопической клетки. Разные области, разные методы, а цель одна — добыть информацию. И все эти разнородные и сложные процессы, созданные и возникающие в бесконечном многообразии явлений, пришедшие и приходящие из разных областей знаний, вдруг объединились, увязались и нашли новое толкование в едином понятии «информация». А все потому, что мы научились измерять количество информации с помощью простой формулы: (...)
Таким образом, наши общие рассуждения о «неопределенности опыта» и о «мере неведенья» тех, кто проводит опыт, теперь выражаются точными числами. Но сами по себе числа мало о чем говорят.
Ведь нельзя сказать, что вес равен 10, — все дело в том, в каких выражается он единицах. Что это — 10 граммов или 10 тонн? Значит, для измерения информации тоже нужны какие-то единицы. Единицей времени служит время: час, минута, секунда. Единицей веса опять-таки служит вес. И все измерения производятся так же: давление сравнивается с давлением, температура — с температурой. Зна-
При расчете количества информации применяются двоичные логарифмы.
чит, и информацию нужно сравнивать с информацией.
За единицу количества информации принят самый простенький случай. Есть два возможных исхода — «или — или»; и каждый из них имеет одинаковую вероятность. Когда получено сообщение об исходе, одно «или» отпало и вы получили одну единицу ко* личества информации — так называемый «бит». Например, в нашем ящике лежит 5 черных и 5 белых шаров. С равной вероятностью можно ожидать или черного, или белого шара. А по формуле Шеннона в этом случае получается:
Название «бит» происходит от сокращения английских слов, означающих в переводе «двоичная единица». Каждый знак двоичного кода тоже дает 1 бит информации, потому что с равной вероятностью может появиться 1 или 0.
Теперь мы имеем возможность оценить наши опыты в битах. Случай с четырьмя и шестью шарами имел большую неопределенность и давал информацию в количестве 0,97 бита. Опыт с девятью черными и одним белым шарами обладает меньшей неопределенностью — здесь каждое сообщение дает только 0,47 бита. А если в ящике находится 99 черных шаров и только один белый? Неопределенность почти исчезает: мы будем почти все время извлекать черный шар. И по формуле мы получим для данного случая информацию всего лишь 0,08 бита. Ну, а если нам вопреки ожиданиям попадется вдруг белый шар? Случай этот весьма непредвиденный, значит сообщение о таком результате должно дать большое количество информации. Так оно и окажется. Но при большом количестве опытов такое событие будет происходить очень редко, и в общей сумме полученной информации оно сыграет весьма малую роль. А формула Шеннона показывает, сколько информа-ции дает в среднем каждое из сообщений. В большинстве случаев мы станем получать сообщения об извлечении черного шара. Очень редко будет попадаться и белый шар. А в среднем каждое сообщение оценивается в 0,08 бита.
А теперь взгляните на формулу, начертанную на самом верху колонны. Не кажется ли она вам знакомой? В самом деле, в ней есть те же символы Pi log/*,-. Тот же значок вероятности. Тот же логарифм. А что означает t? i — это ряд целых чисел: 1, 2, 3 ... п. Вместо того чтобы много раз подряд писать похожие друг на друга строчки, математики придумали это простое обозначение: знаком 2 они избавляют себя от труда много раз подряд повторять знак «+». Для полной ясности они пишут под этим знаком, что счет надо начинать с единицы (i = 1; Pi=Pi), а вверху напоминают, что кончать надо тогда, когда учтены все возможные случаи, то есть
при Р-, =Рп. Вот и получается знаменитая формула Шеннона, породившая Новый Город:
Эту формулу можно использовать для опенки разнообразных сообщений. «Когда состоится очередное совещание работников транспорта?» — запросили вы министерство. Какое количество информации вы должны получить в ответ? Неопределенности здесь гораздо больше, чем в опытах с черными и белыми шарами. Там вы могли ожидать только два различных исхода. А здесь вам могут назвать любой месяц и любое число. В году 365 дней, и, пока вы не получили ответа, любой из них имеет для вас одинаковую вероятность:
Формула Шеннона поможет нам выразить эту неопределенность количеством бит:
Если действовать так, как велит эта формула, придется, набравшись терпения, выписать все члены Pi log Pi ОТ Pi ДО Р865 И сложить их между собой. Но в данном случае расчет производится проще: сложение можно заменить умножением, потому что все вероятности Р, равны. Значит,
Но вот пришел, наконец, ответ организаторов совещания, и. неопределенность исчезла: в ответе указана точная дата — пятое августа. В каждом слове этого сообщения содержится определенное количество информации. Слово «август» позволяет отметить один из 12 месяцев. В нем содержится:
Слово «пятое» позволяет выбрать из 31 дня данного месяца интересующий нас день совещания.
Значит, (...)
А в целом полученное сообщение дало нам как раз то количество информации, которое мы ожидали: 1(сообщения) =11+12=3,6+4,9=8,5 бита.
Видите, как все получается просто: чтобы узнать количество информации, содержащейся в сообщении, надо учесть число бит в каждом его элементе (слове, букве, числе, импульсе) и сложить их между собой*.
* Это простое правило обусловлено тем, что расчет количества информации производится с помощью логарифмов.
Бывают случаи, когда подсчитать количество информации очень несложно. Например, количество информации, содержащейся в сообщении о том, что Ботвинник играет черными, составляет ровно 1 бит. В самом деле, до получения этого сообщения вы могли предполагать, что черные фигуры окажутся или у Ботвинника, или у его партнера. Оба эти случая имели равную вероятность. Однако если вы знали о том, что прошлую партию Ботвинник играл черными, данное сообщение не несет вам никаких новых сведений — информация равна нулю. Зато сообщение о каждом ходе Ботвинника дает большое количество информации, потому что до его получения была полнейшая неопределенность: вы могли строить множество комбинаций, изыскивая лучший ход.
Если бы мы могли учесть все возможные комбинации и подсчитать вероятность каждого из ходов, наша формула позволила бы оценить эту информацию количеством бит. Однако сделать это не так-то просто: ход, который для Ботвинника имеет наибольшую вероятность, едва ли сделает какой-нибудь новичок. Значит, вероятность различных ходов зависит от опыта и умения шахматистов — от той информации, которая получена шахматистами еще задолго до игры. И не только от опыта. Иногда и настроение участников турнира может оказать существенное влияние на весь ход игры.
— Как вы сказали? Настроение?
До сих пор мы слушали все, о чем рассказывал нам ученый, не проронив ни единого слова, — настолько убедительной казалась нам его речь. Понятие информации казалось таким логичным и строгим, и вдруг...
— Значит, для того чтобы оценить здесь количество информации, надо учитывать настроение шахматиста? Разве такие вещи можно рассчитывать с помощью формулы?
— А почему бы и нет? — возражает ученый. — Разве настроение шахматиста, в свою очередь, не зависит от информации, от тех сведений и сообщений, которые он получил незадолго до начала игры?
«Но ведь это же чисто психологические вопросы!» — хотим возразить ему мы и вдруг вспоминаем, что информация — это удивительное колечко, которое катится все дальше и дальше, из одной области знаний в другую.
— Значит, психологию можно тоже оценивать в битах?
— Отчасти да. И с этим вы столкнетесь неоднократно. В нашем городе вас ожидает еще немало поразительных вещей. Но не все сразу.
Прежде всего вам надо как следует разобраться в том, каким образом удается самые разные сообщения оценить с помощью одних и тех же единиц. Не слишком ли отвлеченной, «неощутимой» кажется вам единица количества информации — так называемый бит? Вес можно определить с помощью весов и гири, объем — с помощью измерительных инструментов, время измеряется по часам, а энергия и сила тока — по отклонению стрелки прибора, включенного в электрическую цепь. Каким же прибором можно измерить количество информации? Оказывается, такой прибор уже существует. Правда, название «прибор» будет в этом случае, пожалуй, чересчур скромным — ведь речь идет об электронной вычислительной машине, которая не только измеряет (точнее — рассчитывает), но и использует и преобразует информацию, подобно тому как электрические приборьь используют, преобразуют и измеряют электрический ток.
Было время, когда и обычная секунда казалась людям такой же неощутимой, каким сейчас кажется бит. Да что там говорить — мысль о том, что количество дней и баранов можно подсчитать с помощью одинаковых чисел, была, пожалуй, одной из самых непостижимых за всю историю развития человеческих знаний. Можно ли надеяться, что и бит со временем станет неизменным спутником нашего быта? Очевидно, можно. И вам будет приятно вспомнить, как вы в числе первых посланцев большого мира впервые встретились с битом в центре Нового Города, на площади Новых Идей.
Однако к делу. Вы теперь знаете, как измеряют количество информации, но еще не умеете измерить ее объем.
— Очевидно, надо построить спичечную коробку?
— Да, нечто похожее. Высота коробки будет соответствовать количеству информации, длина — времени передачи сигналов, а ширина — диапазону содержащихся в сигнале частот. Расчет объема информации напоминает расчет объема воды, подаваемой по трубе: чтобы найти этот объем, надо тоже перемножить три величины — скорость движения воды, время подачи и площадь сечения трубы.
Подсчитав объем информации, легче сравнивать различные способы ее передачи. Ведь прежде чем передать информацию по каналам связи, надо превратить все сообщения в какой-то сигнал. Одну и ту же информацию можно передать различным сигналом: все зависит от того, какой выбран код. Мы стараемся выбрать код таким образом, чтобы вся информация «размещалась» в самом малом объеме сигнала.
В жизни от нас часто требуют определенного объема знаний: например, знания физики в объеме школьной программы. Может быть, и объем знаний можно оценивать количеством бит? Представьте себе, что вы являетесь на экзамены и вас встречает... электронная машина! Вы отвечаете на вопросы, а машина подсчитывает количество информации, содержащейся в вашем ответе, и выдает точную оценку ваших знаний, выраженную количеством бит. Конеч-. но, подобный пример — всего лишь шутка, ведь для оценки ответов по физике нужно знать не только объем, но и смысл информации по самым разнообразным вопросам. И все же шутка эта, как, впрочем, и всякая шутка, имеет определенный смысл. Можно, например, сконструировать такую машину, которая
сможет задавать вопросы по правилам уличного движения и оценивать качество ответов по принципу «верно» или «неверно» («да» или «нет»).
Итак, все сведения, передаваемые по различным каналам связи, имеют определенный объем. Объемом обладают и телефонные переговоры, и сигналы, идущие к головному мозгу от руки, наткнувшейся на острый предмет, и звуки симфонической музыки, несущиеся по эфиру с другого материка. Когда теория информации решает задачи об объеме информации и о наилучшем способе передачи заданного объема, она не интересуется вопросом о том, для чего предназначена данная информация и какова ее ценность или смысл.
Нетрудно, например, подсчитать по формуле Шеннона, что количество информации, получаемой при извлечении одной карты из колоды, состоящей из 32 карт, составляет 5 бит. Это количество информации будет получено независимо от того, окажется ли вынутая наугад карта семеркой или тузом. Установленная правилами игры «ценность» той или иной карты не учитывается при расчете количества информации. Количество и объем информации, передаваемой по радио или телеграфу, не зависит от содержания или ценности тех сообщений, которые предстоит передать. Весь объем должен быть передан полностью, независимо от того, что в нем содержится: звуки джаза или биение пульса оперируемого больного, важное постановление или легкомысленный телефонный флирт.
Именно поэтому для сложного, многогранного понятия «информация» удается найти общие законы, такие же точные, как законы движения жидкости, текущей по трубе.
Именно поэтому теория информации сумела обобщить самые разнообразные виды сообщений, перевести их на единый и точный язык — язык математических формул.
Опыт многих десятилетий, проблемы различных областей науки, красоту и гибкость склонной к анализу и обобщениям человеческой мысли несут в себе скупые и педантичные математические значки.
Границы Нового Города
Давно уж окончен рассказ, но никто из нас не проронил ни единого слова. Мы пытаемся осмыслить то новое, что нам удалось узнать. Шары в ящике, телеграфный текст, звуки оркестра и оживающие на телевизионном экране кадры забытых лент — не так-то легко усмотреть в этом нечто единое, чему можно найти общую меру, выражаемую количеством бит.
Но почему решили ученые, что при расчете количества информации не надо учитывать ее ценности? Ведь if3 книги и из доклада каждый из нас почерпнет именно то, что ему интересно и важно. Что ценно — то информация, а все остальное — пустые слова.
Почему же теория информации предлагает отбросить и ценность и смысл?
— Не от хорошей ж*изни, — соглашается с нами ученый. — Конечно, это несовершенство теории, которое надо будет как-то со временем исправлять. Уже стоит на повестке дня вопрос о создании теории семантической (смысловой) информации.
— Значит, на современном уровне теория информации попросту оторвалась от жизни? Ведь в жизни всякая информация имеет какую-то ценность и вполне определенный смысл!
— Да, конечно. Но жизнь сложна и многообразна. Чтобы найти для каких-то явлений четкий критерий, надо эти явления упрощать.
Сначала надо найти способ оценивать количество информации объективно, а уж потом решать, что ценно, а что не ценно, и как будет воспринимать информацию тот или иной человек.
— Для этого и придумали какую-то несуществующую информацию, вовсе лишенную смысла?
— Это абстракция. Вроде геометрических точек, которые не имеют размеров, и геометрических линий без толщины. Зато из них можно построить любые геометрические фигуры, а затем исследовать свойства этих фигур.
Для исследования реальных явлений науке часто приходится отвлекаться от их конкретных свойств. Нельзя создать на земле механического движения, при котором не возникало бы трения. Но до тех пор, пока Галилей не представил себе, как будет двигаться тело без трения, никаких законов движения нельзя было установить. Всем казалось, что скорость телеги определяется силой лошади. А Галилей сделал вдруг неожиданный вывод: сила лошади придает телеге не скорость, а ускорение. А трение замедляет движение. Не будь трения, не нужна была бы и ло шадь — телега могла бы ехать сама!
Гениальная это была догадка. Благодаря ей Нью* тон смог построить механику, объясняющую движение и земных механизмов, и небесных планет, и светил.
Шеннон сделал нечто Цодобное. Исключив понятие ценности, он сумел построить теорию, позволяющую рассчитать, сколько бит информации необходимо для управления станком и самолетом или для передачи будущим поколениям вкусов, склонностей и привычек отцов.
— Какая же сила заключена в этих битах?
— Сила? — задумчиво переспрашивает ученый. — Нет, информация — это не сила.
— Так почему же она управляет станком или целым заводом? Почему самолет, получающий информацию, может без участия человека совершать сложный полет? Почему с информацией связано все живое? Почему? Если она не сила и не энергия, то что же она такое?
— Вопрос довольно сложный. Сила, энергия — эти понятия хорошо известны науке. В настоящее время исследована природа механической, тепловой и электромагнитной энергии, изучаются свойства ядерных сил. Даже силы гравитации, благодаря которым все находящиеся на Земле предметы испытывают притяжение и обладают собственным весом, даже эти силы будут скоро до конца разгаданы современной наукой. Но информация... Она не имеет отношения ни к одной из перечисленных сил...
— Но и она участвует в самых разнообразных процессах!
— Да, участвует. И влияет на ход этих процессов. Но она имеет иную природу. Она связана с энтропией.
— С энтропией? Опять это непонятное слово. Что оно означает?
— Это слово пришло из физики, точнее — из термодинамики, одного из ее разделов. Происходит оно от греческого слова «тропэ», что означает «превращение». Термодинамика изучает процессы превращения тепловой энергии в механическую работу. Или в электричество. И для того чтобы объяснить, как это происходит, понадобилась энтропия.
— Ну, а при чем же здесь ящик с шарами, музыка, телеграфный текст?
— Как вам сказать... Видите ли, формула, которая красуется на этой колонне, как символ нашего города, тоже впервые появилась в термодинамике, а уж потом, много лет спустя, Шеннон применил ее для учета количества информации, которую содержит в себе телеграфный текст.
— Значит, эта формула просто «пришлась по вкусу»? И слово «энтропия» употребляется в Новом Городе совсем не в том смысле, который вкладывает в него физик?
Несколько мгновений ученый молчит.
— Вы сказали: «не в том смысле»? Да, так считают многие жители нашего города*.
— А вы?
* И не только в фантастическом Новом Городе. В реальных городах разные ученые, рассуждая о природе информация и энтропии, приходят к выводу о том, что энтропия в термодинамике и энтропия в теории информации имеют только чисто внешнюю, формальную связь. Подобные утверждения можно встретить и в специальной литературе и на страницах популярных книг: А. Харкевич, Очерки общей теории связи;
B. Смирнов, Основы радиосвязи на ультракоротких волнах; 3. Ровенский, А. Уемов и Е. Уемова, Машина и мысль;
C. Анисимов, Человек и машина; Дж. Пирс, Электроны, волны и сообщения (примечания Н. Д. Карасева) и многие другие.
— Я? Скажу вам прямо: ваши вопросы застали меня врасплох. Я уже много лет изучаю энтропию всяческих сообщений, но энтропия в физике — это не моя область. И едва ли кто-нибудь в нашем го» роде сможет дать вам четкий ответ на этот вопрос. Наш город исследует информацию и средства ее передачи. А ваш вопрос выходит за рамки этих проб» лем. Очевидно, тут надо идти от самых истоков. Чтр измеряли мы с помощью энтропии, извлекая из ящика черные и белые шары? Неопределенность опыта. Чем больше неопределенность, тем больше энтропия опыта, тем больше количество бит. А что выражает энтропия в термодинамике? То же самое. Электрическая энергия превращается в тепловую. Согласно законам термодинамики энтропия при этом должна возрасти. Почему? Да все потому же — возросла неопределенность: упорядоченное движение электронов по проводу превратилось в неопределенное, хао* тическое тепловое движение. Все подчиняется той же формуле:
Когда вероятность движения электронов от минуса к плюсу была наибольшей, неопределенность была мала. Но вот электрическая энергия превратилась в тепловую, возникло иное движение, в котором одинаково вероятны все направления: ведь тепловое движение — это хаотическое движение мельчайших
4 Репортаж с Ничейной земли
частиц. Значит, увеличилась неопределенность, и энтропия возросла, так же как в случае одинаковой вероятности появления черных и белых шаров. Где-то здесь и скрывается истина. Но, к сожалению... Я не могу ответить более четко на этот вопрос.
Учений умолк. Казалось, он забыл о нашем присутствии. Его задумчивый взгляд устремлен куда-то в пространство. Быть может, там, далеко за пределами Нового Города, ему чудятся еще неизведанные просторы загадочной Ничейной земли.
Психология и вероятность
Мы горячо поблагодарили ученого за помощь.
— Куда бы вы порекомендовали нам последовать дальше? — спросил я его на прощанье.
— Вы, очевидно, сами сможете наметить дальнейший маршрут, если воспользуетесь путеводителем по Новому Городу. Такой путеводитель можно приобрести в любом книжном киоске. А если понадобится моя помощь, вы всегда найдете меня в этом здании, в лаборатории математических методов психологии. Желаю успехов!
Ученый пересек площадь и скрылся в одном из подъездов, а мы, воспользовавшись его советом, отправились искать ближайший киоск.
Пять минут спустя я уже держал в руках справочник-путеводитель, очень похожий на те, что издаются во всех больших городах. Естественно, что в путеводителе по Новому Городу самое почетное место занимает Шеннон — на первой странице дан крупным планом его портрет. Я увидел скромного, можно сказать, неприметного человека со спокойным задумчивым взглядом и худощавым лицом. Встретив его на улице, я никогда не подумал бы, что это крупный ученый, имя которого известно теперь всему миру.
Рядом с портретом Шеннона помещен второй такой же портрет. Под ним короткая справка: «Хартли, инженер связи. В 1928 году предложил формулу для измерения информации».
Тут же приведена эта формула:
Больше никаких сведений нет.
Как же так? Значит, вовсе не Шеннон впервые подумал о том, что информацию можно измерить? Тогда почему жители Нового Города считают основоположником Шеннона, а не Хартли?
Просмотрев весь справочник, я не нашел в нем никаких разъяснений. А вопрос этот не давал мне покоя.
Я вспомнил о любезном приглашении ученого. Удобно ли обратиться к нему с этим новым вопросом?
А что, если кто-нибудь из участников экспедиции задаст мне тот же вопрос? После некоторых колебаний я решил отложить посещение лаборатории до следующего дня.
Наутро я разыскал лабораторию математических методов психологии, где застал моего знакомого в окружении приборов и схем. Он встретил меня приветливо и поинтересовался, что меня к нему привело.
Я задал вопрос о Хартли и Шенноне. Несколько мгновений он сосредоточенно смотрел на меня, очевидно собираясь с мыслями. Затем тепло улыбнулся и произнес:
— Я боюсь, что мое мнение покажется вам предвзятым. Но я твердо убежден в том, что все дело в психологии. Хартли пренебрег психологией, когда предлагал свою формулу, а Шеннон ее учел.
— Я не понимаю, чью психологию вы имеете в виду?
— Мою, вашу, вон того прохожего — чью угодно. В том-то и сила формулы Шеннона, что она позволяет учесть воздействие информации на всякого человека, независимо от его индивидуальных свойств. Она позволяет установить объективные закономерности психологических реакций. Я, очевидно, выражаю свою мысль слишком туманно? Я сам работаю сейчас именно в этой области, и потому мне все это кажется настолько очевидным, что даже не знаю, как вам объяснить. Во всяком случае, информация связана с психологией настолько тесно, что волей-неволей инженерам пришлось учитывать психологию.
Давайте рассмотрим формулу Хартли:
N — это число возможных событий. Если в алфавите есть 32 буквы, значит согласно формуле Хартли каждая буква даст информацию I = log 32. Но тут есть одна тонкость. Ведь буквы в алфавите разные, и одни попадаются чаще, другие реже. Чем реже попадается буква, тем неожиданней будет она для того, кто ее прочел. Хартли понял, что дело должно обстоять именно так. Но он решил, что математик или конструктор не должны учитывать неожиданность. И поэтому, излагая свой метод оценки количества информации, он прямо сказал, что вопрос неожиданности получаемых сообщений относится к области психологии и не должен интересовать инженера. Зато формула Шеннона позволяет учесть любую неожиданность. В ней учтены вероятности всех сообщений:
Чтобы найти среднее количество информации, приходящейся на каждую букву, надо подставить в формулу вероятность появления всех букв:
Если бы все 32 буквы имели равную вероятность, мы получили бы:
Как видите, в этом случае формула Шеннона совпадает с формулой Хартли. Значит, формула Хартли справедлива лишь в тех исключительных случаях, когда все сообщения имеют равную вероятность. А в общем случае надо пользоваться формулой Шеннона. И она позволит учесть тот самый психологический фактор, который отбросил Хартли.
Ведь по ней как раз и получается: чем больше неожиданность, тем больше бит. Например, когда мы извлекаем черный шар из ящика, в котором 99 черных и Г белый, неожиданность невелика, и бит мы получаем немного.
Ну, кажется, я окончательно сбил вас с толку, — улыбнулся ученый и взглянул на часы. — Впрочем,
если у вас будет желание разобраться в этом как следует, вам придется задержаться здесь еще на часок. Сейчас я вас должен покинуть, а через 20 минут буду демонстрировать здесь опыты группе экскурсантов. Если хотите, можете принять в них участие.
— С удовольствием! — с готовностью отозвался я.
Двадцать минут я провел в размышлениях, вспоминая о том, что услышал. Шуточное ли дело — математика в психологии! Я попробовал представить себе, как должна выглядеть психология, занявшая прочное место в ряду точных наук. Вы решаете уравнение и узнаете, как в заданных обстоятельствах будет вести себя живой человек... Какая-то мистика! Разве человек не волен поступать, как ему нравится? Кто заставит его подчиняться каким-то формулам?
Нет, тут, очевидно, не следует все принимать на веру. Между математикой и психологией все же должна существовать какая-то грань. Я вдруг представил себе школьный учебник, в котором рядом с обычными задачами по алгебре есть, например, и такие:
«Из А в В идет пешеход со скоростью 4 километра в час. Навстречу ему идет другой со скоростью 6 километров в час. Сколько времени пройдет до момента встречи, если расстояние 25 километров, второй вышел на два часа позже первого, а еще через час неожиданно пошел сильный дождь?»
Интересно, как стал бы решать такую задачку мой новый знакомый? Каким образом он учел бы в своих уравнениях неожиданный дождь?
Разве можно предвидеть, как будут вести себя пешеходы: спрячутся под ближайшее дерево или предпочтут поскорей добежать до намеченного пункта? Сплошная неопределенность. Однако формула Шеннона и в самом деле позволяет учесть неожиданность и оценить неопределенность событий. Правда, она даст ответ в среднем. Может быть, условие этой задачи надо сформулировать так: 100 пешеходов идут из А в А, и по дороге начался дождь. По всей видимости, некоторые пешеходы спрячутся под укрытия, а часть из них побежит что есть силы. Если учесть вероятность обоих случаев, можно подсчитать среднюю скорость.
Между прочим, при расчете потоков людей и транспорта по улицам крупного города и в самрм деле приходится учитывать всякие неожиданности, вплоть до стихийных бедствий. Может быть, имеет смысл ввести в такие расчеты «среднюю психологию» горожан?
Любопытно узнать, какие опыты собирается демонстрировать мой новый знакомый? Вскоре он вновь появился в лаборатории в окружении многочисленной группы людей.
— Прошу вас, — обратился он ко мне и указал на кресло, стоявшее рядом с прибором. — Сейчас мы попробуем оценить вашу психологию в битах. Познакомьтесь с принципом действия этой машины.
Машина показалась мне очень простой. Десять клавиш, расположенных у меня под рукой. Десять лампочек перед глазами, окрашенных в десять разных цветов. На каждой клавише указано, какому цвету она соответствует. Ученый предложил мне потренироваться на клавишах, чтобы освоиться с этой установкой. Затем он предупредил присутствующих, что начинается опыт.
Вспыхнула на панели голубая лампочка. Я нажал на нужную клавишу. Голубой огонек сменился зеленым. Я опять нажал на соответствующую клавишу.
Затем появился синий, потом красный, опять голубой... Я нажимал на клавиши, и перед моими глазами беспрестанно вспыхивали разноцветные огоньки. Устройство это, с виду совсем простое, на самом деле оказалось довольно хитрым: огоньки зажигались так беспорядочно, что нельзя было угадать заранее, какой вспыхнет следом. Моя роль оказалась гораздо сложнее, чем я думал вначале. Машина меня измотала: пришлось нажимать на каждую клавишу, па-верно, по сотне раз. Случалось, конечно, и ошибаться, но машина «замечала» любую оплошность: пока я не найду нужную клавишу, она не зажжет другой огонек.
И тут родилась у меня озорная мысль. А что, если я все-таки ее обману? Насколько я понял, ее задача состоит в том, чтобы оценивать время моей реакции. Значит, если я буду нарочно затягивать время...
В это мгновение раздался какой-то щелчок, погаслилампочки на панели, и вспыхнул матовый циферблат. Часы показали 9 минут 58 секунд.
Мой знакомый подходит к своим экскурсантам и показывает им лист с вычислениями.
— Это расчет длительности реакции испытуемого, — объясняет он им. — Как видите, время почти совпадает срасчетным: по расчету реакция на 1000 включений должна длиться 9 минут 55 секунд.
И тут меня вдруг охватила досада. Как же так получается? Значит, раньше, чем я вошел в эту ла- бораторию, экспериментатор уже знал, сколько времени я буду искать нужную кнопку и сколько раз ошибусь? Ну, а если я захочу нажимать быстрее? Нет, быстрее, пожалуй, не выйдет — я старался изо всех сил. А если медленнее? Я ведь могу нарочно искать кнопку подольше. Как же тогда ваши формулы?
А ученый объясняет присутствующим (меня он даже не замечает — я ведь теперь «испытуемый», то есть попросту подопытный кролик).
— Расчет здесь довольно прост. Скорость реакции зависит от количества информации, получаемой во время опыта. В нашем опыте лампочки Зажигались в совершенно случайном порядке: в любой момент времени вероятность того, что вспыхнет красная лампочка, равна вероятности синей или зеленой. Среди тысячи вспышек каждая лампочка зажглась около сотни раз. Чем больше на панели разноцветных лампочек, тем больше неопределенность опыта. Потому и выходит, что в случае N лампочек длительность реакции зависит от величины log N.
Между прочим, психологи еще в прошлом веке открыли эту закономерность. Но они тогда, конечно, не знали, что дело тут связано с информацией. А формула Шеннона убедила нас, что все обстоит именно так. Сейчас мы несколько усложним наш опыт.
Экспериментатор нажимает кнопку, и снова у меня перед глазами мелькает разноцветная карусель. Сначала мне показалось, что все идет, как и прежде. Оказывается, нет: теперь у каждой лампочки своя «повадка». Красная зажигается чаще всех, и к ней
я приспособился быстро. А голубая оказалась капризной: зажигается редко и всегда в неподходящий момент. Рука по привычке тянется к клавише, предназначенной для красного цвета, а тут вдруг перед глазами вспыхнула голубая — пока найдешь нужную клавишу, время уходит зря.
— Условия опыта стали другими, — говорит мой знакомый. — Теперь каждой из лампочек задана различная вероятность. Неопределенность опыта стала меньше. Сейчас вы убедитесь, что уменьшилось и-время реакции. Потом я покажу вам, что, подставив вероятность каждого цвета в формулу Шеннона, мы можем рассчитать это время.
Все слушают объяснения, а я сижу и нажимаю на кнопки. И снова проснулась во мне досада. Ведь я же не кролик в конце-то концов! Почему он так сверен, что я буду делать по формуле? Как хочу, так и делаю — пусть попробует что-нибудь доказать. И я стал «тянуть время». Как в футболе. Имеет команда один гол в запасе, до конца матча остались считанные минуты, вот они и «тянут»: давно бы можно было передать мяч центральному нападающему, а его вместо этого выкидывают за боковую черту, да так, чтобы улетел подальше, куда-нибудь на четвертый ярус трибун. А если доведется игроку этой команды вводить мяч в игру, он превращается в истинного артиста: уж как он «торопится», как старается сделать все «поскорее»! Но болельщик-то всегда видит, кто торопится по-настоящему, а кто делает вид.
И вот я решил поступить точно так же. Давно уж я отыскал глазами нужную клавишу, а делаю вид, что никак не могу найти. «Попробуйте, — думаю, — определите теперь время по своим формулам, узнаете, какой я вам кролик!» Легкий щелчок, погасла красная лампочка, часы зафиксировали время реакции: 7 минут 55 секунд. Ученый посмотрел на часы, еще раз взглянул на свои записи, подошел ко мне и громко сказал:
— Одно из двух: или вас очень утомил этот опыт, или вы намеренно удлиняли время реакции.
В эту минуту я почувствовал себя довольно-таки глупо. Может быть, потому я и задал довольно нелепый вопрос:
— А разве было заметно?
Кое-кто из присутствовавших чуть не подавился, потому что громко смеяться было неловко. Не смеялись только ученый и я.
— Я не следил за вашим поведением, — строго сказал ученый. — Но я верю расчетам. Реакция должна была длиться около 7 минут.
— Так ведь и на часах почти столько же! — попытался кто-то выступить в мою защиту.
— Нет, — твердо ответил он. — 50 секунд разницы — это слишком большое время. Наш расчет позволяет определять время гораздо точнее. Если хотите в этом убедиться, я могу повторить опыт. Только на этот раз прошу без обмана!
Нет уж, теперь мне не до обмана! На этот раз я стараюсь изо всех сил. Кончился опыт, и часы показали 7 минут 3 секунды. Расчет предусмотрел мою расторопность с точностью нескольких секунд! Очевидно, формула учла все: и «характер» красной лампочки и «капризы» лампочки голубой.
— Как видите, — обращается к нам ученый, — -время реакции во втором опыте оказалось меньше, чем в первом, хотя в обоих случаях лампочки переключались ровно 1000 раз. Почему это произошло? Потому что в этом случае испытуемый получил меньшее количество информации: ведь неопределенность опыта уменьшилась, потому что вероятность зажигания красной лампочки составляла в данном опыте 60 процентов, а голубой — только 3*.
* Следует заметить, что при расчете по формуле Шеннона в теории информации всегда имеется в виду дополнительное условие:
А в первом опыте вероятность всех цветов была одинакова, неопределенность была наибольшей, так же как в ящике, содержащем равное количество черных и белых шаров.
— Непонятно! — раздались голоса у меня за спиной. — Лампочки могут зажигаться, как им угодно. Но ведь на них реагирует живой человек. Он не знает ни вероятности, ни информации — он только нажимает на клавиши. Откуда же такая точность?
В рассматриваемом примере это условие следует понимать так: и в первом и втором опыте вероятность того, что зажжется любая из десяти лампочек, равна 100 процентам Рп =1).
— Да, он не знает никаких вероятностей, — согласился ученый. — А ему и не надо их знать. В том-то и сила новой теории, что она помогает, установить объективную связь информации и психологических реакций.
Когда красная лампочка зажигается чаще, чем все остальные, человек привыкает к красному цвету, и реакция на него становится почти мгновенной. Реакция на голубой цвет отнимала в нашем опыте значительно больше времени. Но он появляется редко, и общее время, потраченное на эту реакцию, было невелико. А в целом время, затраченное на 1000 включений, уменьшилось так же, как уменьшилось количество информации, подсчитанное по замечательной формуле Шеннона.
Итак, все кончилось благополучно: ученый простил мою невинную шалость, а я горячо поблагодарил его за те сведения, которые он мне предоставил.
На этом, собственно, можно бы и закончить рассказ, если бы все было так, как я изложил. Но ведь читатель прекрасно знает, 4tq нет на свете Нового Города, и потому ничего этого в действительности произойти не могло. И у него может возникнуть вполне законный вопрос: как расценивать то, о чем рассказывал автор? Не чистая ли это фантазия?. Достоверно ли то, что рассказано здесь о новых методах психологии?
Эти опыты описаны в литературе, и. если бы кому-нибудь из читателей довелось побывать в подобной лаборатории, он мог увидеть своими глазамиопыт, который я описал.
Кстати, еще одно уточнение. Я рассказал о Хартли и Шенноне так, словно они жители Нового Города, руками которых заложен первый его кирпич. Имел ли я право допускать подобную вольность? Ведь имена этих ученых известны сейчас во всех странах мира, а о Новом Городе в мире не знает никто. И, конечно, не знают о нем ни Хартли, ни Шеннон — ведь такого города и на карте-то нет. Шеннон и Хартли живут и работают в Америке. А в нашей стране в эти годы плодотворно трудились над проблемами новой теории известные всему миру специалисты в области радио Берг, Котельников и Харкевич, математики Хинчин и Колмогоров, физиолог Анохин, языковеды
Кнорозов и Иванов. От Шеннона и Хартли их отделяет широкий простор океана. С Хартли и Шенноном их связывает общность идей.
Информация внутри нас
Чем больше путешествует человек по далеким странам, тем чаще вспоминает он родные края. Чем рождены эти воспоминания? Тоской по дому, по родным и близким? Да, это чувство день ото дня становится острее. Но вместе с ним в душе путешественника зреет и другое чувство: ему очень хочется еще раз взглянуть на далекий привычный мир. Все новое, что довелось ему видеть во время странствий, заставляет его по-иному оценивать с детства запавшие в памяти факты, многие жизненные явления и поступки людей. Недаром выдающийся мастер слова Николай Васильевич Гоголь так любил взглянуть на Россию из «чудного далека».
Вот и мы с вами, побывав на улицах Нового Города, уже в ином свете представляем себе нашу прошлую жизнь. Разве могли мы раньше подозревать, что все наше прошлое неразрывно связано с информацией, что каждое его мгновение несло с собой миллионы незамеченных бит?
Где бы ни находились мы и чем бы ни были заняты в течение дня, хотели мы этого или нет, в любом месте и в любое мгновение мы принимали и «обрабатывали» огромное количество информации. Когда мы читали книгу или смотрели кинофильм, когда слушали лекцию, прогуливались по улице или обменивались новостями с друзьями — в любом случае зрение, слух, все наши органы чувств несли нам огромное количество разнообразных сведений и сообщений. Больше того, помимо той информации, которая воспринималась нами сознательно, каждую секунду наши органы чувств несли нам дополнительную, часто вовсе «не желательную» информацию. Читая книгу, мы испытывали неприятные ощущения жары или холода; беседуя с приятелем, чувствовали запах его папиросы, а самые интересные сведения, услышанные на лекции, воспринимались нами одновременно с назойливым шепотом соседа и звонкими гудками автомашин.
Непрерывным потоком бегут по нашим нервным волокнам неуловимые биты, неся с собой сообщения обо всем, что происходит во внешнем мире. Стало чуть-чуть прохладней — и срочные сообщения уже следуют к центральной нервной системе, которая, посылая ответные команды, вызывает к деятельности процессы, которые поддерживают постоянной температуру нашего тела независимо от температуры внешней среды. Ровная дорога сменилась небольшим подъемом — мышцы ноги уже чувствуют перемену и немедленно посылают срочные сообщения, чтобы пешеход, изме-нив положение тела, сохранил устойчивость во время ходьбы. Биты помогают нашему организму сохранять неизменным давление крови и снабжать все ткани тем количеством кислорода, которое необходимо в данных условиях и в данный момент.
Побывав в лабораториях Нового Города, мы узнали, что самые совершенные «устройства» приема информации — это наши органы чувств. Но их пропускная способность небезгранична. Глаз человека способен воспринять миллионы бит в секунду, ухо — десятки тысяч. Для передачи большего количества информации требуется большее число каналов, поэтому число нервных волокон, идущих от глаз к головному мозгу, достигает 900 тысяч, в то время как число слуховых волокон составляет лишь около 30 тысяч. В то же время установлено, что наибольшее количество информации, которое сознательно усваивает человек в процессе чтения, разговора или быстрого (стенографического) письма, не превышает 50 бит в секунду. Такая огромная разница между количеством информации, воспринимаемой органами чувств, и количеством усвоенной и осознанной информации объясняется необходимостью той сложной обработки, которая осуществляется головным мозгом.
Наши органы чувств — это своеобразные датчики, превращающие сообщения, приходящие из внешнего мира, в импульсы биологических токов, возбуждающих нервную ткань. Бесчисленные «каналы связи» сложной сетью нервных волокон «опутывают» каждую клеточку нашего организма. Каждое мгновение внутри нас осуществляются передача и обработка огромного количества сообщений о том, что вокруг нас творится и как влияет происходящее на наш организм.
Вы погружаетесь в горячую ванну, и каждая клеточка вашей кожи посылает спешные сообщения, что вода чересчур горяча. Мгновенный процесс обработки информации — и новая информация, информация о принятом решении, уже мчится по бесчисленным каналам связи к тканям различных мышц: надо подняться из ванны и открыть кран с холодной водой. Когда органы осязания передадут сообщение, что вода в ванне стала умеренно теплой, новые команды помогут вам завернуть кран и вновь погрузиться в воду.
Казалось бы, совсем обычная, простая операция, а количество информации, необходимое для ее осуществления, поистине огромно: чтобы выполнить эти действия, каждая мышца вашего тела должна получить целую серию специальных команд. И не только каждая мышца, но и каждая клетка мышечной ткани принимает и обрабатывает такое количество информации, что ее хватило бы для управления целым за* водом. И это понятно: ведь в микроскопическом объеме клетки и в самом деле раз_местился гигантский «химический комбинат». В этом мельчайшем «атоме жизни» протекают тысячи разных процессов с участием сотен и сотен веществ. «Комбинат» полностью автоматизирован.
Непрерывный поток информации течет из внешней среды ко всем «диспетчерским пунктам», где вырабатываются команды, регулирующие скорость течения этих процессов в зависимости от условий внешней среды.
Когда попытались получить те же команды с помощью электронной машины, результат оказался весьма любопытным. Для того чтобы учесть все данные только одного из возможных состояний среды и произвести по ним расчет скоростей реакций, машине, производящей тысячи операций в секунду, потребовалось целых 30 часов. А клетка способна в одно мгновение перестроить работу всех «цехов» своего «комбината», причем режим и скорость ее процессов всегда наилучшим образом соответствуют условиям внешней среды. Значит, в микроскопическом «атоме жизни» процесс обработки информации доведен до полного совершенства.
Чтобы обработать огромное количество данных за такое короткое время, необходимо очень экономно использовать пропускную способность каналов, посылать в них только те сведения, которые крайне необходимы, а всю избыточную информацию отметать как лишний, ненужный груз.
Инженеры связи тоже пытаются производить подобную сортировку, но до того совершенства, которого достигла природа, им, конечно, еще далеко.
Однако главное уже сделано: люди поняли, что в любых сообщениях есть избыточная информация, и научились отличать ее от информации необходимой.
Законы случайностей
Вопрос об избыточной информации оказался труднее всех предыдущих. Уже несколько дней ходим мы по улицам Нового Города, расспрашиваем местных жителей, заглядываем на страницы различных книг. Но ясности пока нет.
Нам сказали, что определить избыточность текста можно в том случае, если известны законы чередования букв. Но как уяснить себе эти законы? Мы привыкли считать, что текст подчиняется грамматическим правилам. А здесь на язык смотрят как-то иначе... Вместо склонений или спряжений какие-то графики, формулы и значки. Говорят, что по ним изучают «структуру языка». Эта структура подчиняется законам теории вероятностей. И понятие «избыточности» тоже вытекает из этих законов. Чтобы определить избыточность текста, надо научиться с помощью теории вероятностей анализировать законы чередования букв.
— Скажите, у вас найдется курс теории вероятностей? — спросил я в одной из библиотек.
— Разумеется, — ответил библиотекарь и через мгновение извлек с полки солидный, увесистый том. — Это самый фундаментальный куге. Надеюсь, что здесь вы сможете найти все, что вас интересует.
— Да, пожалуй, даже с избытком, — пошутил я, беря в руки толстую книгу. — А кстати, как вы думаете, в этой книге тоже есть избыточная информация?
— Разумеется. Любая книга содержит в себе добрую половину лишних страниц.
— Даже учебник по математике? Странно... До сих пор я был уверен, что в нем нет ни одного лишнего слова. А в поэме Пушкина или в романе Толстого? Неужели даже в их бессмертных творениях есть «лишние» мысли или слова? Или, может быть, в Новом Городе поступают так же, как в США: вместо романа «Анна Каренина» выпускают очередной «комикс», где на 3-й странице Анна встретилась с Вронским, а на 15-й уже слышится роковой стук колес?
— Нет, нет, — улыбается библиотекарь. — Уверяю вас, что жители нашего города не посягают на шедевры мировой культуры. Напротив, они любят и ценят искусство, и все их заботы направлены лишь на то, чтобы все созданное художником, писателем и композитором могло «транспортироваться» по специальным каналам связи без всяких потерь. Но при этом они пользуются особыми кодами, позволяющими передать полный текст «Анны Карениной» самым малым количеством условных значков. Наш алфавит тоже является кодом. Но этот код не слишком удобен, потому что избыточность его велика.
— Может быть, вы порекомендуете мне литературу, по которой я смогу изучить, как избавляются от этих «излишеств»?
— С удовольствием. Правда, в последние годы появилось так много различных способов, что их еще никто не сумел обобщить. Они описаны в различных журналах и книгах. Впрочем, вот что: пройдите в соседнюю комнату и обратитесь за помощью к электронной машине. Стоит лишь вложить в нее карточку с надписью «Избыточность сообщений», и она даст вам исчерпывающую информацию по вашему вопросу и предоставит в ваше распоряжение выписки из всевозможных статей и книг.
Я воспользовался этим любезным советом. Материала оказалось так много, что пришлось потратить на его изучение несколько Аней. Зато р, вопросе о том, как определяют избыточность текста, я приобрел полную ясность.
Вся суть заключается в законах случайностей. Дело в том, что жители Нового Города считают случайными все значения букв. Приняв по телеграфу начало нового слова, например ст..., нельзя сказать какие буквы последуют дальше: может быть, передаваемое слово окажется столом или стулом, может быть, стеной, статьей, стоном, стройкой, стоимостью, старостью, степенью или стрелой. Поэтому и считают жители Нового Города, что вслед за буквами сит может случайно появиться буква о, е или у.
Но, оказывается, и случайность имеет свои законы. Непосвященным это покажется странным: случайность — и вдруг закон! Казалось бы, одно из двух: или есть какая-то закономерность, или все подчиняется воле случая. Однако случай случаю рознь. У каждого случая есть своя вероятность. Какова, например, вероятность того, что вслед за ст появится буква а? Как ее подсчитать? Для этого необходимо рассмотреть огромное количество самых разнообразных текстов и произвести строгий учет всех случаев появления сочетания ст. Если в результате такого учета, произведенного на многих тысячах слов, окажется, что из каждой сотни букв, появляющихся вслед за буквами ст, буква а повторяется в среднем пять раз, значит вероятность появления буквы а после букв сиг составляет 5 процентов. И самым любопытным является то, что, определив однажды вероятность появления буквы а, равную 5 процентам, мы обнаружим то же количество букв а в любом тексте, состоящем из достаточно большого числа букв. Не правда ли, странно: можно взять разные тексты — стихи, прозу, газетные сообщения и научный отчет; в любом из них среди каждой тысячи букв будет одно и то же количество а. Чем больше будет рассматриваться букв, тем точнее повторятся те же проценты. Да что далеко ходить за примерами! Подсчитайте число букв а на этой странице, а потом откройте наугад несколько других страниц. Ес« ли на них нет рисунков, то вы на всех страницах насчитаете почти равное количество а. Отчего это происходит? Оттого, что все случайности подчиняются одному закону: среди большого числа различных случайностей каждая из них (например, появление а) повторяется определенное количество раз. Это главный закон случайностей — закон больших чисел.
Если подсчитать, сколько раз встретится каждая буква алфавита после букв сит, мы узнаем вероятность появления различных букв. И тогда окажется, что появление некоторых букв вслед за буквами с и т имеет большую вероятность (например, буквы е, о, а, р и т. п.), других букв — меньшую (например, ы — слово стычка или стык или в — ствол, створка) а для многих букв вероятность будет вовсе равна нулю: ведь нельзя вспомнить ни одного слова, в котором за буквами ст следовали бы буквы б, г или щ. Значит, в передаваемом тексте появление тех или иных букв не является «чисто случайным»; между последующим и предыдущим значениями передаваемых букв существует определенная взаимосвязь.
Взаимосвязь между случайными явлениями называется «корреляцией». Этим свойством обладают самые разнообразные случайные процессы.
Случайным является значение букв, переданных по телеграфу. Случайной является частота и громкость звука в то или иное мгновение радиопередачи, случайной является мгновенная яркость бегущего по экрану телевизора электронного луча.
Но все эти случайные процессы в той или иной степени обладают- чудесным свойством корреляции:
я яркость луча и звучание той или иной ноты связаны с той яркостью и тем звучанием, которые имели место несколько мгновений назад. Эта связь — основа гармонии музыкальных мелодий, плавных переходов от света к тени, тонов и полутонов.
Корреляция — основа порядка. Если бы по какой-либо невероятной причине все процессы вдруг лишились этого свойства, то телеграфные тексты мгновенно превратились бы в бессмысленную буквенную россыпь, музыка зазвучала бы, как шум водопада, а изображение на экране телевизора стало похожим на снежный буран. Язык, в котором все сочетания букв имели бы равное право на существование, выглядел бы довольно странно, потому что рядом с привычными в этом языке существовали бы и такие «слова», как пакртчмын, ьиюа, и другие, лишенные смысла и часто вовсе не произносимые сочетания букв.
На самом деле все тексты обладают свойством корреляции, и потому только около 0,0002 процента возможных буквенных сочетаний составляют осмысленные слова. И это не удивительно, ведь существует целый ряд сочетаний, запрещенных законами русской грамматики. Значит, их вероятность равна нулю. Так, например, вслед за буквой ч никогда не последуют буквы ы, я или ю, а в начале слова или после любой из гласных мы никогда, ни в одном тексте не увидим мягкий знак. (...)
Бесконечное множество, различных процессов обладает свойствами корреляции. Помимо букв, звуков, изображений, по тем же законам могут меняться значения токов, давлений, скоростей и температур. Но математика смогла обобщить все явления, в которых случайные значения скорости, яркости или буквы зависят от тех значений, которые имели место мгновение назад. Она назвала их «марковскими процессами» — по имени русского математика Маркова, который первым исследовал подобные процессы.
Все эти сведения о вероятностных законах словесных текстов вы можете почерпнуть из специальных статей и книг. Но если вам посчастливится побывать в лабораториях Нового Города, вы сможете увидеть собственными глазами, как случаем управляет закон. Здесь вам предложат вновь обратиться к урне с шарами, но на этот раз шары будут отличаться не цветом, а надписью: на каждом шаре будет написана какая-то буква. Вынимая шары наугад и вновь бросая их в урну, вы получите что-нибудь вроде: сухер-робьдш яыхвщиюайжтлфвнзстфоенвштцрпхгбкуч тжюряпчькйхрыс.
— Для чего вы заставляете меня записывать эту бессмыслицу? — спросил я у сотрудника лаборатории, демонстрировавшего этот опыт.
— Бессмыслицу? — улыбнулся он. — Да, пожалуй. Это пример самого хаотичного текста. В этой урне 320 шаров, каждая буква повторяется 10 раз.
Вероятность всех букв одинакова:
Если вы подставите эти значения в формулу Шеннона, то получится, что каждая буква дает информацию в количестве 5 бит*.
* Читатель уже знаком с примером такого расчета (см. стр. 39). В данном случае:
Обратите внимание, — продолжал он, указывая на непонятную запись, — каким несуразным получилось второе слово. Встречали ли вы когда-нибудь такие «слова»? Конечно, нет, ведь в нем целых 59 букв! Продолжая этот опыт, вы будете все время получать такие же длинные и несуразные «слова». Почему? Потому что буквы чередуются здесь беспорядочно. 10 шаров не имеют букв. Вынимая такой шар, вы отмечаете пробел, соответствующий концу «слов». Вероятность появления пробела так же равна V32. Это значит, что в среднем на каждые 32 вынутые буквы будет один раз попадаться пробел. Значит, в нашем «тексте» 31 буква — это средняя длина слов. А ведь в нормальном тексте средняя длина слова составляет не более 7 букв.
Как же сделать, чтобы наш «текст» стал похож на обычные тексты? А очень просто. Возьмем другую урну. В этой урне среди каждой сотни шаров буква а попадется семь раз. Приблизительно с такой частотой повторяется она в русском тексте. Количество других букв также соответствует их вероятности. Повторите опыт.
На этот раз сообщение выглядело так:
еыт цияьа оерв однт ьуемлойк збя енв тша.
— Не правда ли, это мало похоже на обычную фразу? — обратился ко мне ученый. — И все же здесь уже есть какой-то порядок, по крайней мере нет слов слишком длинных, и каждое из них можно даже произнести вслух. А впрочем, нет. Как произнесешь мягкий знак, стоящий в начале слова или по-
еле гласного звука я? Мы можем оценить в цифрах, много ли порядка появилось теперь в нашем тексте. Для этого надо знать, чему равна вероятность каждой буквы, подставить их в формулу Шеннона и подсчитать значение I. Мы уже делали такие расчеты, Получалось, что на каждую букву приходится теперь около 4 бит.
Итак, в первом случае было 5 бит на букву, а теперь только 4. Почему? Потому что уменьшилась неопределенность. Разные буквы имеют теперь не одинаковую вероятность, а разную. У формулы Шеннона есть одно очень важное свойство: она всегда покажет, что наибольшее значение I соответствует равной вероятности всех возможных событий. Если есть черные и белые шары, энтропия будет самой большой, когда и тех и других по 5, по 10 или по 100 штук. Если черных больше, чем белых, неопределенность становится меньше. Значит, в формуле Шеннона уменьшилось I.
То же самое с текстом. Раньше каждые 100 букв несли 500 бит информации, теперь 100 букв дают только 400 бит. Неопределенность фразы, состоящей из 100 букв, стала меньше ровно на 100 бит.
А можно рассуждать по-другому: перед тем как класть в урну шары с обозначениями букв, мы учли их вероятность. От этого в нашем тексте стало больше порядка: в каждой стобуквенной фразе порядок возрос на 100 бит.
— А сколько порядка в обычном печатном тексте? — спросил я ученого.
— На этот вопрос не так-то просто ответить. Чтобы оценить в битах этот порядок, надо учесть корреляцию всех букв и слов. Но мы с вами поступим несколько проще. Вот перед вами стоит вычислительная машина. В ее памяти хранятся все буквы алфавита. Мы сейчас зададим ей такую программу: она будет помнить три последние буквы написанного ей текста и сама выберет четвертую. При этом она учтет вероятности сочетаний: наприме,), она «знает», что вероятность сочетания ста составляет 5 процентов, а вероятность стю — только 1 процент. Значит, в тексте, написанном этой машиной, сочетание стю встретится в пять раз реже, чем сочетание ста. Внимание, я включаю машину!
Прошло несколько мгновений, и на печатном бланке появились такие «слова»:
весел враться не сухом и непо и корко*.
* Чтобы получить подобную «фразу», не обязательно прибегать к помощи электронных машин. Вы можете проделать такой любопытный опыт: откройте наугад любую страницу и выпишите четыре буквы, стоящие в начале какой-нибудь строки. Если вам попалось слово комиссия, запишите сочетание коми. Затем, пробеТая глазами текст, отыщите слово, в котором есть сочетание оми, и запишите следующую букву. Если вам встретилось слово утомительный, ваша запись превратится в комит. Теперь ищите в тексте сочетание мит и снова запишите следующую букву. Продолжая отыскивать сочетания, соответствующие трем последним буквам ваших записей, и прибавляя к записи следующую букву, вы получите набор букв, который внешне напоминает осмысленный текст.
— Нет, вы только полюбуйтесь на эту фразу! — восторженно произносит ученый. — Это же не машина, а умница! Она «говорит» почти человеческим языком! Во всяком случае, в ее фразах можно найти подлежащее, сказуемое и другие части речи. Потому что порядка в ней стало гораздо больше: машина действует по программе и может учитывать вероятность и корреляцию букв. В каждой букве содержится теперь только 3 бита. По сравнению с первым опытом порядок, существующий в каждых ста буквах текста, увеличился на 200 бит. А ведь мы учли только корреляцию между четырьмя буквами текста. Если же учесть взаимосвязь между всеми буквами и словами, то информация каждой буквы будет равна приблизительно 1 биту. Машина станет настолько «умной», что сможет дать на любой ваш вопрос весьма толковый ответ!
Я очень внимательно слушаю все, что говорит ученый, и, кажется, все-таки перестаю его понимать. Неужели он и в самом деле собирается убеждать меня в том, что можно создать такую машину? Неужели вся разница между текстом, написанным ученым или поэтом, и тем, что пишет эта машина, измеряется только количеством бит? Уж не попали ли мы по ошибке в Лапуту? Ведь это там, по свидетельству Гулливера, ученые мужи постигали высшую мудрость, нанизывая на стержень гирлянды бессмысленных букв! Уж не по их ли стопам идут ученые Нового Города?
И все же факт остается фактом: ведь машина-то действительно пишет почти осмысленный текст. Может быть, ученый все-таки прав: стоит лишь усложнить программу, и машина напишет литературное произведение или научный трактат? Как во всем этом разобраться? Ведь смогли же создать машину, которая делает по программе правильный перевод. Почему же нельзя научить ее составлять разумные фразы? Где границы ее возможностей?
«Да нет же, — пытаюсь я себя успокоить. — Машина никогда не сможет писать осмысленных текстов, потому что в мире есть только одна «машина», способная учесть корреляцию всех букв и слов. Это человеческий мозг. Ну, а как работает мозг? Может быть, он отличается от машины лишь более сложной программой? Очевидно, и в этом придется как следует разобраться. Не надо только торопиться и забегать вперед».
Я замечаю с досадой, что нарушаю правило, установленное мной же самим. Разве можно увлекаться новой задачей, пока не решена прежняя? Проблем возникает так много, что нужно проявить железную выдержку, чтобы не сбиться с пути. Сейчас на повестке дня вопрос об избыточности, и потому я усилием воли заставляю себя вновь сосредоточить внимание на бессмысленных текстах.
— Так как же все-таки оценить их избыточность? — спрашиваю я ученого.
— это уяснить вовсе не трудно. Посмотрите на эти фразы. Пока мы считаем, что все буквы имеют равную вероятность, по формуле Шеннона получается, что каждая буква алфавита несет информацию ровно 5 бит. А если учесть вероятность и корреляцию осмысленных текстов, то окажется-, что неопределенность появления, каждой следующей буквы составляет всего 1 бит. Получается разница в 4 бита. Это и есть избыточность текста. Значит, избыточность — это не учтенный нами порядок.
— А почему его считают избытком?
— Это тоже нетрудно понять. В каналах связи все буквы заменяются числами. А числа переводятся на двоичный код. Поэтому буква я будет выглядеть, как 100 000.
— А почему именно так?
— Разве вы не знакомы с двоичным кодом?
— Я знаком, но мне бы хотелось, чтобы наша беседа была понятна читателям.
— Хорошо, я постараюсь выражаться яснее.
Буква я последняя в нашем алфавите. Ее порядковый номер — 32. 32 — это 25, что в двоичной системе счисления обозначается как 100 000. Но это не сто тысяч! Это именно число 32, но записано оно только двумя цифрами — 0 и 1, и чтобы передать букву я, приходится потратить 6 импульсов: единицу и пять нулей*.
* Принцип двоичного счета изложен подробнее в главе 4 (раздел «Универсальный язык»)!
Когда импульсы следуют друг за другом, каждый из них несет одно из двух сообщений: 0 или 1, «да» или «нет». Значит, каждый импульс дает информацию 1 бит. И каждая буква текста при учете законов чередования дает около 1 бита. Отсюда возникает вопрос: нельзя ли создать такой код, в котором импульсов будет не больше, чем букв?
Сортировка словесного груза
С этим новым вопросом пришлось повозиться еще несколько дней. Им занимались все члены отряда. Мы обнаружили, что существует множество различных способов, позволяющих избавить сообщения от излишеств. Мы начали с самых простых. В одном из текстов нам встретилась фраза:
Чтобы добиться спортивных успехов, необходимо непрерывно совершенствоваться, учиться у ведущих мастеров спорта, трудиться над повышением собственного мастерства, систематически тренироваться и закаляться.
Раньше мы не нашли бы в подобной фразе ниче-го необычного. Но теперь мы во всем находим излишки и потому прежде всего обращаем внимание на то обстоятельство, что сочетание ться повторяется в этой фразе целых шесть раз.
Если заменить все ться одним условным значком, подобно тому как это делают в стенографии, то 6 таких значков заменят целых 24 буквы, а сообщение станет короче на 18 букв. Метод этот изучается тео-рией информации и называется «укрупнением сигнала». ¦
А вот пример, который встречался нам раньше. Сообщение о том, что Ботвинник играет черными, содержит в себе всего 1 бит. Но фраза Ботвинник играет черными содержит 22 буквы — целых 110 бит. Следовательно, 109 бит — это чистый избыток!
Как избавиться от «лишнего груза»?
А очень просто. Надо пользоваться специальным кодом: 0 — Ботвинник играет черными; 1 — черными играет партнер. И избытка как не бывало: вся информация уместилась теперь в одном импульсе, потому что импульс дает как раз 1 бит.
Но донять смысл таких сообщений сможет не каждый. Н,адо заранее знать о том, что возможны лишь два различных исхода, и каждый имеет свою вероятность: Pi — вероятность того, что Ботвинник играет черными; Р2 — вероятность того, что черными играет партнер. Зная заранее, что Р2 = Р»= 50 процентам, мы посылаем сигналы 0 или 1, и они дают нам как раз то количество информации, которое мы ожидаем, — 1 бит.
Для того чтобы пользоваться этим условным кодом, мы должны предварительно получить информацию о том, что он будет обозначать. Нам должно быть известно заранее, что речь пойдет о шахматном матче, а не о принятии резолюции на Ассамблее ООН. Мы должны знать, что в матче участвуют, скажем, Таль и Ботвинник, а не кто-то другой. Но все эти сведения мы должны получить однажды, а дальнейшие сообщения, вроде: Ботвинник играет черными; черными играет Таль, уточняют лишь, кто из них будет играть черными в очередной встрече, то есть дают всего 1 бит. Поэтому с точки зрения теории информации нет никакого смысла на протяжении всего матча 24 раза подряд повторять подобные фразы — ведь можно значительно уменьшить избыточность, применив специальный код.
Кстати, именно так и поступают работники телеграфа при передаче поздравительных праздничных телеграмм. Почему эти телеграммы стоят дешевле обычных? Потому что в них то и дело повторяются фразы: Поздравляю с Новым годом; Желаю успехов, здоровья, счастья... А работники связи делают просто: вместо слов поздравлений и пожеланий посылают один условный значок. Но все же указанный способ имеет лишь частное применение: он пригоден в тех случаях, когда сообщения повторяются несколько раз. А нельзя ли найти более общие методы, избавляющие от излишеств любой передаваемый текст? Оказывается, такой способ уже нашли. Специальные устройства сортируют «словесные грузы». Грузы эти сортируются не по весу, не по качеству, не по объему, а по вероятности появления букв.
Чтобы передать текст по каналу связи, надо применить какой-нибудь код. Если бы нам предложили выбрать способ кодирования, мы, очевидно, поступили бы просто: поскольку все буквы длй нас равноценны, мы выписали бы подряд весь алфавит и присвоили буквам порядковые номера. Затем условились бы, что каждому номеру соответствует какая-то высота импульса: чем больше порядковый номер буквы, тем больше соответствующий импульс.
Казалось бы, именно так и следует поступить. Но если оценить этот код с точки зрения избыточности сообщений, он окажется очень невыгодным. Почему? Потому что он был составлен без учета.вероятности букв. Возьмем, например, букву г. В алфавите она занимает 20-е место. Значит, если а передается каким-то маленьким импульсом, то т будет передано импульсом, в 20 раз большим. Чем больше импульс, тем больше энергии расходуется при передаче. Буква т встречается в тексте почти так же часто, как а/*.
* Согласно имеющимся в литературе данным о вероятно* стных характеристиках русского языка Ра = 7,5%, 6,5%,
Если бы мы обозначили букву т маленьким импульсом, то сэкономили бы много энергии. Чтобы уменьшить избыточность, надо применить такой код, чтобы буквам с самой большой вероятностью соответствовал самый маленький импульс.
Если известны заранее вероятности всех букв русского текста, электронная трубка может избавить нас от дальнейших хлопот. Можно поручить ей «сортировку» любого текста.
Так же как в любой телевизионной трубке электроны, излучаемые катодом, фокусируются в узкий пучок. Проходя через щель, образованную двумя пластинами, он падает на экран. Если на верхнюю пластину подать положительный импульс, луч отклонится вверх. Мы включили это устройство в канал передачи словесного текста, каждой букве которого соответствует импульс определенной величины.
Начинается передача. На верхнюю пластину трубки приходят импульсы. Луч прыгает по экрану, отклоняясь то больше, то меньше в зависимости от приходящих сигналов. Экран здесь необычный: на него нанесена тонкая пленка с неравномерной прозрачностью. Это и есть то самое «сито», которое должно произвести «сортировку» букв. Нанося эту пленку, мы учли существующий в тексте порядок. Если появилась буква, имеющая малую вероятность, луч попадает в прозрачную часть экрана. А буквам, которые в тексте встречаются часто, мы постарались создать самый плотный барьер. Чем меньше яркость луча, прошедшего сквозь «сито», тем меньше ток фотоэлемента, с помощью которого будет передан дальше этот сигнал. Значит, на выходе фотоэлемента мы получим тот код, который нам нужен: букве с самой большой вероятностью будет соответствовать самый маленький импульс.
Ценой незначительных усложнений мы можем заставить это устройство учитывать корреляцию букв. Для этого нам придется использовать еще одну пару пластин, отклоняющих луч слева направо. Первый сигнал (например, буква с) отклоняет луч вверх. А следующий сигнал, соответствующий, допустим, букве т, попадет на боковые пластины и заставит луч переместиться слева направо *. Луч попадет в определенную точку экрана. Сочетание ст встречается в тексте довольно часто — в этой точке прозрачность должна быть невелика.
Такое устройство сможет не только учесть вероятность двухбуквенных сочетаний, но и произвести укрупнение сигнала, посылая определенней импульс взамен каждых двух букв. Чем чаще встречается в тексте данное сочетание, тем меньше будет посылаемый импульс.
* Чтобы оба сигнала отклоняли луч одновременно, сигнал, соответствующий с, подается на пластину с задержкой по времени.
Сообщения и предсказания
Вы заметили, что жители Нового Города называют информацию двумя различными именами? В одних случаях ее величают «мерой неопределенности»: чем больше неопределенность событий, тем больше информации дают сообщения об atnx событиях. В других случаях говорят, что это «мера неведения»: события могут следовать друг за другом в определенном порядке, но, пока порядок нам неизвестен, информация о событиях будет для нас опять-таки велика. Пока мы не изучили порядка, существующего в буквенных текстах, каждая буква будет давать нам целых 5 бит. И только когда сообщения имеют строгий порядок, который заранее нам известен, информация равна нулю.
За июлем следует август — вот пример сообщен ния о событиях, которые всегда соблюдают один и тот же неизменный порядок. Был, конечно, такой момент, когда мы впервые узнали о 12 месяцах года. Но это случилось однажды, и с тех пор это сообщение не несет нам никаких новостей. Предварительная информация исчерпала всю неопределенность событий, и потому, приняв первые слова сообщения, мы безошибочно предскажем, что дальше последует слово август. А все, что можно предсказать до получения сообщений, не несет никакой дополнительной информации — это всего лишь ненужный, избыточный груз. Как избавиться от него? Способы могут быть разные. Мы рассмотрим самый простой.
Автомат включил плавильную печь и передает на пульт управления сообщения об изменении температуры. Каждую секунду он посылает импульсы. По величине этих импульсов можно судить о температуре печи.
До последнего времени такие системы применялись повсюду, и никто не искал в них «излишеств». Казалось, все сделано очень разумно: во сколько раз увеличится температура, во столько раз возрастет и сигнал. Но жители Нового Города обнаружили в этом сигнале колоссальный «избыточный груз».
На много ли изменяется температура в течение каждой секунды? Давайте отметим все приращения
на нашем рисунке. Получается «лесенка», ступеньки которой показывают, как возрастает температура. «Лесенка» выглядит довольно обычно. А жителям Нового Города она показалась громоздкой и неуклюжей. Если бы подобную лестницу решили построить в подъезде многоэтажного дома, она заняла бы почти все здание: ведь каждая ее ступенька идет от пола нижнего этажа. А сколько ушло бы лишнего материала! Нет, никто из строителей не пошел бы на такие расходы.
Почему же инженеры-связисты должны мириться с таким положением? Разве энергия, которая расходуется при передаче ступенек, растущих от самого нижнего уровня, не требует лишних средств? Ведь можно построить «лестницу», которая станет ажурней, дешевле и легче. Можно предвидеть заранее, что температура будет расти плавно и каждая новая ступенька будет отличаться от предыдущей на небольшую величину. И передавать надо не весь уровень, а только его приращение; тогда ступеньки окажутся меньше в несколько раз. А приемное устройство будет «пристраивать» ступеньку к ступеньке и восстановит весь ход кривой.
А если на обоих концах линии связи установить автоматы, которые смогут хотя бы весьма приблизительно предсказать величины этих ступенек, то «лесенка» станет еще ажурней.
Пусть известно, что в какой-то момент времени
температура составляет 500 градусов Цельсия. Автомат, установленный в конце линии (назовем его «К»), уже «изучил» характер процесса и может «предвидеть», что в течение каждой секунды темпе-* ратура возрастет в среднем на 10 градусов. Не дожидаясь новых сигналов, он добавляет эту ступеньку к полученным ранее сообщениям и «запоминает» новое значение — 510 градусов.
Автомат, установленный в начале линии связи (автомат «Н»), делает то же самое: прибавив 10 градусов к прежнему значению, он «запоминает» температуру 510 градусов. А затем начинает сравнивать с истинной температурой. Если «предсказание» подтвердилось, посылать сигнал незачем: автомат «К» уже отметил эту величину. Но предсказывать можно лишь приблизительно. Точное значение температуры может составить и 508 и 511 градусов. Тогда автомат «Н» зафиксирует разницу между истиной и ее предсказанием и пошлет по линии связи малюсенькую ступеньку — поправку на 1 — 2 градуса. Эти крошечные ступеньки позволят в течение всего периода наблюдений точно фиксировать истинную температуру, не расходуя лишней энергии на «избыточный груз».
А нельзя ли с помощью предсказаний облегчить и «словесный груз»? Ведь просто же, прочитав слова что посеешь..., предсказать, что дальше последует ...то п пожнешь. Может быть, это смогут делать и автоматы?
Иногда можно точно предсказать значение целого слова по сочетанию нескольких букв. Лев Кассиль в своей повести «Кондуит й Швамбрания» вспоминает такой эпизод. Учитель словесности имел забавное прозвище — Длинношеее. Один из учеников задал ему вопрос: можно ли в русском языке найти слово, в котором три раза подряд повторялась бы буква «е»? И, к великому удовольствию класса, не подозревающий подвоха учитель произнес свое прозвище: «Длинношеее». Озорной гимназист рассчитал весьма точно: сочетание это встречается редко, поэтому можно почти безошибочно предсказать, каков будет ответ.
Но подобное слово — лишь редкое исключение. В большинстве случаев значение слов и букв словесного текста предсказать невозможно. Если бы во всех случаях жизни мы могли предвидеть, какие слова последуют дальше, мы не могли бы из книги, газеты или доклада извлечь для себя никаких новостей.
Упаковка должна быть надежной
Как же все-таки избавить тексты от «лишнего груза»? Предсказания сбываются редко. Электронная трубка устраняет избыточность только частично, потому что при «сортировке» она учитывает лишь вероятность двух букв. Чтобы устранить избыточность полностью, пришлось бы «сортировать» и слова и даже целые фразы: ведь надо учитывать, что после слова черный слово снег появляется очень редко, а вслед за словом производительность почти всегда произносят слово труда. Но стоит ли заниматься такой кропотливой работой? Много ли выигра- ют сообщения, если мы полностью избавим их от избытка? Нет, от этого они могут лишь проиграть.
Большинство передаваемых сообщений переводятся путем кодирования на язык импульсов. Любая внешняя причина (например, излучение близ расположенных радиостанций) может изменить величину какого-то электромагнитного импульса. В случае передачи словесных текстов это приведет к изменению или исчезновению какой-то буквы.
Пусть, например, мы приняли по радиотелеграфу следующую последовательность букв:
т, о, м, к, о, е.
По всей видимости, в это сообщение вкралась ошибка. Можно предположить, что вместо м передавалось н или п. Посмотрим, что последует дальше. Если передадут слово стекло, значит ранее было передано слово тонкое; если — болото, то вместо м следует читать букву п.
Чтобы восстановить значение одной искаженной буквы, нам пришлось использовать не только связь ее с другими буквами, но и связь между словами.
Предположим, что для передачи сообщений разработан какой-то новый, лишенный избыточности язык, то есть язык, в котором любая комбинация букв соответствует новому значению слова. Ис-каже-
ние любой буквы в таком «языке» приводило бы к появлению нового слова, и было бы чрезвычайно затруднительно при чтении принятого текста восстановить его первоначальный вид. Оказывается, в целом ряде случаев приходится специально увеличивать избыточность, чтобы избавиться от помех. Например, при разговоре по телефону мы часто повторяем несколько раз неразборчивые слова. Информация от этого не увеличивается: ведь оттого, что вам три раза подряд произнесут слово быстро, вы не получите никаких добавочных сведений о скорости процесса, о котором шла речь. От этого возрастет лишь «объем сигнала», потому что увеличится «тара», в которой упакован «словесный груз». Зато в такой «таре» груз прибудет в полной сохранности: ведь
и обычная транспортная упаковка станет прочней и надежней, если увеличить ее толщину.
Голос собранный по частям
Чтобы не загружать каналы связи ненужными «грузами», жители Нового Города решили подвергнуть проверке все сообщения и все способы их передачи. И оказалось, что каждое сообщение содержит в себе «избыточный груз».
Студия телевидения транслирует новый спектакль. Казалось бы, что может быть лишнего в такой передаче? На экран попадает лишь то, что происходит на сцене. Но люди Нового Города и здесь нахб&ят «избыточный груз». Они рассуждают так. На сцене действуют только актеры. А декорации в течение всего акта остаются на месте. И это можно предвидеть заранее, потому что лишь в редких случаях сквозь стены проникают на сцену мифические персонажи или декорации передвигаются раньше, чем начнется антракт. Так есть ли смысл без конца сообщать о том, что пол, потолок, стены и мебель остаются на прежних местах? Может быть, достаточно в первый момент передачи отделить неподвижную часть кадра и, запомнив все декорации, сообщать только то, что действительно является новым?
Оказывается, достаточно. И сигнал от этого станет намного «компактней», потому что он будет нести в себе только то, что заранее нам неизвестно. В канале, который раньше предназначался для передачи одной программы, уместится несколько лишенных избыточности телевизионных программ.
И с каналами телефонной связи можно поступить точно так же: передавать сразу 6 разговоров там, где раньше умещался один. Потому что вместо полного диапазона частот, содержащихся в человеческом голосе, можно передавать только определенную часть. Правда, голос при этом исказится настолько, что трудно будет узнать даже близких знакомых. Но разборчивость речи не пострадает. Значит, по такому каналу можно с успехом передать сводку выполнения плана, газетный текст или служебный отчет. А потеря оттенков голоса будет в данном случае лишь избавлением от излишеств.
Но жители Нового Города решили, что и в этом лишенном оттенков голосе остается много «лишнего груза». Избыточность можно сделать значительно меньше, если научиться «разбирать голос на части», то есть выделять из него сигналы различных частот. Вместо этих сигналов гораздо выгоднее передавать по каналу связи только сигналы-команды. Эти команды будут приводить в действие специальные генераторы, установленные на приемном конце линии связи, и управлять их сигналами. От изменения голоса абонента будут меняться команды, а вместе с ними частоты и уровни вырабатываемых генераторами сигналов. Сложив эти сигналы, вы получите искусственный голос — голос, «собранный по частям». Несмотря на сложность этой системы, она вполне оправдает себя тем огромным количеством сведений, которые можно по ней передать.
И все же возможность ее весьма ограничена. Такая система хороша до тех пор, пока важен лишь смысл переданных слов. Ну, а если передается художественное слово? Что останется от произведения, если вместо живых, выразительных интонаций актера вы услышите монотонный механический голос — голос, собранный по частям?
Опять всплывает понятие «ценности». Никак от него не избавиться — гонишь его в дверь, оно лезет в окно.
При передаче живой речи актера все звуковые оттенки несут ценную информацию. Значит, необходимо сохранить все изменения силы (уровня) звука и весь диапазон частот. А при передаче цифровых показателей или сводки погоды интонации ценности не представляют. Поэтому в специальных каналах их отметают как ненужный, избыточный груз.
Но даже такой, лишенный всяких оттенков искусственный голос создать вовсе не просто, потому что он состоит из огромного множества различных сигналов, или, как говорят инженеры связи, имеет «очень богатый спектр». Впрочем, к понятию спектра нам придется еще вернуться, потому что в теории информации оно играет немаловажную роль.
Сигналы из космоса
Статьи по теории информации, публикуемые в специальных журналах, рассчитаны на подготовленного читателя, и их нельзя читать с такой же легкостью, как, скажем, повесть или рассказ. Но тот, кто имеет необходимую подготовку, будет читать их с захватывающим интересом. За длинными строчками уравнений он уловит черты современности, напряженный ритм нашей эпохи, четкие действия автоматов, способных производить сложные вычисления, управлять прризводством, переводить иностранные тексты и выводить на орбиту космические корабли.
Трудно сказать, что здесь кому помогает: теория практике или наоборот. Несомненно, что без теории информации нельзя было бы сконструировать систему связи для управления полетом ракеты. Но с такой уверенностью можно говорить и о том, что теория информации не развивалась бы столь стремительно, если бы не возникла нужда в создании подобных систем.
Чтобы опустить воздушного змея, надо тянуть за ниточку, которая связывает его с землей. Космический корабль может покинуть орбиту и вернуться на Землю, если передать по радио соответствующую команду. Значит, подобно воздушному змею, он связан с Землей невидимой нитью, носящей название «информация».
циальный приемник. Когда на вход приемника поступят сигналы, он их усилит, и они смогут включить автомат, осуществляющий спуск.
Однако если учесть, что, помимо команды спуска, на корабль подаются другие команды, управляющие приборами и автоматами, установленными на борту, задача станет намного сложнее. В этом отношении корабль похож не на змея, а на куклу-марионетку, которую с помощью нескольких нитей заставляют проделывать множество разнообразных движений.
А с борта корабля поступают на Землю другие сигналы. В них содержатся сообщения о давлении и
температуре в специальном контейнере, о космической радиации, о распыленных в пространстве частицах материи и о магнитном поле Земли. Во время полета эти сигналы следуют непрерывно, и каждый из них должен быть принят наземной станцией и направлен в отведенный ему канал. Так возникает многоканальная связь.
Самый простой канал связи состоит из передатчик ка и приемника, настроенных на одну частоту. Но космическая станция обеспечивает одновременную передачу по десяткам различных каналов. Как это достигается? Нельзя же установить на борту корабля двадцать передатчиков, работающих на двадцати различных частотах? Такая система была бы слишком громоздкой и совершенно неприемлемой для космических станций, при конструировании которых необходимо экономить каждый грамм веса. Вот здесь-то теория информации и приходит на помощь технике связи.
Шаг за шагом
Чтобы представить себе, как велика роль теории информации в решении проблем, выдвигаемых нашей эпохой, надо внимательно проследить весь путь создания многоканальных систем. Вот почему отбросим на время общие рассуждения и займемся конкретным делом: спроектируем радиостанцию для связи с космическим кораблем. А поскольку мы с вами еще не покинули Нового Города, то воспользуемся его лабораториями и цехами, где быстро и точно могут изготовить аппаратуру по нашим схемам и чертежам. Затем с космодрома Нового Города взлетит на орбиту новый корабль, и мы сможем принять сигналы из космоса и прочесть по ним, как протекает полет.
Как приступить к решению этой задачи? Прежде всего мы должны подумать о том, как перевести все сообщения, передаваемые из космоса, на один общий язык — язык радиосигналов. Для этих релей современная техника применяет специальные датчики — устройства, превращающие все интересующие нас величины в электрический ток.
Если включить в электрическую цепь сопротивление, величина которого зависит от температуры, ток в этой цепи будет изменяться вместе с температурой. Это простое устройство может служить датчиком температуры.
Для измерения давления мы используем специальный конденсатор, одна пластина которого представляет собой гибкую мембрану. С увеличением давления емкость конденсатора будет расти, потому что, прогибаясь, мембрана уменьшает зазор. Подобное устройство сможет служить еще и датчиком сообщений о количестве метеоритов, удары которых будут чувствительными для гибкой мембраны.
Мы имеем множество датчиков и один передатчик, излучающий на Землю сигналы. На сигнале должны быть записаны все сообщения. Но при этом должна соблюдаться строгая очередность.
Итак, я начинаю набрасывать первую схему. Вот множество датчиков. Каждый из них я подключаю к одному из контактов, расположенных по кругу. Специальный ползунбТГ может вращаться по этому кругу и поочередно «прощупывать» каждый контакт. В тот момент, когда ползунок соприкоснется с контактом, сигнал одного из датчиков поступит на передатчик и будет принят наземной станцией.
Все происходящее напоминает картину войскового смотра, когда главнокомандующий шаг за шагом минует ряды выстроенных перед ним подразделений и заслушивает четкие рапорты командиров. По команде, пришедшей с Земли, ползунок начинает поочередно обходить расположенные по кругу контакты, и каждый из них «рапортует» о состоянии доверенного ему объекта наблюдений:
— Температура?
— Двадцать!
— Давление?
— Семьсот тридцать!
— Излучение?
— Сорок рентген!
Пришедший на Землю ответный сигнал подает команду такому же переключателю, который одновременно (синхронно) с бортовым переключателем «совершает обход» соответствующих контактов, передавая их «рапорт» приемному устройству наземной станции:
— Температура?
— Двадцать!
— Давление?
— Семьсот тридцать!
— Излучение?
— Сорок рентген!
Конечно, в сигналах, пришедших на Землю, не содержится таких подробных ответов. На экране видны лишь отдельные всплески — импульсы тока. Высота их зависит от уровня измеряемых величин. Если растет давление, значит в соответствующем датчике растет ток. Этот ток воздействует на передатчик и увеличивает излучаемый им сигнал. Соответственно растет импульс на экране наземной станции.
Но здесь возникает первый сложный вопрос. Представьте себе, что система, которую мы хотим спроектировать, уже запущена в космос и точность ее сообщений гарантирует успешный полет. Пусть датчик, измеряющий давление внутри одного из отсеков, подключен к контакту номер один. Ползунок коснулся контакта, и вы получили сообщение о том, что давление соответствует норме. Ползунок пополз дальше, а в вас вдруг закралось сомнение: а что, если в следующее мгновение давление резко подскочит вверх? Вы с нетерпением ждете следующего сообщения. Вам кажется, что ползунок движется чересчур медленно: прошло так много томительных мгновений, а он не прошел и четверти круга. Но вот, наконец, обход завершен, и ползунок вновь вернулся на первый контакт. Вы почувствовали облегчение: давление не превысило нормы. И вдруг снова тени сомнений смутили ваш покой. Несколько мгновений назад все было в порядке. Сейчас тоже. А что было в промежутке между двумя сообщениями? Может быть, по каким-то причинам произошел резкий скачок давления в этом отсеке и оно превратило в лепешку часть приборов, установленных на борту корабля?
Впрочем, должен признаться, что я чересчур сгустил краски. «Тени сомнений» не смогли бы возникнуть в перерыве между двумя сообщениями, потому что даже при самой медленной скорости ползунок успевает в течение каждой секунды обежать все контакты по нескольку раз. Но измеряемые величины могут меняться еще быстрее. И оттого, что сообщения следуют с перерывами, полученная нами картина явления может быть совсем не похожа на то, что происходит на борту корабля (см. рис. на стр. 95).
И все же во многих случаях жизни нам приходится верить таким вот прерывистым сообщениям. Как проверяют продукты питания, выпускаемые фабрикой или заводом? Разве кто-нибудь пробует все сосиски или подвергает анализу каждый кусок колбасы? Нет, лишь время от времени с продуктов снимают пробу. По нескольким деталям, изготовленным цехом, делают заключение, что вся партия соответствует норме. И никто не высказывает опасений, что в перерыве между отдельными пробами проскочил производственный брак.
Но $ак часто снимаются подобные пробы? Через час или через день? Может быть, достаточно проверять раз в неделю? Но если в начале недели установлено, что колбаса изготовлена из свежего мяса, разве кто-нибудь даст гарантию, что к концу недели мясо будет таким же свежим? Очевидно, продукты питания проверяются чаще.
А как часто надо «снимать пробы» со спутника?
Не так-то просто ответить на этот вопрос. Пока ясно только одно: чем быстрее изменяются интересующие нас показатели, тем чаще надо снимать с них «пробу». Если бы нас интересовала погода в каком-то районе Земли, мы могли бы принимать сообщения о температуре и скорости ветра не чаще, чем раз в 20 — 30 минут, потому что за это время погода в об-щем-то останется той же. Но ведь мы хотим получать сигналы со спутника. А уж тут дело сложнее. Спутник летает с огромной скоростью, и потому «космическая погода» может в течение каждой минуты измениться несколько раз. Успеют ли следить за этими изменениями наши отрывочные сигналы? Какой перерыв во времени допустим для отдельных «проб»?
Вот здесь и приходит на помощь теория информации. В основе многих ее положений лежит так называемая теорема Котельникова, позволяющая определить необходимую частоту «проб».
Среди тех, кто впервые поднял вопросы, касающиеся общих проблем передачи сообщений, советскому ученому Котельникову принадлежит почетное место. Это он впервые назвал «каналами связи» все пути, по которым может бежать информация, объединив этим термином и нервные ткани, и проволоку, и эфир*.
* Вопросы, о которых здесь идет речь, были изложены В. А. Котельниковым в его работе «О пропускной способности «эфира» и проволоки в электросвязи», доложенной им на Первом Всесоюзном съезде по вопросам реконструкции связи в 1933 году.
Им же была доказана теорема, согласно которой сведения о любых явлениях и процессах могут быть приняты на расстоянии в виде отдельных отрывочных «проб». Частота этих «проб» зависит от тех частот, которые содержит в себе сигнал.
Известно, что солнечный луч, пропущенный сквозь распыленную в воздухе влагу, дает красивые переливы цветов, которые мы называем радугой. Эти цвета образуют так называемый спектр. Белый луч распадается на семь цветов спектра, потому что он несет в себе множество различных частот.
Каждый сигнал, пришедший из космоса, тоже обладает определенной «окраской» — его «цвет» зависит от содержащихся в нем частот.
К этой простой аналогии инженеры-связисты пришли не сразу. Сначала эти частоты были получены чисто теоретически, с помощью издавна используемых математикой преобразований Фурье. Затем научились выделять их из сложных сигналов с помощью специальных электрических фильтров. Нам с вамипредстоит сейчас проделать подобную процедуру, для того чтобы воспользоваться теоремой Котельникова и определить, как часто придется снимать «пробы» с борта космического корабля. А зная частоту этих «проб», мы определим, с какой скоростью должен вращаться ползунок шагового переключателя во время «опроса» датчиков.
Чувствуете, какая длинная получается здесь связь? Одно цепляется за другое. Надо знать форму принятого сигнала, определить состав его спектра и привлечь на помощь теорему Котельникова, для- того чтобы ответить лишь на один, казалось бы, совсем не сложный вопрос: как быстро должен вращаться наш ползунок?
Но удивляться этому не приходится. Ведь с помощью ползунка мы хотим получать информацию. Так где же, как не в теории информации, должны искать мы ответа на каждый вопрос? Раз уж мы взялись конструировать систему космической связи, нам придется вооружиться терпением и шаг за шагом пройти все звенья этой цепи.
Предположим, что сигнал одного из датчиков, с которого мы хотим снимать «пробы», имеет сложную форму, изображенную на рисунке. Нетрудно заметить, что здесь есть определенная частота повторения: через равные промежутки времени ток датчика нарастает и падает до нуля. Если это происходит 100 раз в секунду, значит частота повторения составляет 100 герц.
Этот сложный сигнал содержит в себе множество простых (синусоидальных) сигналов различных частот: 100, 200, 300, 400 герц. При этом чем выше частота, тем слабее сигнал. Эти простые сигналы и образуют спектр (см. рис. на стр. 98).
Давайте изобразим этот спектр иначе. Пусть каждый сигнал спектра будет «привязан» к шкале, по которой отмечены все частоты. Теперь на нашем рисунке сложный сигнал датчика будет выглядеть как частокол (см. рис.). Высота этого «частокола» определяется уровнями сигналов*. Каждый сигнал спектра имеет в общем узоре (то есть в сложном сигнале) определенный «удельный вес». Начиная с некоторой частоты (например, 1000 герц), составляющие спектра будут настолько малы, что приемник наземной станции их попросту не замечает. Да их и не следует замечать: они так малы, что их отсутствие не повлияет на форму сигнала.
Вот теперь мы можем, наконец, воспользоваться теоремой Котельникова и определить необходимую частоту «проб». Смысл теоремы довольно прост: если среди многих частот, содержащихся в сложном сигнале, наибольшая частота, которую «замечает» приемник, составляет 1000 герц, то информация окажется достаточно полной только в том случае, если в течение каждой секунды «пробы» будут сниматься не меньше 2 тысяч раз.
* Уровень синусоидального сигнала определяется его амплитудой, то есть наибольшим отклонением напряжения от нулевого значения.
Во всех случаях частота опроса должна быть в два раза больше самой высокой частоты, содержащейся в спектре сигнала.
Наука предсказаний
Все было бы чхорошо, если бы сигналы всех датчиков имели неизменную форму и обладали определенной частотой повторения. Но на практике дело обстоит гораздо сложнее.
Например, если датчик дает информацию о распыленных в космосе мельчайших частицах, то сигнал в соответствующем канале непрерывно меняется, потому что частицы встречаются то чаще, то реже, плотность их может быть то постоянной, то изменяться в течение каждой секунды несколько раз (см. рис.). А когда изменяется форма сигнала, изменяется и его спектр. Наш «частокол» будет очень подвижным, он может стать то уже, то шире, а уровень прыгает то вверх, то вниз. Говоря образно, спектр будет «дышать». Как найти наибольшую частоту такого подвижного спектра? Как определить необходимую частоту наших «проб»? С какой скоростью должен производить опрос шаговый переключатель?
Чтобы ответить на эти вопросы, теория информации привлекает на помощь другую теорию — теорию случайных процессов.
Если частота и уровень образующих спектр сигналов изменяются по случайным законам, значит можно определить вероятности различных уровней и частот. А зная вероятности, можно предвидеть будущее. Спутник, скажем, существует только в проекте, а мы уже знаем,как будут вести себя сигналы из космоса, когда, достигнув орбиты, он действительно станет спутником нашей Земли. Но для этого нам придется исследовать множество подобных сигналов — ведь само понятие «вероятность» справедливо только для многократно повторяющихся событий.
Нельзя, например, применив теорию вероятностей, предсказать, сколько раз из десяти подброшенная монета упадет вверх гербом. Может быть, 5, а может быть, 3 или 6. И все же теория утверждает, что вероятность выпадения любой из сторон монеты равна 50 процентам, и можно с полной уверенностью предсказывать, что подбрасываемая монета не сможет опровергнуть этого утверждения. И действительно, когда английский ученый Карл Пирсон ради эксперимента подбросил монету 24 тысячи раз, число падения вверх гербом составило 50,05 процента! А ведь так оно и должно быть; чем больше бросков, тем более точно подтверждается то, что предсказано вероятностью. Здесь действует закон больших чисел.
Явления, вероятность которых учитывает теория информации, куда сложнее и многообразнее, чем падение подброшенной монеты: ведь в процессе передачи сигналов происходит непрерывное изменение многих уровней и частот. Потому и приходится учитывать их вероятность, чтобы узнать, каких сигналов следует ожидать. Между прочим, в теории случайных процессов ожидание — это не вынужденное безделье, а точно подсчитанная величина. Ее называют «математическим ожиданием».
Однако не слишком ли мы увлеклись теорией? Может быть, лучше обратиться к примерам из жизни?
На стройку должна прибыть партия рабочих. Начальник стройки отдал распоряжение завхозу закупить для них спецодежду. А какие нужны размеры, не сказал. Да и не мог сказать: у него есть список рабочих, но в этом списке, разумеется, не отмечен их рост. Но завхоз уверенно составляет заявку, в которой числится много спецовок средних размеров и меньшее количество на высокий и малый рост.
По списку закуплено и выдано 5 тысяч спецовок, и к концу раздачи становится ясным, что из всех 5 тысяч рабочих только для нескольких хитрый снабженец не угадал нужного размера. Кладовщик в пол-
ном недоумении: подумать только,. наугад закуплено столько -костюмов, и почти все оказались в самый раз!
А стоит ли удивляться? Ведь завхоз, сам того не подозревая, составлял список по законам теории вероятностей. Быть может, он никогда в жизни не слышал, что есть на свете такая теория, но жизненный опыт подсказал ему, что средний рост имеет наибольшую вероятность, а люди слишком высокие или очень уж низкие встречаются как исключение.
Но можно было ту же задачу решать и более строго. Например, так. Дать команду рабочим прекратить работу на стройке и выстроиться в один длинный ряд. Линия, «огибающая» рабочих, будет кривой случайного распределения роста людей.
Завхоза, который решился бы предложить подобныйспособ расчета спецовок, начальник стройки, очевидно, уволил бы в тот же день. И он был бы прав: лучше закупить сотню лишних спецовок, чем прерывать строительство хотя бы на полчаса. К счастью, завхозы, как правило, обходятся без подобных приемов, полагаясь. на свой жизненный опыт. Но нас с вами этот пример интересует с точки зрения чисто теоретической, а потому (да простит нас строгий начальник стройки!) мы попытаемся довести расчет до конца.
Давайте установим 5 размеров спецовок и составим таблицу их вероятностей.
Номер размера спецовок Расход ткани (кв. м) Число спецовок на каждую сотню рабочих Вероятность данного размера
1 2,0 15 0,15 (15%)
2 2,5 20 0,20
3 3,0 30 0,30
4 3,5 25 0,25
5 4,0 10 0,10
Теперь можно смело закупать 150 первых и 200 вторых размеров на каждую 1000 спецовок — составленная по законам теории вероятностей таблица «предскажет» рост вновь прибывших рабочих без значительных ошибок.
По этой таблице можно делать и другие расчеты. Можно рассчитать, сколько надо купить ткани для
того, чтобы сшить вновь прибывшим рабочим костюмы точно по росту. Как это сделать? Ведь рост каждого из рабочих нам по-прежнему неизвестен. Зато мы можем рассчитать по нашей таблице, какого, расхода ткани следует ожидать. Каждый из указанных в таблице расходов мы помножим на его верояр-ность и, сложив все полученные цифры, определим ожидаемый средний расход.
Средний расход = 2 0,15 + 2,5 0,20 + 3,0 0,30 +’ + 3,5 0,25 + 4,0 0,10 = 2,975 3 кв. м.
Расчет, как видите, подтвердил, что ожидать надо именно среднего роста — недаром завхоз закупал средний размер. Если мы собираемся покупать материал на 5 тысяч спецовок, то надо исходить из того, что все 5 тысяч рабочих имеют одинаковый средний рост. Но разве среди 5 тысяч рабочих не найдется высоких и низких? Найдутся, конечно. И спецовки им придется шить разные: и средние, и малые, и большие. Однако в среднем на каждого из рабочих придется потратить материала ровно столько, сколько требует средний размер.
Конечно, в жизни подобные задачи решаются значительно проще: ведь никто не упрекнет снабженца, если в результате обеспечения 5 тысяч рабочих на складе останется немного неиспользованного материала. Но техника не терпит ни «избытка», ни «недостатка»: от точности определения вероятности и математического ожидания уровней и частот всех сигналов зависит точность передачи сообщений и общее количество информации, которое наша система сможет нам передать.
Логина автоматов
Теория с практикой связана неразрывно. Теория утверждает, что точность полученной информации будет тем выше, чем больше частота опроса, а техника связи создает шаговые системы, в которых роль ползунка выполняет сфокусированный поток электронов, способный в течение каждой секунды обежать все контакты тысячи раз.
Теория позволяет определить частоты, содержащиеся в спектрах сложных сигналов, а техника связи использует специальные фильтры, с помощью которых каждый сигнал направляется в отведенный ему частотный канал.
Применяя подобные фильтры, можно осуществлять передачу по многим каналам без помощи шагового переключателя, разделив сообщения по частоте.
Но еще чаще применяются такие системы, в которых различные сообщения различаются одновременно и по времени и по частоте.
Такая система позволит передавать очень большое количество информации. В каждый частотный канал попадают сигналы от нескольких датчиков, с которых снимает показания шаговый переключатель или электронный луч. Сигналы эти воздействуют на специаль-
ные генераторы, частоты которых (их называют «поднесущими частотами») должны попасть в соответствующие фильтры приемной станции. Каждый из генераторов, в свою очередь, воздействует на передатчик, вырабатывающий несущий сигнал. Этот сигнал пронесет по эфиру все сведения и будет принят наземной станцией, которая направит различные частоты по разным каналам.
В такой системе разные сообщения будут стекаться к одному передатчику, подобно тому как на крупном заводе все показатели выполнения плана идут от рабочих участков в единое плановое бюро. А в наземной станции сообщения вновь растекутся по разным каналам. (Если сравнить с тем же заводом, то надо представить себе, как приказ директора передается по инстанциям ко всем рабочим местам.)
Задача, которую нам теперь предстоит решить, может служить еще одним ярким примером неразрывных уз практики и теории. Нам придется разработать такие схемы, которые смогут не только передавать и принимать информацию, но и делать выводы из полученных сообщений.
Чтобы вывести спутник на заданную орбиту и вновь вернуть его на* космодром, надо создать специальные автоматы. Они должны не только принять сигналы со спутника, но и послать ему ответные команды. Эти команды могут меняться в зависимости от сообщений, которые приходят из космоса.
Устройство изменяющее уровень несущего сигнала
Датчики
Передатчик
Генераторы
Шаговые переключатели
Обрабатывая огромное количество данных, автомат сам «принимает решение» с учетом всей информации, которую он получил. Значит, и в нашем проекте должны быть использованы такие системы.
И сейчас иногда приходится слышать: «Ну разве это работник? Никакой инициативы! Действует «от» и «до» — как автомат». Какая несправедливость! Разве современные автоматы не способны учитывать и сопоставлять различные сведения для принятия нужных решений? Разве у них нет своей логики? Нет, очевидно, прошло то время, когда плохого работника можно было сравнивать с автоматом. Теперь приходится согласиться с тем, что в определенных условиях автомат может действовать так же разумно, как человек. Как же удалось людям создать автоматы, способные учитывать разнообразную информацию и в самых различных ситуациях находить, правильное решение?
Оказывается, все случаи сопоставления сведений можно свести к короткому перечню правил, изучением которых занимается один из разделов математики: алгебра логики, или алгебра событий. Правила алгебры логики применимы к любым счетно-решающим устройствам, независимо от того, установлены ли эти устройства на космическом корабле, в вычислительной машине или... в обыкновенном лифте.
Обращали ли вы внимание на одну маленькую особенность лифта: сколько бы вы ни жали на кнопку вызова, он не начнет спускаться, пока в его кабине находится пассажир. Потому что лифт «рассуждает» так: «Зачем же спускаться за вторым пассажиром, если первый еще не доставлен на нужный этаж?» Логично, не правда ли? Но где же спрятана эта «логика лифта»? Взгляните на эту таблицу. В ней перечислены все условия, которые нужно выполнить, чтобы лифт начал спускаться по вызову.
Таблица 1
Буквенные обозначения этих условий выбираются произвольно: каждая из букв, имеющихся в правой части таблицы, может быть с успехом заменена любой другой. Однако, применяя эти обозначения, мы уже использовали определенные правила алгебры логики. Так, например, общепринятым является обозначение отсутствия пассажира (отрицания события) через значок П с минусом наверху, в том случае если присутствие его обозначается буквой П без минуса.
Слово «или» в алгебре логики заменяется знаком « + ». Значит, написав условное обозначение Дк +Дк, мы предоставили возможность пассажирам, выходящим из лифта, оставлять кабину открытой или,-подчиняясь привычке, прикрывать за собой дверь.
6 случае, когда все условия выполняются одновременно (то есть__ одновременно должно произойти и Дн.э, и Дв.э, и П, и Дк +ДК, и Кв), алгебра логики пользуется знаком умножения — «X». Теперь все происходящие в лифте события, для описания которых мы до сих пор пользовались разнообразными и многочисленными словами, сведутся к простой и короткой формуле:
Описанный случай не является единственным случаем спуска (именно поэтому мы и обозначили его как Ci).
Второй случай спуска (С2) осуществляется при условиях, перечисленных в таблице 2, и может быть 106 представлен в виде такой же простой формулы:
Таблица 2 (...)
Значит, правила . алгебры логики помогли нам спроектировать простейшее автоматическое устройство, схема которого была получена нами сначала с помощью формулы, а затем в виде соединенных между собой в определенной последовательности контактов реле.
До тех пор пока в этой схеме не нарушены механические контакты и четко срабатывают реле, схема «помнит» условия, записанные в таблицах 1 и 2. Просмотрите еще раз эти условия, мысленно замыкая соответствующие контакты, и вы убедитесь, что цепь I — II, включающая мотор для спуска кабины, окажется замкнутой только в том случае, если выполнены все условия, соответствующие случаю Сi или Сг.
Те же логические операции может с успехом выполнять электронная лампа. Если каждый из приходящих импульсов (хну) может по отдельности отпирать электронную лампу, вызывая импульс тока в ее анодной цепи, значит лампа выполняет операцию х или у, то есть х+у. В случае когда лампа отпирается при одновременном воздействии обоих импульсов, она выполняет операцию х и у (хХу). Каждый из этих импульсов в отдельности не способен отпереть лампу, и лишь при совместном их появлении лампа откроет им путь.
Надо сказать, что сложные контактные Схемы начали применяться в автоматике значительно раньше, чем алгебра логики пришла на помощь конструкторам и инженерам. Долгое время такие схемы строились «по догадке».
Пока количество контактов в схеме не выходило за пределы десятка, такой способ никого не смущал. Но когда сложные задачи автоматики потребовали включения в схему десятков и сотен контактов, построение схем превратилось в мучительную головоломку. А с помощью алгебры логики любой школьник сможет безошибочно составить сложную схему. Когда проверили по формулам сложные схемы, созданные ранее «по догадке», оказалось, что в них одни и те же цепи замыкаются десятками параллельных контактов! Их можно было попросту отключить от электрической схемы, совершенно не нарушая работы автоматических устройств.
Что же тогда говорить о современных вычислительных машинах,-схема которых состоит из сотен тысяч ячеек?
Без применения алгебры логики о создании подобной схемы не могло быть и речи. Зато с помощью этой необычной алгебры удается создать сложнейшие логические схемы, производящие целую серию операций в соответствии с заданной им программой. Логика позволяет этим устройствам в ответ на каждый сигнал «отыскать в памяти» нужные сведения, сопоставить их с этим сигналом, оценить результаты сопоставлений и направить их в нужный канал. Прежде чем совершить новую операцию, машина «оценивает» прежние результаты, руководствуясь теми же правилами логики: «Если имеется Л и В, следует делать С».
Так возникает сложная последовательность «самостоятельных» действий автомата, подчиняющихся лишь самым общим правилам, известным математикам под названием «алгоритмов». Но как ни сложны эти операции, все они подчиняются формулам алгебры логики, причем в основе их всегда лежат простейшие операции типа А и В, А или В.
Современная математика состоит из многих самостоятельных разделов, и нелегко перечислить явления, которые удалось свести к ее формулам, символам и значкам. А когда-то человек не мог сосчитать даже собственных пальцев. Он мог лишь сказать, что их много, потому что первобытная арифметика знала только две количественные оценки: или «много», или «один». Потом человек научился считать. Потом заменил числа значками, и оказалось, что* с помощью иксов и игреков гораздо легче решить любую задачу, потому что не надо помнить о яблоцдх, лежаших в ящиках или корзинах, о поездах или пешеходах — заменяй все иксом и игреком и сразу получишь ответ. А теперь еще алгебра логики... Если вместо наших обозначений подставить в формулы иксы и игреки, логика лифта будет выглядеть так:
С виду обычное уравнение. Сколько раз мы писали их на уроках алгебры в наших школьных тетрадках! И все же это не те уравнения, и алгебра тоже не та: за символами х, у, р или q здесь скрываются не бездумные трубы бассейна, где труба р отбирает х литров в секунду, а труба q с таким же бессмысленным равнодушием наливает воду обратно в бассейн. Наша схема не позволит лить воду из пустого в порожнее! Ведь она обладает логикой, может взвешивать обстоятельства и решать: если р наполняет бассейн водой, то незачем через q гнат,ь воду назад.
Чувствуете, как тут все происходит? В этой простой и маленькой схеме живет частица гибкой человеческой мысли! Именно живет: если меняются обстоятельства, то меняется и результат. Конечно, «обстоятельств» в лифте не так уж много: вошел пассажир или вышел, намерен ехать вверх или вниз. И все же, решая свою простую задачу, схема должна сопоставить все, что в данный момент происходит, для того чтоб «принять решение», как ей следует поступить. В сложной схеме таких обстоятельств будет уже значительно больше, длиннее станут ее уравнения, а «рассуждения» будут настолько разнообразны, что сам создатель такой машины уже не предскажет их результат.
В последнее время на страницах журналов и газет часто спорят, сможет ли когда-нибудь машина написать Хорошую музыку или стихи. Пока можно твердо сказать одно: для настоящего творчества в логике этих машин не хватает многих еще не известных науке правил. Но и без «машинных стихов» алгебру логики связывают с поэзией узы самого тесного потомственного родства: ее «отцом» был отец известной писательницы Войнич*, а «крестной матерью», посвятившей жизнь развитию этой отрасли знаний, — племянница знаменитого Байрона — леди Лавлейс.
Надо думать, что связь эта далеко не случайна. В этой науге и тех схемах, которые она -породила, смелый полет фантазии сочетается со строгой логикой рассуждений, и в этом есть, несомненно, своя поэзия и красота.
* Основоположником алгебры логики был Джон Буль, отец писательницы Э. Войнич, автора известного романа «Овод».
Универсальный язык
Мне кажется, что читатель уже не рискует показаться нескромным, утверждая, что в вопросах, связанных с информацией, он приобрел кое-какой багаж.
Работая над проектом, мы научились превращать сообщения в электрические сигналы, передавать их по многим каналам и обрабатывать эти сигналы с помощью логических схем. Остается решить лишь один важный вопрос. Для того чтобы все звенья нашей системы взаимодействовали и имели «общий язык», мы должны применять в них какой-то единый код. Опыт последних десятилетий подсказывает единственный путь: самым удобным «языком электроники» является двоичный код.
Главным его преимуществом является простота. В самом деле: можно забыть все цифры, правила деления и умножения и ряд более сложных правил, если умеешь верно считать до двух.
Смотрите, как это просто: возьмите любое десятичное число, например 307.
Что означает подобная запись?
Она означает, что в этом числе содержится 3 сотни, 0 десятков и 7 единиц. И десятки, и сотни, и единицы — это различные степени числа 10. В этом нетрудно убедиться, взглянув на такую запись:
Значит, число 307 можно представить так:
Теперь такую же запись составьте и для различных степеней числа 2.
Любое число (например, число 25) вы можете разложить по степеням числа 2 и определить, какие разряды двоичной системы содержит в себе это число:
Теперь вынесите множители всех разрядов и прочтите полученное число: 11 001. Так выглядит в двоичной системе счисления десятичное число 25.
Таким же путем можно превращать в набор единиц и нулей любые числа. Теперь вспомните, каких трудов стоило вам в свое время выучить наизусть таблицу умножения. До сих пор живут в вашей памяти обложки тоненьких школьных тетрадок, а на них девять столбиков, в каждом по 10 строк. А в двоичной системе всю таблицу можно усвоить с первого взгляда:
Остается условиться о том, что, посылая импульс, мы передаем цифру 1, а отсутствие импульса соответствует цифре 0; и различными сочетаниями импульсов мы сможем сообщать любое число. По этому принципу и строится двоичный код.
Почему именно этот вид кодирования нашел применение в’ разнообразных устройствах автоматики и системах связи?
На протяжении истории своего развития человечество разрабатывало и применяло разнообразные коды. Одним из самых распространенных кодов является наш разговорный язык. На первый взгляд кажется странным, что во время приятной беседы мы осуществляем кодирование собственных мыслей и расшифровываем мысли своего собеседника. И тем не менее дело обстоит именно так. Одну и ту же мысль можно кодировать звуками (в разговоре), буквами (в письменной речи), условными знаками (в стенографии) и, наконец, импульсами (в телеграфии и других системах связи).
Не так уж мало, если учесть, что все эти виды кодирования, имеют столько же вариантов, сколько существует в мире различных языков! И среди всего этого многообразия условных обозначений все более широкое применение находит двоичный код. А все
потому, что он состоит всего из двух элементов и можно легко «обучить» двоичному счету любой автомат.
Самая простая ячейка способна «разговаривать» языком двоичного кода. Это может делать электронная лампа, магнитная ячейка, полупроводниковый прибор или контакт реле. Пока течет ток через лампу или контакт — они «помнят» цифру 1 и дают ответ «да». С того момента, когда от новой команды лампа запрется или реле разомкнет контакт — в ячейке будет храниться 0. Значит, она пригодна и для ведения счета и для логических операций. Две ячейки могут хранить в себе числа 00, 01, 10 или 11. А цепочки таких ячеек способны «помнить», умножать или складывать многозначные числа, передавать их друг другу, вести обработку любой информации по любой программе. А числами можно рассказать обо всем.
Теорема Котельникова позволяет любой непрерывный процесс передать отрывочными сигналами и каждое сообщение об изменении уровня выразить двоичным числом. Яркость луча телевизора изменяется, плавно, но глаз способен улавливать изменение яркости только в том случае, если оно превышает определенный предел. Значит, весь кадр можно разбить на неуловимые для глаза ступеньки и, присвоив каждой из них порядковый номер, превратить концерт, кинофильм и спектакль в чередование единиц и нулей. Тем же свойством «градации» (восприятия громкости по ступеням) обладают и наши органы слуха. Значит, и звуки симфонии можно перевести на двоичный код.
С помощью двоичного кода можно записать логику самого сложного автомата. Любая логическая операция создается цепочкой простейших ячеек. Отпираясь и запираясь, они дают ответ другим частям схемы: да — нет, нет — да, да — да — нет. Или 1001110. Стоит лишь присвоить порядковый номер каждой букве алфавита, и текст превратится в% чередование нулей и единичек, а простая радиолампа сможет «прочесть» вам «Медного всадника» на своем, «ламповом», языке. Она будет лишь отпираться и запираться, посылая за импульсом импульс, но в чередовании их сохранится вся пушкинская поэма. В них — душевные муки Евгения, петербургские улицы, затопленные разгневавшейся Невою, и сам «чудотворный строитель», скачущий на отлитом из меди коне.
Впрочем, поэму Пушкина, пожалуй, никто не станет переводить в импульсы двоичного кода. У автоматов и различных систем передачи сигналов и без того достаточно дел.
В космос запущен новый корабль.
С помощью электронной машины сделан сложный экономический расчет.
На поточной линии без участия человека собран сложный комбайн.
А непременные участники этих событий. — автоматы и электронные схемы — рассказывают об этом друг другу одними и теми же, чрезвычайно «скупыми» словами: да — нет, да — нет, да — да — нет.
Еще в XVII веке выдающийся математик Лейбниц отчеканил в честь двоичной системы счисления медаль. На ней было написано: «Чтобы вывести из ничтожества все, достаточно единицы». Но лишь в наше время полностью подтвердились его пророческие слова. Разве не этими единицами заставляем мы сложные электронные схемы совершать истинные чудеса? И не случайно любые события мы можем описывать одними и теми же импульсами: в бесконечном многообразии информации проявляется ее поразительное единство.
Будут новые города!
С тех пор как наука смогла обнаружить в многообразии сведений и сообщений обобщающие единые признаки, слово «информация» приобрело новый, глубокий смысл. Это чудесное слово послужило основой единых методов приема и обработки сигналов в самых различных каналах связи. Вот почему принципы, которые мы с вами только что обсуждали, применяются с равным успехом в самых различных системах связи, работающих и в космосе и на Земле.
Автоматы, которые могут без участия человека превращать сырье в сложные механизмы, существуют уже не первый десяток лет. Но в последние годы появились совсем иные машины. «Сырьем» для них служат разные сообщения, а «готовым продуктом» — решения и команды.
Они могут обрабатывать информацию, как другие машины обрабатывают дерево или металл. С каждым годом таких машин становится больше, и все же потребность в них год от года растет. Почему это происходит? Потому что наука и техника развиваются в настоящее время столь бурно, что без помощи автоматов человек рисковал захлебнуться в потоке добытых им сведений и новостей.
Из ручейков информации, родившихся в человеческом обществе в древние годы, вылился этот нескончаемый бурный поток. Когда-то клинопись на нескольких глыбах гранита умещала в себе все сведения, добытые человечеством за многие тысячи лет. Потом пришли уникальные летописи на пергаментных свитках. И лишь с появлением печатных станков инфор-
мация впервые обрела голос, который могли услышать одновременно тысячи разных людей. А когда на помощь печати пришли радио, телефон, телеграф, телевизор; для информации исчезли время и расстояние. Достижение одного человека стало достижением всего человечества, любые научные данные проверяются в сотнях лабораторий и множатся в тысячи раз. Не будь машин, владеющих информацией, человек в конце концов потерял бы способность* ориентироваться в потоке сведений и новостей.
Поставьте себя в лоложение конструктора, которому необходимо спроектировать сложную современную машину, включающую в себя комплекс взаимосвязанных механических, электрических и радиотехнических средств. Чтобы вновь разрабатываемая конструкция
отвечала всем требованиям современной техники, она должна включить в себя все передовые достижения. И плох тот инженер, который, решая вставшую перед ним задачу, будет пытаться «открывать Америку» там, где можно найти готовый ответ. Но вместе с тем каждое выбранное решение не должно быть случайным, и, чтобы найти среди многочисленных книг, статей и отчетов нужный- материал, инженер должен искать ответ на сотни различных вопросов, перебирая тысячи печатных страниц. Чем сложнее и многообразнее становятся технические средства, чем шире разворачивается фронт научно-исследовательских работ, тем все более и более затруднительными становятся подобные поиски. Этот вопрос вырастает в огромную государственную и мировую проблему, ибо даже специально организованные институты научной информации уже не в состоянии «переварить» все материалы, ежемесячно пополняемые человечеством на страницах 50 тысяч научных журналов, издаваемых на 100 языках!
А в Новом Городе с информацией справиться просто. Стоит лишь сообщить машине нужную тему, и она, просмотрев сотни источников информации, даст вам нужный ответ. Автоматы-библиотекари здесь так же обычны, как в других городах автоматические контролеры или раздатчики газированной воды. Мало того, что машины могут перевести иностранный текст, зашифрованный специальным кодом. Жителям Нового Города уже некогда переводить тексты на перфокарту — они научили машину «понимать» речь докладчика и «читать» иностранный журнал.
В почтамтах Нового Города тоже работают такие машины. Они могут прочесть написанный неразборчивым почерком адрес и направить по назначению сотни тысяч писем и телеграмм. И все это уже не фантастика, вы сейчас сами поймете принцип действия подобных машин.
Дело, конечно, далеко не простое. Чтобы научить машину узнавать написанную любым почерком букву, надо применить множество хитроумных устройств. Прежде всего необходимо превратить букву в электрические сигналы. Для этого луч бежит по строкам экрана, подобно тому как взгляд человека скользит по строчкам печатных страниц. Но, здесь всю «страницу» заняла одна буква — та, которую машина должна «узнать». Пробегая каждую строчку, луч пересечет очертания буквы, и в эти моменты возникнут импульсы тока. Таким образом, любая буква (например, М) превращается в серию импульсов, образующих сложный сигнал.
В памяти машины есть образцы всех печатных и письменных букв. Превратив каждую букву текста в электрические сигналы, машина сравнивает ее с образцом и оценивает корреляцию. Когда очередь дойдет до ячейки памяти, в которой хранится буква М, корреляция окажется наибольшей; как бы ни менялись очертания буквы в зависимости от почерка или шрифта, она все же будет похожа на образец, сохраняемый памятью этой машины, и устройства, оценивающие корреляцию, смогут всегда обнаружить их взаимосвязь. В этот момент подается сигнал о том, что буква опознана. И так, букву за буквой, машина с огромной скоростью пробегает весь текст.
Научите эту машину «запоминать» и сравнивать очертания различных предметов, и oнa отличит овчарку от пуделя, а может быть, даже и «узнает» вас в лицо.
Если вы хотите, чтобы она «понимала» вас с голоса, вы должны изучить спектр человеческой речи, определить, какому спектру соответствует каждый произнесенный вами звук или слог. Затем вы сможете научить машину различать эти спектры и к каждому
спектру подбирать определенное сочетание букв. И машина будет делать очень полезное дело: превращать устные речи в печатный текст. А если нужно — то сразу в несколько текстов, написанных на нескольких языках.
А можно сделать наоборот: заставить машину следить за строчками текста и вырабатывать команды, управляющие множеством генераторов. По этим командам генераторы будут изменять частоту и уровень своих сигналов так, чтобы вместе они создали определенный спектр. Такая машина будет иметь свой «искусственный голос». Она сможет читать всевозможные тексты и произносить их сразу на нескольких языках.
Конечно, понять принцип — это еще не значит создать машину. Не так-то просто разобраться в бесчисленном множестве спектров, зависящих не только от содержания речи, но и от того, кто именно произнес эту речь. Речь имеет множество различных оттенков, ее спектр нескончаемо многообразен, каждое мгновенье в каналах связи такой машины возникает новый сложный и неустойчивый спектр.
Не простая задача — создать устройства, способные различать непрерывно меняющиеся спектры и каждую форму спектра превращать в серию соответствующих команд. Но это уже вопросы чисто технические, и так или иначе их удается решить. В частности, в институте языкознания в Грузии создан один из таких «синтезаторов голоса». В настоящее время он уже научился разборчиво произносить различные фразы по-русски, но в произношении сквозит... грузинский акцент!
Факт, конечно, забавный, но легкообъяснимый: ведь для того чтобы обрести собственный голос, машине приходилось анализировать голоса тех, кто ее обучал.
В мире становится все больше и больше машин, предназначенных для переработки всевозможной информации. Без них теперь не обходятся ни одна отрасль техники и ни одна область науки. Разве могли бы мы без их помощи обработать в сотые доли секунды то огромное количество данных, которые необходимы для вывода на орбиту космического корабля? Разве могла бы современная химия изучать без и$ помощи процессы, происходящие в клетке? Молекулы
белковых веществ или сложных органических соединений состоят из длинных цепочек атомов, а любая перестановка звеньев этой цепочки приводит к изменению веществ.
Наши привычные меры слишком обыденны, чтобы представить себе то огромное количество сведений, которое приходится обрабатывать при исследовании этих процессов. Если бы мы могли взять из невообразимого множества существующих в природе цепочек по одному образцу каждого типа молекул белка и свить из них веревку толщиной в палец, она имела бы такую длину, что свет, излученный в начале этой веревки, достиг бы конца через 75 тысяч лет! А ведь свет пробегает 300 тысяч километров в течение каждой секунды.
Только машина способна учесть все сведения, получаемые при анализе белковых реакций. С ее помощью современная химия проникает в глубь этих-сложных явлений, и уже недалек тот день, когда ученый сможет связать разрозненные атомы в «гроздья» и получить молекулы, в которых рождается жизнь.
Информации в мире стало так много, что она уже не вмещается в прежние рамки, ее необходимо как можно быстрее «перевести на поток». Автоматическая обработка огромного количества сведений стала такой же насущной необходимостью, как передача их через печать, радио, телеграф и телефон. Люди узнали, какими средствами можно решать эту задачу, — значит, в ближайшем будущем во всех уголках мира возникнут Новые Города.
В эфире „тесно"
Каждый город имеет свою историю. Новый Город появился совсем недавно, но и в его коротенькой летописи отмечено немало славных побед. Над кем одержаны эти победы? Казалось бы, жизнь здесь течет размеренно и спокойно, люди проводят дни среди приборов и формул, графиков и таблиц. Тому, кто впервые попал в этот город, не так-то легко усмотреть в этих графиках и таблицах следы напряженной, неустанной борьбы.
А борьба идет повсеместно. В шуме цехов и в тиши кабинетов, в радиостудиях и на телецентрах жители Нового Города борются против помех.
Помехи — это неумолимый, коварный враг. Проникая в каналы связи, они нарушают четкое взаимодействие органов автомата, искажают смысл сообщений, телеграфный текст превращают в набор бессмысленных знаков, музыку — в шум водопада, телевизионный спектакль — в беспорядочный снежный вихрь.
Откуда берутся эти помехи? Да отовсюду.
Эфир — это всеобщий канал связи, которым пользуется весь мир. В нем присутствуют тысячи разных сигналов. Мы хотим получать сигналы со спутника, а вместо них на вход наших приемников попадают сигналы станций, расположенных на Земле. И все становится бесполезным: сбитые с толку релейные схемы уже не производят логических действий, а начинают бессмысленно хлопать контактами. Голос спутника тонет в шуме и треске. На экранах вместо четких импульсов виден сплошной зеленый бурьян.
Вот почему, создавая системы связи, инженеры всегда учитывают, что в эфире «тесно».
«Тесноту» эту, конечно, не следует понимать как недостаток пространства. «Места» в эфире сколько угодно. Но когда мы говорим, что информация обладает объемом, мы понимаем, что это не совсем обычный объем. В небольшом объеме черепной коробки умещается столько сведений, что им не хватило бы места в миллионах огромных книг.
* В эфире объем сигналов будет тем больше, чем больший диапазон мощностей и частот занят сигналами радиостанций и чем дольше ведется их передача. Поскольку с каждым годом станций становится все больше и больше и их сигналы заняли весь диапазон рабочих частот, «теснота» в эфире становится все ощутимее. А если учесть, что вместе с сигналами наземных радиостанций на вход приемников поступают помехи космических излучений, грозовые разряды и искры промышленных установок, мы уже не будем удивляться, если вместо четких сигналов спутника увидим на наших экранах лишь сплошной хаотический шум.
Пусть не смущает вас выражение: «Увидим шум на экране». Действительно, «увидеть» шум бывает гораздо легче, чем его услышать. Услышать можно лишь те сигналы, частота которых не превышает 20 тысяч колебаний в секунду. Все остальные помехи — это «неслышный шум». С точки зрения инженера-связиста, шум — это все, что мешает нормальной работе станции. В одном случае это треск и шорох в наушниках, в другом — всплески на специальном экране.
Вы скажете, странные люди эти инженеры-связисты! Информацию они называют «грузом», а «шумом» называют то, что и услышать нельзя.
А может быть, они все-таки правы? В самом деле, считалось, что рыбы безмолвны! «Нем, как рыба» — эта поговорка уже давно вошла в обиход. Но вот появились приборы, способные принимать в воде ультразвуковые сигналы, и обнаружились удивительнейшие вещи: оказалось, что рыбы «громко кричат»! Этот «шум» нельзя услышать, потому что его частоты выше слышимых (звуковых) частот. И все же факт остается фактом: простор океана наполнен «рыбьими голосами», и если бы мы могли их услышать, мы убедились бы в том, что «рыбий базар» ничуть не спокойнее птичьего.
Однако вернемся к нашим задачам. Среди всех причин, рождающих «видимый шум» на экране, мы не учли еще один очень важный фактор — собственные шумы. Ведь мы хотим принимать сигналы далекого спутника. Преодолев огромные расстояния, они придут настолько слабыми, что нам придется усиливать их в миллионы раз. И собственные шумы, возникающие за счет теплового движения молекул и атомов в элементах схемы, будут усилены вместе с полезным сигналом. При таком большом усилении они мешают не меньше, чем сигналы соседних станций: ведь все безмолвные элементы приемника — лампы, конденсаторы, сопротивления — начинают «кричать» на разные голоса.
Сколько досадных хлопот доставляют эти помехи! Как от них избавляться? Начнешь уменьшать усиление — шумы станут меньше, но и сигнал уменьшится во столько же раз.
Инженер начинает искать компромиссы. Он пытается «сузить двери» — ставит на входе каналов фильтры, пропускающие узенький спектр частот. Теперь все помехи, имеющие другие частоты, не попа-
дают в канал. Но и тут подстерегает беда: для полезных сигналов «двери» стали тоже слишком узки. В канал попадает лишь часть необходимого спектра, и сигнал, «протиснувшись в узкие двери», будет настолько обезображен, что смысл сообщений уже невозможно понять.
Мало этого. Та часть полезного спектра, что не прошла сквозь «узкие двери», полезет в «двери» соседних каналов и станет для них помехой, такой же опасной, как и все другие сигналы, которыми насыщен эфир.
Где же выход? Остается еще одно, пожалуй самое эффективное, средство: надо повышать мощность полезных сигналов, с тем чтобы они могли «подавить» любые шумы. Но что значит повысить мощность? Это значит увеличить вес передатчиков, вес и размеры питающих их устройств.
Едва ли вышел бы на орбиту хотя бы один искусственный спутник, если бы техника шла только этим путем. Теория информации открыла перед техникой новые перспективы. Научив людей измерять информацию, Шеннон открыл им новые истины. Он показал, что смысл сообщений .может быть точно разгадан даже тогда, когда среди шумов и посторонних сигналов, словно иголка в сене, затерялся полезный сигнал. Он доказал теорему о том, что даже наполненный «шумом» канал сохраняет свою пропускную способность: определенное количество сведений может быть передано вместе с шумами, и при этом вероятность ошибки будет ничтожно мала. Надо выполнить всего лишь одно условие: применить наилучший код. Какой же?
Теорема Шеннона не дает ответа на этот вопрос. Она лишь доказывает, что такой код может быть создан. В разных случаях он может быть разным. Стоит лишь найти лучший из кодов, и сообщение перестанет «бояться» шумов.
С тех пор теория информации неустанно ищет лучшие коды...
KOHEЦ ФPAГMEHTA КНИГИ
|