Репортаж с ничейной земли. Рассказы об информации

Но теперь представим себе такую картину: был ящик с пятью черными и пятью белыми шарами, и каждый шар нес наблюдателю 1 бит. А потом мы незаметно для наблюдателя заменили шары. Теперь в ящике 9 черных шаров и 1 белый, но наблюдатель не знает о том, что их количество стало иным. Для него неопределенность осталась той же: он считает, что с равной вероятностью он может извлечь и черный и белый шары. Значит, до тех пор, пока он не знает, какова вероятность этих событий, он будет по-прежнему считать, что каждый шар дает ему 1 бит. Но он упрям, этот наш наблюдатель: недаром же так трудно избавиться от его присутствия. Он продолжает тащить шары из ящика и записывает, какой попадается шар. И когда после 100 опытов черный шар попался ему 83 раза, он начинает догадываться, что мы его обманули и количество шаров в ящике стало теперь иным. А сделав 1000 таких опытов, он может, не заглядывая в ящик, сказать, что в нем находится около 90 процентов черных шаров. Вот с этого момента он будет знать, что в чередовании шаров есть определенный порядок, и. продолжая опыт, будет получать информацию 0,47 бита.

Значит, информация зависит здесь не только от того, как чередуются события, которые он наблюдает, но и от того, что он знает о характере этих событий.

Вы улавливаете, где возникает «двойственность» информации?

- Пытаюсь. Будем говорить так: существует объективная неопределенность движения, например в опыте с шарами есть неопределенность чередования черных и белых шаров. А в тексте есть неопределенность появления буквы: буквы сто... могут оказаться и столом и стоном, потому что после сочетания сто... может появиться много различных букв. Все это не зависит от наблюдателя, эти явления объективны. Но, кроме того, существует и другая неопределенность - неопределенность его представлений.

Я правильно уловил вашу мысль?

- Да, да, совершенно верно. Продолжайте.

- Но в тексте есть и порядок. Мы можем оценить его вероятностью. Если мы обозначим P_авероятность появления буквы а, то можем сказать, что P_а много больше, чем P_ю или P_щ. И еще есть корреляция: после букв ею буква щ появится чаще, чем а. Если подсчитать информацию с учетом всего существующего в тексте порядка, то окажется, что каждая буква несет информацию немного большую, чем 1 бит. А если считать, что каждая из 32 букв алфавита имеет равную вероятность, получим, что в каждой букве содержится ровно 5 бит. Так сколько же информации несет в себе каждая буква - 1 или 5 бит? Все зависит от того, кто прочтет эту букву. Если наш наблюдатель изучил вербятность и корре- 235 ляцию букв русского текста, он получает от буквы всего 1 бит. А теперь представьте себе, что он иностранец, впервые встретивший русский текст. Он не знает алфавита, он даже не может отличить гласную от согласной. Он знает лишь, что в алфавите есть 32 различные буквы. Телеграф сообщает ему эти буквы, и он старательно записывает непонятный текст. Несмотря на то, что в движении букв существует порядок, для него каждая буква содержит ровно 5 бит. Кажется, так обстоит дело?

- Да, да, - кивает профессор. - Все, о чем вы сейчас говорили, можно свести к одной простой формуле. Вот она: I = ς₀ + ς_n.

I - это количество информации;

ς₀ - это объективная неопределенность движения;

ς_n - неопределенность представлений того, кто это движение наблюдает.

Теперь смотрите, как просто обстоит дело. Пока наблюдатель считает, что все буквы имеют равную вероятность, неопределенность ς_n велика. В этом случае I составляет 5 бит. Но вот наблюдатель стал изучать, как чередуются букву, и неопределенность его представлений начала уменьшаться. Он учел вероятность от P_а до P_я, подставил их в формулу Шеннона и получил, что I = 4 бита.

Это все то же свойство формулы I = ∑ P_ilog P_i: появились разные вероятности, уменьшилось I.

Потом он уловил, что буквы связаны между собою, и стал учитывать вероятность появления каждой буквы с учетом трех предыдущих букв. Неопределенность его представлений (ς_n) стала еще меньше, и потому величина I уменьшилась до 3 бит.

Теперь предположим, что он изучил все возможные сочетания, учел корреляцию всех слов и букв.

Он знает теперь все законы, которым подчиняются буквы текста, - неопределенность его представлений стала равна нулю. А буквы все следуют друг за другом, на телеграфной ленте появляется все новый и новый текст. Несет ли он новую информацию? Безусловно. Прочитав этот текст, наблюдатель узнает много всяческих новостей. Почему? Потому что в тексте есть объективная неопределенность движения. Если бы ее не было, текст не нес бы нашему наблюдателю никаких новых сведений: ведь он заранее мог бы предвидеть появление всех букв и слов.

Но есть объективная неопределенность, и та информация, которую получает наш наблюдатель, зависит теперь от нее: I = ς₀, потому что ς_n стало равно нулю.

Наблюдая любое явление, человек всегда стремится устранить неопределенность своих представлений об этом явлении. Чтобы изучить порядок движения, существующего в любом физическом теле, он должен получить такое количество информации, которое существует в этом движении.

Как будто все не так уж и сложно, и тем не менее как много неясностей вносит в науку об информации этот назойливый наблюдатель! Только он появляется, всплывает- куча вопросов. Что ему известно заранее? Будет ли он принимать во вни- 237 мание новые сообщения, имеют ли они для него ценность?

Да, представьте себе, до тех пор, пока он присутствует, мы обязаны учитывать не только его знания, но даже склонности и привычки. Вот вам простой и наглядный пример.

С помощью камеры Вильсона¹³ получена фотография со следами пролетавших частиц. Эти следы содержат в себе информацию: они связаны с движением, которым живет этот мир. Наблюдая это движение, физик может открыть новую закономерность.

А теперь представьте себе, что во время этого опыта в гости к физику зашел приятель - профессиональный музыкант. Он равнодушно взглянул на снимок и отошел в сторону, поджидая, когда физик закончит свои дела. Он не заметил, что физик сильно взволнован: только что получена информация, на базе которой можно проделать новый интересный расчет. Но та информация, которая волнует физика, недоступна для музыканта, и потому, взглянув случайно на фотографию, он увидел лишь путаницу линий, не гово рящих ему ни о чем.

Внезапно в окна лаборатории проникли посторонние звуки: в соседнем доме включили приемник.

Увлеченный расчетами физик не узнал в этих звуках симфонии Моцарта. Зато его приятель в бушующем море звуков уловил, как в момент четвертого такта сфальшивил нежный гобой. Вот вам, пожалуйста, в обоих случаях есть сигналы, но одному наблюдателю они несут информацию, а для другого это всего лишь «пустой звук».

И вот, чтобы сбросить с себя иго капризного наблюдателя, мы с Быстровым, не сговариваясь, пошли на одну и ту же хитрость: мы просто перестали его замечать. Мы стали рассматривать все явления, не обращая внимания на его отношение к этим явлениям, не интересуясь даже вопросом, знает ли он о них. И тогда оказалось, что во всех существующих в мире системах происходит одно и то же: если система хранит информацию, значит ее элементы, двигаясь, сохраняют порядок. Так ведут себя автоматы, так бегут электроны по цепям вычислительной машины, так движутся молекулы в кристаллической решетке твердого вещества. Да и сам наблюдатель - это тоже система, только очень сложная и капризная. Но если отбросить капризы, то в общем-то и он подчиняется тем же законам: мозг его хранит информацию, потому что в нем существует движение импульсов, сохраняющих строгий порядок. И чем больше накопит он сведений, тем больше порядка будет в движении, рождающем мысль.

Так обстоит дело, если, отбросив субъективное мнение наблюдателя, научиться видеть в явлениях их объективную закономерность. Тот, кто умеет материалистически оценивать явления, никогда не повторит ошибки, которую допустил Бриллюэн. Он говорил: «Энтропия есть мера недостатка информации о действительной структуре системы».