Информация или интуиция?

ОГЛЯНЕМСЯ НАЗАД

Существует еще вопрос, имеющий гораздо более общий характер, Вправе ли мы ставить знак равенства между понятиями «электрон знает» и «мы с вами знаем»? Более того, применимо ли вообще понятие «знает» к атому?В попытке ответить на первый вопрос перенесемся на пару тысяч лет назад. Без сомнения, все наши читатели знают, что утверждение о прерывистом (атомарном) строении вещества первыми (во всяком случае в Европе) высказали греческие мыслители Левкипп и его ученик Демокрит. И именно потому, что этот факт из истории науки является общеизвестным, мы берем на себя смелость высказать предположение, что далеко не все, во всяком случае среди читателей этой книги, знают, какие именно рассуждения привели Демокрита к подобному утверждению.Это не были экспериментальные данные. Древнегреческие ученые вообще не ставили экспериментов, а если бы даже и ставили, во времена Демокрита не было возможности поставить эксперимент, результаты которого хотя бы косвенно могли дать малейший намек на дискретность структуры материи. Наоборот, все свидетельства наших органов чувств говорят об одном: если материя и дискретна, то лишь в большом. Можно отделить одну песчинку от другой, но чем глубже мы проникаем внутрь материи (напоминаем, речь идет о свидетельствах наших органов чувств), тем в большей мере она демонстрирует свои непривычные свойства.Так откуда же в головы Левкиппа и Демокрита могла прийти мысль о том, что все окружающие нас предметы состоят из мельчайших, недоступных нашим органам чувств-частиц — атомов? Точно так же, как электрону «приходит», что его место занято? Из опыта? Отнюдь нет. Идея об атомарной структуре материи была выведена Демокритом путем следующего рассуждения. Мир находится в непрерывном движении (это утверждение принималось как очевидное, поскольку в его пользу свидетельствовал повседневный опыт), но любое материальное тело может двигаться лишь в том случае, если оно окружено пустотой. Чтобы двигаться, надо иметь пространство, куда двигаться. Значит, повсеместное движение возможно лишь в том случае, если материя состоит из частиц, разделенных промежутками, в которые эти частицы перемещаются при своем движении. А из того факта, что наши органы чувств не способны воспринять этой дискретности, как раз и следует, что атомы малы. Настолько малы, что принципиально не могут быть восприняты.Смотрите, как интересно! Материя дискретна именно потому, что мы не замечаем этой дискретности. Знание непосредственно выводится из незнания. Но важно даже не это. Не дает ли нам только что сказанное основание утверждать, что для знания (во всяком случае, для познания того, что представляет собой окружающий нас мир) совсем необязателен эксперимент. Нужно лишь как следует подумать, Ведь рассуждения Демокрита предельно убедительны. И если нам не удастся найти здесь некорректности, все наши вопросы «как?» и «почему?» попросту потеряют смысл.Говорят, что И. Ньютона спросили однажды, как ему удалось открыть закон всемирного тяготения. «Я думал об этом!» — был ответ.Как видите, все очень просто.На самом деле все обстоит, конечно, не так просто, и нам не надо даже искать некорректность в рассуждениях Демокрита. Это сделал за нас другой древнегреческий мыслитель — Пифагор. Пространство, рассуждал Пифагор, существует лишь постольку, поскольку существует материя. Там, где нет материи, нет и пространства. Поэтому никаких пустых промежутков между материальными частицами существовать не может. Что же касается движения, то оно представляет собой лишь непрерывное превращение одних видов материи в другие.Мы могли бы пойти дальше и привести, скажем, пример того, как на основании исходного предположения о дискретности не только материи, но и пространства еще один древнегреческий философ — Зенон — пришел к своим знаменитым апориям, причем сделал это на основании логики, не менее безупречной, чем логика Демокрита. Но, наверное, примеры уже не нужны. Мы поняли главное. Логические построения действуют до тех пор, пока они не исчерпали информацию (все-таки информацию!), содержащуюся в исходных посылках. Логика, как и математика, — это мельница, которая перемалывает все, что в нее засыпано. Правильную картину мира нельзя составить, размышляя в комнате без окон. И мы с неизбежностью опять возвращаемся на круги своя, то есть к тому же вопросу. Сейчас, если угодно, мы можем сформулировать его так: откуда Демокрит (или Левкипп) мог знать, что… и т. д.?Специально для тех, кто предпочитает лишь модные направления в научно-популярной литературе, можем привести два небезынтересных факта. Во-первых, Демокрит действительно считал, что весь окружающий нас мир состоит из атомов. Но слово «атом» в точном переводе с греческого означает не «неделимый», а «неразрезаемый». Именно в этом смысле употреблял слово «атом» Демокрит. Неразрезаемый в том смысле, что если разрезать атом на части, то свойства его частей будут отличаться от свойств целого. В то же время Демокрит считал, что сами атомы состоят из еще более мелких частиц — амеров. Слово «амер» как раз и означает «неделимый». Надо отметить, что Демокрит ни в коей мере не претендовал на авторство атомарной теории строения мира. Наоборот, он указывал, что сведения о строении мира он почерпнул из рукописей вавилонских (халдейских) мудрецов, с которыми имел возможность познакомиться, путешествуя по Египту.

ИНФОРМАЦИЯ И СЛУЧАЙ

Все только что сказанное снова приводит нас к обсуждению вопроса о количестве информации. Мы угадывали числа, и количество информации вроде бы зависело (во всяком случае, читатель мог прийти к такому заключению) от величины интервала, в пределах которого происходит угадывание. Всякий физический эксперимент также представляет собой своеобразное угадывание некоторого числа. Однако, как мы только что говорили, в процессе эксперимента получается лишь ответ «да» или «нет» на вопрос, заданный естествоиспытателем.Впервые мера количества информации была предложена американским инженером Р. Хартли в 1927 году. Он рассуждал так. Всякое поступающее к нам сообщение выбирается из некоторого конечного набора. Чем богаче такой набор, тем труднее угадать, какое именно сообщение будет получено. Следовательно, тем больше информации оно несет с собой. Значит, количество информации должно зависеть от количества сообщений в исходном наборе.Проще всего было бы приравнять количество информации полному количеству сообщений в исходном наборе. Но здесь существует одна трудность. Пусть имеются два набора, каждый из которых содержит, скажем, но десять сообщений. Можно представить себе сложное сообщение, составленное из двух — по одному из каждого набора. Всего их можно образовать сто штук. Вот и получается, что если принять за меру количества информации количество сообщений в исходном наборе, то каждое из них, взятое из первого набора, будет содержать десять единиц информации, взятое из второго набора, — тоже десять. А сложное сообщение, составленное из двух простых, будет содержать не двадцать, как естественнее всего было бы ожидать, а сто единиц информации.Чтобы избежать этой трудности, Р. Хартли предложил брать в качестве меры количества информации не количество сообщений в исходном наборе, а двоичный логарифм этого количества. Легко показать, что в этом случае количество информации, переносимое сложным сообщением, окажется в точности равным сумме количеств информации, содержащихся в составляющих его простых.Возвращаясь к нашему примеру с угадыванием чисел, подсчитаем, чему равно количество информации по Хартли, содержащейся в одном угаданном числе, взятом в интервале от нуля до тысячи. Исходный набор содержит здесь тысячу возможных сообщений. Двоичный логарифм тысячи примерно равен десяти. Следовательно, меры Хартли и Колмогорова в, этом случае совпадают.Главная заслуга Р. Хартли состоит в том, что, он впервые связал понятие о количестве информации с понятием многообразия (количество сообщений в исходном наборе)., Второе важное положение теории Хартли состоит в том, что процесс получения информации рассматривается как выбор одного элемента из некоторого множества. Если исходное множество содержит только один элемент, выбирать не из чего и количество информации равно нулю. Тут снова оправдывается использование логарифма, поскольку логарифм единицы всегда нуль.Наконец, важнейшее положение теории Хартли состоит в том, что количество информации в ней целиком определяется свойствами источника и никак не зависит от свойств получателя. В теории Хартли роль получателя информации совершенно пассивна. Он лишь воспринимает сообщения, которые кто-то (отправитель, автомат, природа) выбирает из наперед заданного набора. Наоборот, в теории Колмогорова получателю отводится основная, активная роль. Это он задает вопросы. Ясно, что количество вопросов, необходимое для угадывания, зависит от того, насколько удачно они поставлены.Однако возможен принципиально иной подход к решению вопроса о количестве информации. Если предложить какому-либо человеку (при этом он не должен быть профессионалом математиком и, кроме того, не следует заранее вводить его в курс дела) выбрать наугад число из интервала от нуля до тысячи, он почти наверняка не загадает единицу или девятьсот девяносто девять. Напротив, в большинстве случаев загаданное число будет расположено где-то недалеко от середины интервала. В чем состоят психологические особенности загадывания чисел, мы не знаем (интуиция?), но каждый из читателей может легко убедиться в справедливости сказанного, предложив загадывать числа нескольким своим приятелям. Для этого не надо даже брать большие интервалы. Вполне достаточно, скажем, загадывать числа из интервала от нуля до десяти.С учетом этих соображений стратегию отгадывания можно построить следующим образом. Будем предполагать, что загаданное число почти наверняка не находится в интервалах от нуля до двухсот пятидесяти шести и от семисот шестидесяти восьми до тысячи. Попытаемся отгадать его, исходя из предположения, что оно заключено в интервале от 256 до 768. Далее используем уже известную стратегию деления пополам. Первый вопрос тот же самый:— Задуманное вами число больше 512?Однако второй вопрос уже будет сформулирован иначе. Если ответ на первый вопрос был положительным, то следующим мы зададим вопрос:— Задуманное вами число больше 640? (640 — половина интервала между 513 и 768.)Если же ответ на первый вопрос был отрицательным, то следующий вопрос будет звучать так:— Задуманное вами число больше 384? (384 — половина интервала между 257 и 512.)Легко подсчитать, что подобная стратегия позволяет отгадать число не более чем за девять вопросов, если, конечно, загаданное число взято из интервала от 256 до 768. Ну а если это не так?Тогда мы все равно отгадаем число. Но потратить придется больше, чем десять вопросов. Можно показать, что если все время придерживаться гипотезы об интервале, из которого выбрано загаданное число, и отказаться от нее лишь тогда, когда будет доказано, что она несправедлива (для этого тоже потребуется девять вопросов), то общее количество вопросов в этом случае будет семнадцать. Все дело в том, как часто принятая гипотеза будет оказываться несправедливой.Предположим, что мы только тем и занимаемся, что отгадываем числа. Предположим далее, что, как и считалось с самого начала, в подавляющем большинстве, например в 96 случаях из ста, загаданное число оказывается в пределах интервала от 256 до 768 и, следовательно, может быть отгадано за девять вопросов. Лишь в четырех случаях из ста загаданное число окажется вне этого интервала, и на его отгадывание затрачивается 17 вопросов. Среднее число вопросов будет, очевидно, равно 9,32, то есть меньше десяти.Значит, если строить стратегию отгадывания с учетом психологии своих приятелей, а проще говоря, с учетом вероятности нахождения загадываемого числа в пределах того или иного интервала, то среднее количество задаваемых вопросов окажется меньше, чем в том случае, когда стратегия отгадывания строится с учетом равной вероятности нахождения числа в любом месте исходного интервала. Меньше, даже, несмотря на то, что в отдельных случаях количество задаваемых вопросов будет значительно больше среднего. Переходя к терминологии, принятой в теории Хартли, можно сказать, что в последнем случае стратегия отгадывания строится с учетом распределения вероятности, заданного на исходном наборе чисел, или, как мы будем дальше говорить, на исходном многообразии.Здесь имеет смысл сказать несколько слов об интуиции. Что, например, следует думать о человеке, который отгадал число с первой попытки? Можно ли считать, что он проявил интуицию? Все только что проведенные рассуждения говорят, что это не так. Любое суждение как о процессе отгадывания, так и о свойствах отгадывающего, можно выносить лишь на основе подсчета среднего количества сделанных попыток. Мы еще вернемся к этому вопросу в главе третьей.Американский математик К. Шеннон в 1949 году предложил использовать в качестве меры количества информации как раз величину среднего количества вопросов, необходимого для отгадывания при использовании соответствующей стратегии. В теории Шеннона так же, как и в теории Хартли, предполагается, что сообщения поставляются (генерируются некоторым источником, который выбирает их из конечного наперед заданного набора сообщений. За количество информации, содержащейся в одном сообщении, принимается среднее значение логарифма от вероятности этого сообщения, взятое со знаком «минус». На первый взгляд представляется, что такое определение не имеет ничего общего со всем, что говорилось ранее. Однако можно убедиться, что это не так.Достаточно лишь вспомнить, что если все сообщения равновероятны, то вероятность получения одного из них равна единице, деленной на общее число сообщений и наборе. А логарифм обратной величины равен взятому со знаком «минус» логарифму от этой величины. Следовательно, в случае равновероятности всех сообщений количество информации по Шеннону совпадает с количеством информации по Хартли, а это последнее, в свою очередь, как было показано выше, совпадает, во всяком случае для примера с отгадыванием чисел, с количеством информации по Колмогорову.Другая, крайность имеет место тогда, когда вероятность появления одного из сообщений в- наборе равна единице, а всех остальных —соответственно нулю. Можно считать, что набор состоит из одного-единственного сообщения, поскольку все остальные в течение любого разумного интервала времени все равно не будут получены. Логарифм единицы равен нулю, поэтому, по Шеннону, количество информации, переносимой сообщением, вероятность появления которого равна единице, равно нулю. Тот же результат мы получаем, применяя меру Хартли к набору, состоящему из одного-едннственного сообщения. Наконец, ясно, что, если ваш приятель всегда загадывает одно и то же число, угадать его можно, не задавая никаких вопросов.Итак, мы установили, что в двух, как говорят, экстремальных случаях применение мер Хартли, Шеннона и Колмогорова дает одно и то же количество информации. Можно показать, что для неравновероятных сообщений количество информации, по Шеннону, будет всегда меньше максимально возможного, получаемого для равновероятных сообщений. В этом и состоит основное отличие теории Шеннона от теории Хартли. Теперь мы знаем, что существует по меньшей мере три различные меры количества информации. То, что их три, а также и то, что вообще-то говоря, не существует четкого рецепта, когда какой пользоваться, как раз и свидетельствует о незавершенности современной теории информации.Еще, один вопрос требует немедленного ответа. Каждая из трех рассмотренных нами мер предусматривает наличие источника, причем такого, который содержит лишь конечное число сообщений. А как быть в случае источника с бесконечным разнообразием сообщений?Чтобы мы могли свободно рассуждать в дальнейшем, необходимо доказать, что в природе не может существовать источник, располагающий бесконечным разнообразием сообщений (для искусственных источников это утверждение не требует доказательства). Посмотрим, что происходит, когда источником сообщений является сама природа, а точнее, некоторая определенная система конечных размеров, наблюдаемая нами в течение конечного интервала времени.Такая система может что-то сообщать лишь о своем собственном внутреннем состоянии. Согласно принципу неточностей Гейзенберга состояние физической системы может быть воспринято лишь с некоторой ошибкой (неточностью), причем эта неточность не может быть меньше определенной величины. Значит, любые два состояния системы могут отличаться друг от друга только в том случае, если они разделены некоторым конечным интервалом. В любой реальной системе описывающие ее физические величины не могут принимать бесконечные значения. Отсюда следует, что число различимых состояний любой ограниченной физической системы всегда конечно.Пусть, например, мы судим о состояниях системы по ее массе, а массу определяем с помощью весов со шкалой и стрелкой. Поскольку стрелка всегда имеет конечную ширину, невозможно измерить массу (произвести взвешивание) с точностью большей, чем, скажем, 1 грамм. Если мы знаем к тому же, что масса системы не более 1 килограмма, то не может быть более тысячи отличающихся друг от друга результатов взвешивания. Итак, наша предпосылка о конечности числа различных сообщений в источнике не снижает, как говорят, общности рассуждений.