Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Нужно определить, повлияет ли на результаты опроса тот факт, что в выборку не войдут те, у кого нет домашнего телефона. Также имеет значение, в какое время будет производиться опрос, кого мы будем опрашивать и как будем заменять тех, кто не пожелает участвовать в опросе. Если мы не уделим должного внимания этим моментам, выборка будет недостаточно репрезентативной, что приведет к серьезным ошибкам.

Предвыборные опросы — один из наиболее популярных способов применения статистики (о котором, однако, не все отзываются положительно). Эти опросы стоят особняком, так как приковывают очень большой интерес общественности. К тому же, в отличие от других случаев, в итоге нам становится известно истинное значение величины, которую мы хотим оценить. Проблема заключается в том, что, помимо традиционных сложностей с формированием случайной выборки, существуют и другие непростые моменты. Рассмотрим некоторые из них.

Избиратели постепенно изменяют свой выбор

Предвыборные опросы проводятся за несколько дней или даже недель до того, как пройдут выборы. В некоторых странах результаты таких опросов запрещено публиковать в течение определенного периода времени до выборов (в Испании этот срок равен одной неделе). Таким образом, экстраполяция выполняется дважды: в первый раз — когда мы экстраполируем результаты по выборке на всю генеральную совокупность, во второй — когда предполагаем, что в день выборов результаты будут теми же, что и в день опроса.

Однако в это время партии проводят предвыборную кампанию, проходят дебаты между кандидатами, могут происходить события, о которых кандидаты выскажутся определенным образом… Все это может повлиять на мнение избирателей, особенно тех, кто в момент опроса еще не определился с выбором.

За кого голосуют те, кто не определился?

Избиратели, которые не определились с выбором, представляют проблему для организаторов предвыборных опросов. Их доля нередко составляет от 20 до 50 % опрошенных. В этом случае их мнение определяется по результатам ответов на вопросы вида «Какой партии вы симпатизируете больше?», или «Программа какой партии вам ближе?», или «За какую партию вы голосовали на прошлых выборах?». Эксперт пытается предсказать, за какую партию проголосует участник опроса, который сам пока еще не знает этого.

Очевидно, что отнесение голосов не определившихся избирателей в пользу той или иной партии имеет очень большое значение. Эта задача лежит преимущественно в области социологии и политики, а не статистики.

* * *

* * *

Недостаточно откровенные ответы на вопросы

Формулировки вопросов и порядок их следования также имеют очень большое значение. Написание четких и понятных вопросов, которые не наводят на мысль о «правильном» ответе, — непростая задача. Вопросы должны быть составлены грамотно, а сотрудники, проводящие опрос, должны быть хорошо обученными и мотивированными (читай — высокооплачиваемыми).

Иногда опросы дают возможность свободного ответа, что делает ответы участников относительно правдоподобными, а число «неопределившихся» уменьшается, так как часть из них, возможно, на самом деле просто предпочитают не распространяться о своем мнении.

От процента голосов к числу кресел в парламенте

Во многих случаях по-настоящему важен не процент голосов, полученный партией на выборах, а число кресел, которое эта партия займет в парламенте. Системы, по которым это число рассчитывается в зависимости от процента полученных голосов (как, например, метод д’Ондта), усложняют расчеты. Например, в избирательном округе, где голосованием распределяется пять мест в парламенте, определенная партия получила 32 % голосов, предельная ошибка составила 3 %, надежность — 95 %. Проблема в том, что если партия получит 31 % голосов, то получит одно кресло, если 33 % — два кресла. Эта разница очень важна, но ее нельзя точно определить с помощью данных, которыми мы располагаем.

Другая проблема заключается в том, что существует минимальный процент голосов (например, 5 %), дающий право занять места в парламенте. Если, допустим, за какую-то партию проголосовало 4,6 % избирателей, то нельзя точно сказать, имеет ли она право занять место в парламенте. Результат этой партии также повлияет на число кресел, которое будет распределяться между остальными.

Тем не менее законы статистики выполняются

При проведении предвыборных опросов точно спрогнозировать результат будущих выборов мешают многие факторы, которые не всегда относятся к статистике (не говоря уже о манипуляциях и заинтересованности организаторов опроса). Было бы полезно определить, насколько часто результаты крупных предвыборных опросов оказываются ошибочными и какова величина ошибки. Как правило, об ошибочных прогнозах говорят больше, чем о точных, подобно тому как в СМИ больше внимания уделяется плохим новостям. Даже в научных кругах более наглядными и показательными считаются именно те случаи, когда прогноз оказывался неточным.

Также могут существовать (и существуют) опросы, результаты которых формируются на основе мнений заинтересованных лиц. Цель таких опросов — повлиять на предпочтения избирателей. Хорошим показателем надежности результатов может служить опыт и авторитет организации, проводившей исследование, а также указание на источник, в котором опубликованы результаты опроса. Чтобы охарактеризовать подлинную надежность результатов, одного лишь статистического показателя в 95 % не всегда бывает достаточно.

Глава 4

Как мы рассуждаем, когда принимаем решение. Проверка статистических гипотез

Этот случай произошел в 1920-е годы в Англии, в Кембридже. Несколько преподавателей, их супруги и гости по случаю прекрасной погоды пили чай на открытой террасе. Попробовав чай, одна из присутствующих дам заметила, что вкус меняется, если налить молоко в чай, а не наоборот.

Кто-то осторожно возразил, что это маловероятно. Начался спор, в котором стороны прибегали ко всевозможным аргументам из физики и химии: состав напитка не меняется в зависимости от того, что было налито в чашку сначала, чай или молоко; частицы растворялись абсолютно одинаково; перепад температур исключался и прочие многочисленные доводы. Спорящие пришли к выводу: определить, что было налито в чашку сначала, невозможно. Или же… все-таки возможно?

Один из присутствующих, человек лет сорока по имени Рональд Эйлмер Фишер, предложил развеять сомнения с помощью «передовой» методики — проведения эксперимента. Очевидно, что опыт нельзя было провести всего с двумя чашками, так как в этом случае вероятность угадывания равнялась 1/2. В этом случае нельзя определить, действительно ли участник эксперимента смог отличить по вкусу один напиток от другого или же попросту угадал. Однако если бы перед участником эксперимента стояло по 4 чашки с каждым напитком, вероятность угадывания равнялась бы всего 1 к 70 (так как существует 70 способов выбрать 4 чашки из 8). Если бы в этих условиях испытуемый смог точно определить, что было налито в каждую чашку сначала, чай или молоко, это означало бы, что способ приготовления чая действительно можно определить на вкус с небольшой, притом известной, погрешностью.