Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Будем считать домохозяйством дом или квартиру, где большую часть года проживает один или несколько человек, связанных родственными отношениями. Будем предполагать, что домохозяйство подключено к Интернету, если подключение находится под его контролем и может быть отключено или подключено в любой момент.

Если мы возьмем выборку в 1000 из 100000 домохозяйств и в нашей выборке 51,9 % домохозяйств будут подключены к Интернету, значит ли это, что точно таким же будет процент для всей генеральной совокупности? Очевидно, что это необязательно так. Если мы сформируем другую выборку, также случайным образом, то результат, вероятно, будет отличаться, например он может быть равен 50,7 или 52,3 %.

По этой причине в представление результатов подобных исследований входит не только примерное значение, но и предельная ошибка. Например, результат оценки может быть равен (51,9 ± 2,3) %. Эти 2,3 %, которые мы прибавляем и вычитаем, и называются предельной ошибкой средней величины. Это означает, что мы получили конкретное значение, но не можем быть до конца уверены, что доля генеральной совокупности точно равна этому числу. Теория вероятностей позволяет определить точность, с которой произведена оценка, и вычислить предельную ошибку средней величины (исходные значения подчиняются закону биномиального распределения: мы анализируем конкретное домохозяйство и можем получить один из двух результатов — домохозяйство подключено к Интернету либо нет).

Интервал, покрывающий данную величину с заданной надежностью, называется доверительным интервалом. Можно ли гарантировать, что истинное значение будет находиться в границах этого интервала? Опять-таки этого гарантировать нельзя. Предельная ошибка средней величины рассчитывается для определенного уровня надежности. Как правило, надежность принимается равной 95 %. Это означает, что используемый нами метод позволяет найти истинное значение (в данном случае истинную долю домохозяйств, подключенных к Интернету) в 95 % случаев. Однако мы не можем знать, действительно ли истинное значение находится в границах найденного интервала в нашем конкретном случае. Это аналогично тому, что найденный нами интервал нам бы сообщил человек, который говорит правду в 95 % случаев: ему вполне можно доверять, но абсолютную точность этого результата гарантировать нельзя.

Иллюстрация понятия доверительного интервала.

Можно рассчитать доверительные интервалы с надежностью 99 % или 99,9 %. Обычно это не делается, поскольку, учитывая размер выборки, с ростом надежности доверительный интервал расширяется, и нет никакого смысла говорить, что искомая доля лежит в интервале (51,9±40)%: это можно сказать, не проводя вообще никаких вычислений. Если мы хотим повысить надежность оценки, сохранив при этом предельную ошибку на прежнем уровне, то единственным выходом будет увеличение размера выборки (деньги решают множество проблем, и эту в том числе).

За подобными заголовками в прессе обычно следует примерно такой текст: «Согласно исследованию, проведенному центром X, если бы выборы состоялись сегодня, партия А опередила бы партию В на 3,6 пункта. Три месяца назад ее преимущество было на полпункта меньше. Данные подтверждают, что популярность партии А растет».

В примечаниях к этой статье, помимо прочего, упоминается, что предельная ошибка равна ±4,3 %. Поверхностный анализ этих данных показывает, что преимущество партии А вовсе не столь очевидно. Если в пользу партии А проголосовали 41,6 % опрошенных, то при данной предельной ошибке оценка лежит в интервале от 37,1 % до 46,1 %. Если в пользу партии В проголосовало 38 %, то границами доверительного интервала будут 33,3 % и 42,5 %. Следовательно, в соответствии с результатами опроса можно утверждать, что рейтинг партии А равен 39 %, партии В — 40 %. Нет никаких сомнений в том, что если три месяца назад преимущество партии А было на полпункта меньше (по результатам опроса, а не в реальности), это не является доказательством роста популярности партии А.

Вопрос на миллион

Очень часто при проведении исследований возникает вопрос: каким должен быть размер выборки, чтобы результатам можно было доверять? Ответ на этот вопрос зависит от нескольких параметров.

1. От желаемой точности результатов, иными словами от допустимой предельной ошибки. Если мы хотим получить результат с предельной ошибкой 1 %, размер выборки должен быть больше, чем при предельной ошибке в 4 %.

2. От желаемой надежности результата. Если нас устроит надежность 80 %, размер выборки будет меньше, чем для надежности в 95 %.

3. От истинного значения оцениваемой доли. На первый взгляд это может показаться странным, но размер выборки действительно зависит от истинного значения оцениваемой доли. Если в генеральной совокупности отсутствует вариация (100 % элементов совокупности равны между собой), для оценки значения будет достаточно одного элемента совокупности. Если, например, все шары в мешке белые или все черные, достаточно вытащить всего один шар, чтобы определить цвет всех шаров. Чем больше вариация, тем больше необходимый размер выборки. В наименее благоприятном случае объем выборки должен равняться 30 % генеральной совокупности. Мы предполагаем, чему равно искомое значение доли. Предпочтительнее дать этой величине оценку сверху. Если нам ничего не известно о генеральной совокупности либо мы придерживаемся консервативных методов, то можно предположить, что искомый объем выборки равен 50 % от генеральной совокупности. Если нам известно, что искомая доля меньше (например, доля домохозяйств, в которых есть факс), то можно предположить, что их доля равна 20 % (фактическое значение гарантированно будет меньше).

4. От размера генеральной совокупности. Если генеральная совокупность мала (допустим, менее 100000 единиц), а допустимая погрешность также невелика (1–2 %), с ростом размеров генеральной совокупности нам потребуется выборка большего размера. Однако для больших генеральных или для погрешности измерения в 5 % и выше влияние размера выборки будет практически незаметным. Эта тема является источником множества недоразумений, и далее мы расскажем о ней более подробно.

* * *

* * *

Теперь вам понадобится только редактор электронных таблиц — с его помощью легко проверить, как будет изменяться размер выборки при увеличении надежности или допустимой погрешности. Также нетрудно видеть, как на размер выборки влияют различные переменные. Можно построить таблицу, подобную той, что приводится ниже, которая уже содержит все необходимые данные.