Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Расчет коэффициента корреляции с помощью Excel.

Однако этот показатель имеет свои недостатки (ничто не совершенно!). Если взаимосвязь между переменными отсутствует, не следует ожидать, что коэффициент корреляции будет равен нулю. Это будет означать, что данные распределены абсолютно равномерно, что не встречается на практике. Коэффициент корреляции может быть примерно равным нулю, но что именно означает это «примерно равен»?

Кроме того, значение этого коэффициента зависит от объема исходных данных. Если объем исходных данных невелик, а значение коэффициента корреляции далеко от нуля, это не означает наличие корреляции. Если даны всего лишь два значения каждой переменной, то коэффициент корреляции всегда будет равен 1 или —1 вне зависимости от того, присутствует ли корреляция на самом деле.

На следующей диаграмме представлено 35 точек, коэффициент корреляции равен 0,494. Это значение достаточно далеко от нуля, чтобы можно было говорить о присутствии корреляции? Или же это расположение точек можно получить случайным образом и переменные никак не связаны между собой?

Существует ли взаимосвязь между этими переменными?

Чтобы определить, действительно ли полученный коэффициент корреляции свидетельствует о взаимосвязи (или, если говорить на языке статистики, является ли это значение статистически значимым), используем моделирование. Сгенерируем два множества случайных чисел по 35 чисел в каждом. Очевидно, что эти числа будут никак не связаны между собой, однако коэффициент корреляции между ними не будет строго равен нулю, а будет равняться, например, — 0,123. Если мы заново сформируем эти два множества случайным образом и повторим моделирование 10000 раз, то получим 10000 значений коэффициента корреляции между двумя совокупностями из 35 чисел, которые никак не связаны между собой. Чтобы рассчитать эти значения, используем небольшую программу. Результат ее работы представлен на следующей гистограмме. Вертикальной чертой обозначено значение коэффициента корреляции, полученное нами в предыдущем примере, равное 0,494.

Значения коэффициента корреляции для двух совокупностей из 35 не связанных между собой чисел.

Из гистограммы следует, что коэффициент корреляции действительно может принять полученное значение, если переменные не связаны между собой, но очевидно, что вероятность этого крайне мала. Анализ результатов моделирования показывает (на гистограмме это не заметно), что 12 значений больше 0,494, 9 — меньше —0,494. Это означает, что полученное нами значение (или большее) выпадает примерно два раза из 1000, если исходные переменные независимы.

Может ли быть так, что наш случай — именно тот, что выпадает два раза из 1000? Это неизвестно, но маловероятно. Разумнее всего полагать, что проанализированные нами переменные, соответствующие весу и росту 35 женщин в группе из 92 студентов, взаимосвязаны.

И в задаче, поставленной перед дегустатором чая, и в задаче о связи между переменными, которую мы только что рассмотрели, нужно ответить, по сути, на один и тот же вопрос: разумно ли считать, что дегустатор может различить вкус чая, приготовленного по-разному? Можно ли считать, что две переменные коррелируют? В обоих случаях, чтобы ответить на этот вопрос, нужно действовать по одной и той же схеме.

1. Нужно сформулировать исходную гипотезу. Чаще выбирается консервативная гипотеза: в задаче о дегустаторе чая мы предполагаем, что он не способен различить чай на вкус, а в задаче о корреляции — что переменные никак не связаны.

2. На основе доступных данных рассчитывается требуемая величина. Если данные отсутствуют или использовать их нельзя, нужно получить подходящие данные. В задаче о связи между переменными искомой величиной является коэффициент корреляции. В задаче о дегустаторе чая искомой величиной является число неверно указанных чашек во время эксперимента.

3. Если полученное значение находится в интервале, соответствующем исходной гипотезе, нет никаких оснований полагать, что исходная гипотеза ошибочна. Следовательно, мы будем по-прежнему ее придерживаться. Если полученное значение маловероятно, мы заменяем исходную гипотезу альтернативной (дегустатор может различить чай на вкус, переменные взаимосвязаны).

В учебниках по статистике исходная гипотеза называется нулевой гипотезой, альтернативная (верная в случае, когда исходная гипотеза не выполняется) совершенно ожидаемо называется альтернативной гипотезой. Вероятность, с которой может быть достигнуто полученное значение статистического показателя (при условии, что нулевая гипотеза верна), называется р-значение. Этому числу уделяется особое внимание в статистических исследованиях, так как именно оно указывает, следует ли придерживаться нулевой гипотезы или будет разумнее отказаться от нее.

В нашем случае, если дегустатор чая правильно указывает 4 чашки из 4, мы можем отвергнуть нулевую гипотезу с р-значением, равным 1,4 %. В задаче о взаимосвязи двух переменных р-значение равно 2 %: если бы переменные не были бы взаимосвязаны (нулевая гипотеза верна), то вероятность того, что коэффициент корреляции был бы равен или больше полученного нами, равнялась бы 2 %.

Что, если нулевую гипотезу нельзя опровергнуть?

Если р-значение велико, то нельзя сказать, что результат противоречит нулевой гипотезе. Однако это совершенно не означает, что мы доказали истинность этой гипотезы. Именно поэтому говорят о том, что нулевая гипотеза отвергается (либо нет), а не принимается, и тем более не говорят о доказательстве истинности нулевой гипотезы.

Обычно проводят такую аналогию: как известно, нулевая гипотеза суда заключается в том, что обвиняемый невиновен. Иными словами, он считается невиновным, если не найдено доказательств его вины. Собранные улики являются доказательствами, которые подтверждают или опровергают нулевую гипотезу. Если на одежде обвиняемого были найдены пятна крови жертвы, это очевидно свидетельствует не в пользу гипотезы о его невиновности. Однако если пятен нет, то это может означать, что преступление было тщательно спланировано или же полиция действовала неудачно, следовательно, обвиняемого нельзя осудить (то есть отвергнуть нулевую гипотезу нельзя). Но это не доказывает, что подсудимый невиновен.

* * *