19 Тесты хи-квадрат

Автор

И.С. Поздняков

Тесты хи-квадрат — это целый набор статистических методов для исследования связи между переменными. Значения делятся по группам (категориям), после чего наблюдаемые частоты в группах сравниваются с ожидаемыми:

\[\chi^2 = \sum^n_{i = 1} \frac{{(O_i - E_i)^2}}{{E_i}}\] \(E_i\) — ожидаемая частота, \(O_i\) — наблюдаемая частота.

Соответственно, чем больше расхождения между ожидаемым распределением по группам и реальным, тем больше статистика \(\chi^2\) и тем меньше p-value.

19.1 Тест хи-квадрат Пирсона на независимость

Тест хи-квадрат Пирсона на независимость (Pearson’s chi-squared test of independence) позволяет определить, есть ли связь между категориальными переменными.

Например, с помощью этого теста мы можем посмотреть, различается ли распределение по полу супергероев у двух основных издателей супергероики — Marvel Comics и DC Comics.

library(tidyverse)

heroes <- read_csv("https://raw.githubusercontent.com/Pozdniakov/tidy_stats/master/data/heroes_information.csv",
                   na = c("-", "-99", "NA"))

Для начала нам нужно создать таблицу сопряженности (contingency table) для двух переменных с помощью встроенной функции table(). Эта функция похожа на count() из пакета {dplyr}.

gender_publisher <- heroes %>%
  drop_na(Gender) %>%
  filter(Publisher %in% c("Marvel Comics", "DC Comics")) %>%
  select(Gender, Publisher)

gender_publisher

# A tibble: 577 × 2
   Gender Publisher    
   <chr>  <chr>        
 1 Male   Marvel Comics
 2 Male   DC Comics    
 3 Male   Marvel Comics
 4 Male   Marvel Comics
 5 Male   Marvel Comics
 6 Male   DC Comics    
 7 Female Marvel Comics
 8 Male   Marvel Comics
 9 Male   Marvel Comics
10 Male   Marvel Comics
# ℹ 567 more rows

table(gender_publisher)

        Publisher
Gender   DC Comics Marvel Comics
  Female        61           111
  Male         153           252

С помощью универсальной функции summary() (см. Глава 12.7), примененной к таблице сопряженности, можно провести тест хи-квадрат на независимость.

summary(table(gender_publisher))

Number of cases in table: 577 
Number of factors: 2 
Test for independence of all factors:
    Chisq = 0.27673, df = 1, p-value = 0.5988

То же самое можно сделать и с помощью специальной функции chisq.test():

chisq.test(table(gender_publisher))


    Pearson's Chi-squared test with Yates' continuity correction

data:  table(gender_publisher)
X-squared = 0.18649, df = 1, p-value = 0.6659

В этом случае p-value несколько отличается. Дело в том, что для таблиц 2×2 chisq.test() по умолчанию применяет поправку на непрерывность Йейтса (Yates’ continuity correction), а summary() считает тест Пирсона без нее. Статистика хи-квадрат считается по дискретным частотам, а p-value рассчитывается по непрерывному \(\chi^2\)-распределению — поправка Йейтса пытается учесть это расхождение, заметное на малых выборках. Если отключить поправку (correct = FALSE), результат совпадет с выводом summary():

chisq.test(table(gender_publisher), correct = FALSE)


    Pearson's Chi-squared test

data:  table(gender_publisher)
X-squared = 0.27673, df = 1, p-value = 0.5988

Другой подход для более точного подсчета p-value — это использование точного теста Фишера (Fisher’s exact test):

fisher.test(table(gender_publisher))


    Fisher's Exact Test for Count Data

data:  table(gender_publisher)
p-value = 0.6381
alternative hypothesis: true odds ratio is not equal to 1
95 percent confidence interval:
 0.6120819 1.3321610
sample estimates:
odds ratio 
 0.9053112