Лекция 14 — Проверка статистических гипотез

Зачем нужна проверка гипотез

На прошлых занятиях курса по выборке оценивали числовые характеристики случайной величины: считали выборочное среднее, выборочную дисперсию, строили доверительные интервалы. Это один подход — получить представление о значении параметра.

Проверка статистических гипотез — это другой подход к тому же вопросу. Здесь мы не «нащупываем» значение параметра, а заранее выдвигаем про него предположение и проверяем, согласуются ли с ним данные выборки.

🗣 Преподаватель сказал: это предпоследняя большая тема курса; после неё останутся только критерии согласия. Готовой табличкой с формулами разрешено пользоваться на экзамене.

Что такое статистическая гипотеза

Гипотеза вообще — это предположение. Статистическая гипотеза — предположение о характеристиках распределения (например, о математическом ожидании) или о самом законе распределения случайной величины.

Пример преподавателя: обследуем рост взрослого населения России (это важно, скажем, производителям одежды). Можно предположить, что математическое ожидание роста равно 175 см — это гипотеза о характеристике. А можно предположить, что рост распределён нормально — это гипотеза о законе распределения.

Нулевая и альтернативная гипотезы

Основную (нулевую) гипотезу обозначают $H_0$. Рядом с ней выдвигают альтернативную (конкурирующую) гипотезу $H_1$.

Если $H_0$: средний рост равен 175 см, то $H_1$: средний рост не равен 175 см. Если $H_0$: рост распределён нормально, то $H_1$: распределён не нормально.

События «верна $H_0$» и «верна $H_1$» противоположны и образуют полную группу: произойдёт ровно одно из них.

💡 Понятнее: $H_1$ — это просто логическое «не $H_0$». Поэтому, отвергая $H_0$, мы автоматически принимаем $H_1$, и наоборот.

Направленные и ненаправленные гипотезы

Гипотеза может быть ненаправленной (двусторонней) или направленной (односторонней) — по аналогии с двусторонними и односторонними доверительными интервалами.

• Ненаправленная: «рост не равен 170 см» — не сказано, в какую сторону отклонение.
• Направленная: «средний рост жителей России больше, чем у жителей Узбекистана» — указано направление.

Направленные бывают положительно ($a \le a_0$) и отрицательно ($a \ge a_0$) направленные. От вида гипотезы зависит, какой квантиль (односторонний или двусторонний) брать из таблицы.

Схема проверки гипотезы

Пять шагов (первые шаги можно менять местами):

1. Выдвигаем $H_0$ и $H_1$.
2. Выбираем уровень значимости $\alpha$.
3. Берём из таблицы критическое (табличное) значение критерия — это квантиль подходящего закона распределения, выбираемый по $\alpha$.
4. Вычисляем по выборке значение критерия (формула зависит от вида гипотезы).
5. Сравниваем вычисляемое и табличное значения — принимаем либо отвергаем $H_0$.

Уровень значимости и ошибки

Уровень значимости $\alpha$ — это предельно допустимая вероятность ошибочно отклонить нулевую гипотезу, когда она на самом деле верна. Стандартные значения: 0,01; 0,05; 0,1.

Чем меньше $\alpha$, тем меньше вероятность ошибки, но тем выше требования к надёжности результата.

Два типа ошибок:

• Ошибка первого рода — отклонить $H_0$, когда она верна.
• Ошибка второго рода — не отклонить $H_0$, когда она неверна.

Эти ошибки неизбежны, но их можно минимизировать. Главная рекомендация — увеличить объём выборки. Если выборка маленькая, формулировки делают осторожными: не «$H_0$ отклоняется», а «есть основания отклонить $H_0$».

⚠️ Уточнение: на маленькой выборке вывод формулируют мягко именно потому, что данных мало и категорично утверждать нельзя.

Связь с доверительной вероятностью: $\gamma = 1 - \alpha$. Если $\gamma = 0{,}95$, то $\alpha = 0{,}05$; если $\gamma = 0{,}99$, то $\alpha = 0{,}01$.

📐 Разбор формулы:

• γ («гамма») — доверительная вероятность (надёжность вывода);
• α («альфа») — уровень значимости (допустимая вероятность ошибки первого рода).

Как работает: надёжность и риск ошибки дополняют друг друга до единицы. Чем выше требуемая надёжность γ, тем меньше допустимый риск α. Эта связь позволяет переходить от уровня значимости к доверительной вероятности и обратно при выборе квантиля из таблицы.

Гипотезы о числовых характеристиках

Математическое ожидание, дисперсия известна

Величина распределена нормально, $H_0$: $a = a_0$. Вычисляемый критерий: выборочное среднее минус $a_0$, делённое на $\sigma$ и умноженное на корень из объёма выборки $n$ (формула словами: $\frac{(\bar{x} - a_0)\sqrt{n}}{\sigma}$). Здесь $\sigma$ известна по генеральной совокупности. Табличное значение — односторонний квантиль нормального распределения, для двусторонней гипотезы пересчитанный (таблица 2).

📐 Разбор формулы:

• x̄ — выборочное среднее; a₀ — проверяемое (гипотетическое) значение матожидания;
• (x̄ − a₀) — отклонение выборочного среднего от гипотезы;
• σ — известное генеральное стандартное отклонение; n — объём выборки; √n — корень из него.

Как работает: критерий измеряет, на сколько «стандартных ошибок» выборочное среднее отстоит от гипотетического a₀. Стандартная ошибка среднего равна σ/√n, поэтому деление на σ и умножение на √n переводит отклонение в эти единицы. Большое по модулю значение означает, что данные плохо согласуются с H₀.

Математическое ожидание, дисперсия неизвестна

То же, но $\sigma$ заменяется на выборочное стандартное отклонение $S$, а вместо $\sqrt{n}$ берётся $\sqrt{n-1}$ (на одну степень свободы меньше). Табличное значение — квантиль распределения Стьюдента для $n-1$ степеней свободы (таблица 3).

📐 Разбор формулы:

• x̄ — выборочное среднее; a₀ — гипотетическое матожидание; (x̄ − a₀) — отклонение;
• S — выборочное стандартное отклонение (используется вместо неизвестного σ);
• n — объём выборки; √(n−1) — корень из числа степеней свободы;
• n − 1 — степени свободы (одна «теряется» на оценку среднего).

Как работает: когда σ неизвестна, её заменяют выборочной оценкой S. Из-за этой замены критерий следует уже не нормальному закону, а распределению Стьюдента, более «тяжёлохвостому» при малых выборках. Степени свободы n − 1 учитывают, что одна величина (среднее) уже оценена по тем же данным.

💡 Понятнее: «дисперсия известна» — знаем её по всей генеральной совокупности (стоит $\sigma$); «неизвестна» — посчитали только по выборке (стоит $S$). В тексте задачи слово «выборочное» отклонение означает второй случай.

Дисперсия (стандартное отклонение)

Гипотеза о дисперсии нормально распределённой величины, математическое ожидание неизвестно. Критерий: $\frac{n \cdot S^2}{\sigma_0^2}$. Табличные границы берут из распределения Хи-квадрат для $n-1$ степеней свободы (таблица 4). Для двусторонней гипотезы критерий должен попасть в интервал между левой границей ($\chi^2_{\alpha/2}$) и правой ($\chi^2_{1-\alpha/2}$).

📐 Разбор формулы:

• n — объём выборки; S² — выборочная дисперсия;
• σ₀² — проверяемое (гипотетическое) значение генеральной дисперсии;
• χ² («хи-квадрат») — распределение, по которому берут критические границы;
• χ²_{α/2}, χ²_{1−α/2} — левая и правая границы (нижний индекс — уровень);
• n − 1 — число степеней свободы.

Как работает: критерий n·S²/σ₀² сравнивает выборочную дисперсию с гипотетической. Если H₀ верна, он следует распределению Хи-квадрат. Оно несимметрично, поэтому для двусторонней гипотезы задают две отдельные границы — левую и правую; H₀ принимают, если критерий попал между ними.

Гипотезы о доле

Доля — это вероятность. $H_0$: $p = p_0$. По выборке считают наблюдаемую долю $w = m/n$ (доля «успехов»). Критерий: $\frac{w - p_0}{\sqrt{\frac{p_0(1-p_0)}{n}}}$. Табличное значение — квантиль нормального распределения (таблица 2).

📐 Разбор формулы:

• w = m/n — наблюдаемая (выборочная) доля; m — число «успехов», n — объём выборки;
• p₀ — проверяемое (гипотетическое) значение доли;
• (w − p₀) — отклонение наблюдаемой доли от гипотезы;
• p₀(1−p₀)/n — выражение под корнем (квадрат стандартной ошибки доли);
• √(p₀(1−p₀)/n) — стандартная ошибка доли при гипотезе.

Как работает: критерий показывает, на сколько стандартных ошибок наблюдаемая доля w отстоит от гипотетической p₀. При большой выборке он близок к нормальному закону, поэтому критическое значение берут как квантиль нормального распределения. Большое по модулю значение говорит против H₀. Отдельно существует гипотеза о соотношении долей двух генеральных совокупностей ($H_0$: $p_1 = p_2$), но её разбор перенесён на следующее занятие.

Как делать вывод

Для двусторонней гипотезы $H_0$ принимают, если модуль вычисленного критерия меньше табличного. Если больше — есть основания отклонить $H_0$ (и тогда принимается $H_1$). Для гипотезы о дисперсии $H_0$ принимают, если критерий попал между двумя границами.

➕ Преподаватель не упомянул: обратите внимание, что для среднего и доли «зона принятия» — это попадание под порог по модулю, а для дисперсии — попадание внутрь интервала. Это прямое следствие того, что Хи-квадрат несимметричен.

Тема занятия

Новая тема — проверка статистических гипотез. Это предпоследняя крупная тема курса (после неё — критерии согласия). На занятии разобраны: понятие статистической гипотезы и её виды, общая схема проверки, а затем на примерах — гипотезы о математическом ожидании, о дисперсии и о доле.

1. Понятие статистической гипотезы

Ранее по выборке оценивали числовые характеристики случайной величины. Проверка гипотез — альтернативный подход к представлению о значении параметра.

Статистическая гипотеза — предположение о характеристиках распределения или о законе распределения случайной величины.

Гипотезу проверяют статистическим тестом — процедурой, позволяющей считать гипотезу верной или ошибочной. Тест базируется на статистическом критерии — правиле, по которому гипотеза принимается или отвергается.

Обозначения:

• $H_0$ — основная (нулевая) гипотеза;
• $H_1$ — альтернативная (конкурирующая) гипотеза.

Пример: $H_0$ — средний рост взрослого населения России равен 175 см; $H_1$ — не равен 175 см. Или $H_0$ — рост распределён нормально; $H_1$ — не нормально.

События «$H_0$ верна» и «$H_1$ верна» противоположны и образуют полную группу.

Виды гипотез по направленности:

• ненаправленная (двусторонняя) — «$a \ne 170$», направление отклонения не указано;
• направленная (односторонняя) — «$a$ больше …», направление указано; бывает положительно направленной ($a \le a_0$) и отрицательно направленной ($a \ge a_0$).

2. Схема проверки статистической гипотезы

1. Выдвигаются $H_0$ и $H_1$.
2. Выбирается уровень значимости $\alpha$ — предельно допустимая вероятность ошибочного отклонения $H_0$. Стандартные значения: 0,01; 0,05; 0,1. Чем меньше $\alpha$, тем меньше вероятность ошибки.
3. Из статистической таблицы по $\alpha$ выбирается критическое (табличное) значение критерия $K_{кр}$ — квантиль подходящего закона распределения.
4. По выборке вычисляется значение критерия $K_{выч}$ (формула зависит от вида гипотезы).
5. $K_{выч}$ сравнивается с $K_{кр}$ — $H_0$ принимается либо отвергается. При отклонении $H_0$ принимается $H_1$.

Ошибки:

• первого рода — отклонение $H_0$ при том, что она верна;
• второго рода — неотклонение $H_0$ при том, что она неверна.

Ошибки неизбежны, но минимизируются увеличением объёма выборки. При малой выборке выводы формулируют осторожно: «есть основания отклонить $H_0$».

Связь с доверительной вероятностью: $\gamma = 1 - \alpha$. Например, $\gamma = 0{,}9 \Rightarrow \alpha = 0{,}1$; $\gamma = 0{,}95 \Rightarrow \alpha = 0{,}05$; $\gamma = 0{,}99 \Rightarrow \alpha = 0{,}01$.

📐 Разбор формулы:

• γ («гамма») — доверительная вероятность (надёжность); α («альфа») — уровень значимости (риск ошибки первого рода).

Как работает: надёжность и риск ошибки дополняют друг друга до единицы. Чем выше требуемая надёжность γ, тем меньше допустимый риск α. Связь нужна, чтобы по уровню значимости находить доверительную вероятность при выборе квантиля из таблицы.

3. Гипотезы о значениях числовых характеристик

Для удобства решения задач используется готовая табличка «Проверка гипотез» (ею разрешено пользоваться на экзамене). Принцип работы: всё определяется по тексту задачи — если речь о среднем значении, это математическое ожидание $a$; стоит $\sigma$ — дисперсия известна, стоит $S$ (выборочное отклонение) — неизвестна.

3.1. Гипотеза о математическом ожидании, дисперсия известна

$H_0$: $a = a_0$. Альтернативы: $a < a_0$ (отрицательно направленная), $a > a_0$ (положительно направленная), $a \ne a_0$ (двусторонняя).

Вычисляемый критерий: $K_{выч} = \dfrac{(\bar{x} - a_0)\sqrt{n}}{\sigma}$, где $\bar{x}$ — выборочное среднее, $a_0$ — предполагаемое значение, $\sigma$ — известное стандартное отклонение, $n$ — объём выборки.

📐 Разбор формулы:

• K_выч — вычисленное значение критерия; x̄ — выборочное среднее; a₀ — гипотетическое матожидание;
• (x̄ − a₀) — отклонение выборочного среднего от гипотезы;
• σ — известное генеральное отклонение; n — объём выборки, √n — корень из него.

Как работает: критерий измеряет, на сколько «стандартных ошибок» среднего (σ/√n) выборочное среднее отстоит от a₀. Деление на σ и умножение на √n переводит отклонение в эти единицы. Большое по модулю значение говорит, что данные плохо согласуются с H₀.

Табличное значение — квантиль нормального распределения (таблица 2). Из таблицы берут квантиль уровня $1-\alpha$, для двусторонней гипотезы пересчитывают в односторонний.

Пример 1. При производстве металлической детали высверливают отверстия, диаметр которых подчинён нормальному закону со стандартным отклонением $\sigma = 0{,}6$ (известно для генеральной совокупности). Произведено $n = 9$ измерений, выборочное среднее $\bar{x} = 1{,}95$. Протестировать гипотезу, что математическое ожидание равно 2, против альтернативы «не равно 2», уровень значимости 5%.

• $H_0$: $a = 2$; $H_1$: $a \ne 2$. $\alpha = 0{,}05$.
• $K_{выч} = \dfrac{(1{,}95 - 2)\sqrt{9}}{0{,}6} = \dfrac{-0{,}05 \cdot 3}{0{,}6} = -2{,}5$.
• Гипотеза ненаправленная (двусторонняя), поэтому переходим к одностороннему квантилю уровня $0{,}975$. По таблице 2: $K_{кр} = 1{,}96$.
• Проверка: $|{-2{,}5}| = 2{,}5$ должно быть меньше $1{,}96$ для принятия $H_0$, но $2{,}5 > 1{,}96$ — условие не выполняется.
• Вывод: есть основания отклонить $H_0$. На уровне значимости 5% можно утверждать, что математическое ожидание диаметра не равно 2 дюймам. (Выборка мала — всего 9 измерений — поэтому формулировка осторожная.)

3.2. Гипотеза о математическом ожидании, дисперсия неизвестна

$H_0$: $a = a_0$, но $\sigma$ неизвестна. Отличия от 3.1: вместо $\sigma$ — выборочное $S$, вместо $\sqrt{n}$ — $\sqrt{n-1}$ (на одну степень свободы меньше). Критерий: $K_{выч} = \dfrac{(\bar{x} - a_0)\sqrt{n-1}}{S}$.

📐 Разбор формулы:

• x̄ — выборочное среднее; a₀ — гипотетическое матожидание; (x̄ − a₀) — отклонение;
• S — выборочное стандартное отклонение (вместо неизвестного σ);
• n — объём выборки; √(n−1) — корень из числа степеней свободы; n − 1 — степени свободы.

Как работает: при неизвестной σ её заменяют оценкой S. Из-за этого критерий следует распределению Стьюдента, а не нормальному, особенно при малых выборках. Степени свободы n − 1 учитывают, что одна величина (среднее) уже оценена по тем же данным.

Табличное значение — квантиль распределения Стьюдента (таблица 3) для $n-1$ степеней свободы.

Пример 2. Опрос 54 потребителей; ответ по шкале от 1 (полное несогласие) до 5 (полное согласие) на вопрос об ограничении суммы компенсаций. Выборочное среднее $\bar{x} = 3{,}68$, выборочное стандартное отклонение $S = 1{,}21$. Считается, что для всеобщей поддержки нужно среднее 3,75. Протестировать $H_0$: $a = 3{,}75$ против $H_1$: $a \ne 3{,}75$, уровень значимости 5%, данные нормальные.

• Дано: $n = 54$, $\bar{x} = 3{,}68$, $S = 1{,}21$, $a_0 = 3{,}75$, $\alpha = 0{,}05$.
• $K_{выч} = \dfrac{(3{,}68 - 3{,}75)\sqrt{53}}{1{,}21} = \dfrac{-0{,}07 \cdot \sqrt{53}}{1{,}21} \approx -0{,}421$.
• Гипотеза двусторонняя, переходим к одностороннему квантилю уровня $0{,}975$ для $n-1 = 53$ степеней свободы. В таблице 3 точного значения для 53 нет; 53 ближе к 50, чем к 60, поэтому берут значение для 50: $K_{кр} = 2{,}01$.
• Проверка: $|{-0{,}421}| = 0{,}421 < 2{,}01$ — условие выполняется.
• Вывод: нет оснований отклонить $H_0$ (она принимается). На уровне значимости 5% можно утверждать, что математическое ожидание ответов равно 3,75.

🗣 Преподаватель сказал: главный навык здесь — внимательно прочитать условие и аккуратно выписать «дано», тогда подстановка в готовую формулу становится понятной.

3.3. Гипотеза о дисперсии

Гипотеза о дисперсии нормально распределённой величины при неизвестном математическом ожидании (единственный случай). Критерий: $K_{выч} = \dfrac{n \cdot S^2}{\sigma_0^2}$. Табличные границы — из распределения Хи-квадрат (таблица 4) для $n-1$ степеней свободы. Для двусторонней гипотезы критерий должен лежать между левой границей $\chi^2_{\alpha/2}$ и правой $\chi^2_{1-\alpha/2}$.

📐 Разбор формулы:

• K_выч — вычисленный критерий; n — объём выборки; S² — выборочная дисперсия;
• σ₀² — проверяемое (гипотетическое) значение генеральной дисперсии;
• χ² («хи-квадрат») — закон, по которому берут границы; χ²_{α/2}, χ²_{1−α/2} — левая и правая границы;
• n − 1 — степени свободы.

Как работает: критерий n·S²/σ₀² сравнивает выборочную дисперсию с гипотетической. Если H₀ верна, он следует распределению Хи-квадрат, которое несимметрично, поэтому задают две отдельные границы. H₀ принимают, если критерий попал в интервал между ними.

Пример 3. Производитель чистящего порошка утверждает, что вес упаковки отклоняется в среднем на 0,5 унции (это стандартное отклонение). Вес — нормальная случайная величина. Для выборки из $n = 16$ упаковок выборочное стандартное отклонение $S = 0{,}7$ унции. Проверить утверждение на уровне значимости 10%.

• $H_0$: $\sigma = 0{,}5$; $H_1$: $\sigma \ne 0{,}5$. $\alpha = 0{,}1$.
• $K_{выч} = \dfrac{16 \cdot 0{,}7^2}{0{,}5^2} = 31{,}36$.
• Границы (таблица 4, Хи-квадрат, 15 степеней свободы): левая $\chi^2_{0{,}05}(15) = 7{,}26$; правая $\chi^2_{0{,}95}(15) = 25$.
• Проверка: $K_{выч}$ должно лежать между 7,26 и 25. Но $31{,}36 > 25$ — выходит за правую границу.
• Вывод: есть основания отклонить $H_0$. На уровне 10% стандартное отклонение веса не равно 0,5 унции — то есть производитель ошибается.

4. Гипотезы о доле

Доля — это вероятность. Различают два случая: гипотеза о доле ($H_0$: $p = p_0$) и гипотеза о соотношении долей двух генеральных совокупностей ($H_0$: $p_1 = p_2$).

Для гипотезы о доле: по выборке считают наблюдаемую долю $w = m/n$. Критерий: $K_{выч} = \dfrac{w - p_0}{\sqrt{\dfrac{p_0(1-p_0)}{n}}}$. Табличное значение — квантиль нормального распределения (таблица 2).

📐 Разбор формулы:

• w = m/n — наблюдаемая доля; m — число «успехов», n — объём выборки;
• p₀ — гипотетическое значение доли; (w − p₀) — отклонение от гипотезы;
• p₀(1−p₀)/n — выражение под корнем (квадрат стандартной ошибки доли);
• √(p₀(1−p₀)/n) — стандартная ошибка доли при гипотезе.

Как работает: критерий показывает, на сколько стандартных ошибок наблюдаемая доля w отстоит от гипотетической p₀. При большой выборке он близок к нормальному закону, поэтому критическое значение берут как нормальный квантиль. Большое по модулю значение говорит против H₀.

Пример 4. Менеджер компании утверждает, что доля высокооплачиваемых работников (зарплата выше 100 000 ₽) составляет 25%. Опрос 60 человек: 12 получают высокую зарплату. Уровень значимости 5%, проверить утверждение.

• Дано: $n = 60$, $m = 12$, $p_0 = 0{,}25$, $\alpha = 0{,}05$.
• $H_0$: $p = 0{,}25$; $H_1$: $p \ne 0{,}25$.
• Наблюдаемая доля $w = 12/60 = 0{,}2$.
• $K_{выч} = \dfrac{0{,}2 - 0{,}25}{\sqrt{\dfrac{0{,}25 \cdot 0{,}75}{60}}} \approx -0{,}894$.
• Гипотеза ненаправленная; квантиль уровня $0{,}975$ нормального распределения: $K_{кр} = 1{,}96$ (таблица 2).
• Проверка: $|{-0{,}894}| = 0{,}894 < 1{,}96$ — выполняется.
• Вывод: есть основание принять $H_0$. На уровне значимости 5% менеджер прав: доля высокооплачиваемых работников равна 25%.

Гипотеза о соотношении долей двух генеральных совокупностей объявлена, но решена не была — её разбор перенесён на следующее занятие; далее курс перейдёт к критериям согласия.

Итоговые ориентиры для экзамена

• Всегда сначала формулируй $H_0$ и $H_1$ и определяй направленность.
• По тексту задачи определяй случай: среднее (известна/неизвестна дисперсия), дисперсия, доля — и бери соответствующую формулу из таблички.
• Запомни «зоны принятия»: для среднего и доли — $|K_{выч}| < K_{кр}$; для дисперсии — попадание в интервал между двумя границами Хи-квадрат.
• Таблицы: 2 — нормальное распределение, 3 — Стьюдент, 4 — Хи-квадрат. Двусторонняя гипотеза → пересчёт к одностороннему квантилю уровня $1-\alpha/2$.
• Связь $\gamma = 1 - \alpha$ нужна, чтобы по уровню значимости найти доверительную вероятность для выбора по таблице.