Лекция 15 — Критерии согласия: проверка гипотез о законе распределения

О чём занятие

Мы уже умеем проверять статистические гипотезы по общей схеме (выдвинуть основную и альтернативную гипотезу, посчитать статистику, сравнить с табличным значением). Теперь рассматриваем особый класс гипотез — гипотезы о законе распределения. Их проверяют так называемые критерии согласия.

Идея простая. У нас есть выборка — набор наблюдений за какой-то случайной величиной. Мы хотим понять: подчиняется ли эта величина какому-то известному закону (нормальному, биномиальному, Пуассона, равномерному и т.д.)? Это важно, потому что для каждого закона есть свои готовые формулы, и если мы знаем закон — дальше всё считается «по накатанной».

Гипотезы

Основная (нулевая) и альтернативная гипотезы для критериев согласия формулируются так:

• H0: распределение величины X соответствует предполагаемому закону (например, нормальному).
• H1: распределение величины X не соответствует этому закону.

Мы выбираем конкретный закон и проверяем, «согласуются» ли с ним данные — отсюда и название «критерии согласия».

Критерий 1. Хи-квадрат (критерий Пирсона)

Самый главный и универсальный критерий: годится для любых законов и для дискретных, и для непрерывных величин.

Наблюдаемое значение статистики:

χ²набл = сумма (i от 1 до k) (n_i − n·p_i)² / (n·p_i)

📐 Разбор формулы:

• k — число интервалов вариационного ряда (на сколько групп разбиты данные).
• n_i — частота i-го интервала, то есть сколько элементов выборки в него попало.
• n — объём выборки (общее число наблюдений).
• p_i — оценка вероятности попасть в i-й интервал, посчитанная по предполагаемому закону.
• n·p_i — теоретическая (ожидаемая) частота интервала: сколько наблюдений «должно было бы» попасть в него, если закон верен.

Как работает: в числителе — квадрат разности между фактической частотой n_i и теоретической n·p_i. Чем сильнее данные расходятся с законом, тем больше эти разности и тем больше вся сумма. Если закон верный, расхождения мелкие и случайные, и статистика получается небольшой. Делим на n·p_i, чтобы «взвесить» каждое расхождение относительно ожидаемой частоты (одно и то же отклонение в большом интервале менее значимо, чем в маленьком).

Как считается оценка вероятности p_i:

• для дискретного закона — это вероятность того, что величина примет значения внутри интервала [a; b];
• для непрерывного закона — это разность значений функции распределения на концах интервала: p_i = F(b) − F(a).

Все параметры, нужные для расчёта вероятностей, оцениваются по самой выборке.

Табличное значение берётся из таблицы хи-квадрат по двум числам:

• уровню значимости (надёжности) α;
• числу степеней свободы.

Число степеней свободы = k − r, где r — количество неизвестных параметров распределения, которые мы оцениваем по выборке.

Условие отклонения H0: если χ²набл ≥ χ²табл, то нулевую гипотезу отвергаем (закон не подтверждается) и принимаем альтернативную.

➕ Преподаватель не упомянул явно: «согласие» означает обратное — если χ²набл < χ²табл, расхождения признаются случайными, и у нас нет оснований отвергать гипотезу о законе (то есть закон считается подходящим).

Обязательная подготовка данных перед хи-квадрат

Прежде чем считать, интервальный ряд приводят в порядок (эти правила пригодятся и на экзамене):

1. Пустых интервалов быть не должно. Если в каком-то интервале частота 0, уменьшаем число интервалов на единицу и пересчитываем; повторяем, пока все интервалы не станут «значащими».
2. Для дискретного закона границы делают целыми, скобки — квадратными (концы включаются): левую границу обычно округляют вверх, правую — вниз.
3. Для непрерывного закона все скобки делают круглыми (вероятность попасть непрерывной величины в точку равна нулю, поэтому концы не важны).
4. Левую границу первого интервала заменяют на 0 (для дискретного) или на −∞ (для непрерывного), а правую границу последнего интервала — на +∞.

Критерий 2. Критерий Колмогорова

Тоже универсальный по закону, но только для непрерывных случайных величин.

Наблюдаемое значение:

λнабл = √n · D, где D = max | F0(x) − F*(x) |

📐 Разбор формулы:

• n — объём выборки.
• D — максимальная по всем интервалам разность между двумя функциями распределения (берётся наибольшее по модулю расхождение).
• F0(x) — предполагаемая (теоретическая) функция распределения того закона, который мы проверяем.
• F*(x) — эмпирическая функция распределения, построенная по выборке (по фактическим данным).

Как работает: критерий смотрит на самое большое расхождение между теоретической кривой распределения и той, что получилась по данным. Если в какой-то точке они сильно расходятся (большое D) — значит, закон плохо описывает данные. Множитель √n усиливает чувствительность с ростом объёма выборки.

Критические значения берут из таблицы по уровню надёжности:

Уровень α	0,10	0,05	0,02	0,01
λкр	1,22	1,36	1,52	1,63

Условие отклонения H0: λнабл ≥ λтабл — закон отвергаем.

Критерий 3. Критерий Жарка-Бера

Узконаправленный: применяется только для проверки на нормальный закон. Зато, как обычно с «заточенными» инструментами, он для своей задачи точнее.

Наблюдаемое значение:

JB = n · ( A² / 6 + E² / 24 )

📐 Разбор формулы:

• n — объём выборки.
• A — выборочный коэффициент асимметрии (насколько распределение «перекошено» влево или вправо; у нормального закона A = 0).
• E — выборочный эксцесс (насколько «острый» или «плоский» пик по сравнению с нормальным; у нормального закона E = 0).

Как работает: у идеального нормального распределения и асимметрия, и эксцесс равны нулю, поэтому JB = 0. Чем сильнее данные отклоняются от симметрии и от нормальной «остроты», тем больше A² и E², и тем больше статистика. Делители 6 и 24 — это нормировки из теории (связаны с дисперсиями оценок асимметрии и эксцесса), они приводят статистику к распределению хи-квадрат.

Табличное значение берут по таблице хи-квадрат (по уровню надёжности). Условие отклонения H0: JBнабл ≥ JBтабл.

Что общего у всех трёх критериев

Логика всегда одинаковая: по выборке считаем наблюдаемое значение статистики → из таблицы берём критическое → если наблюдаемое не меньше табличного, гипотезу о законе отвергаем. Различия — в области применения: Пирсон годится для всего, Колмогоров — для непрерывных, Жарка-Бера — только для проверки нормальности.

Организационное в начале

Это предпоследняя лекция: оставшаяся лекция в четверг, на ней будет дорешан пример с этого занятия. Заключительный семинар — в понедельник 8 июня, на нём самостоятельная работа по статистике. На экзамене — тест по всему материалу двух модулей (и теория вероятностей, и математическая статистика); экзамен с прокторингом. Преподаватель обещала подготовить нулевой (пробный) вариант для тренировки.

Тема: гипотезы о законе распределения

Продолжаем проверку статистических гипотез. Отдельный класс — гипотезы о законе распределения, их проверяют критерии согласия.

• H0: распределение величины X соответствует предполагаемому закону.
• H1: распределение величины X не соответствует ему.

Смысл: по выборке мы предполагаем некоторый закон (биномиальный, Пуассона, равномерный, нормальный и т.д.) и проверяем, согласуются ли с ним данные.

Критерий хи-квадрат (Пирсона)

Универсальный — для дискретных и непрерывных величин, для любых законов.

Статистика: χ²набл = сумма (n_i − n·p_i)² / (n·p_i)

📐 Разбор формулы:

• k (число слагаемых) — число интервалов вариационного ряда.
• n_i — частота i-го интервала (сколько наблюдений в него попало).
• n — объём выборки.
• p_i — оценка вероятности попасть в i-й интервал по проверяемому закону.
• n·p_i — ожидаемая (теоретическая) частота интервала при верном законе.

Как работает: суммируем по всем интервалам квадраты расхождений фактических и теоретических частот, нормированные на ожидаемую частоту. Большое значение статистики = данные плохо согласуются с законом.

Оценка вероятности интервала:

• дискретный закон — вероятность P(a ≤ X ≤ b);
• непрерывный закон — p_i = F(b) − F(a) (разность функции распределения на концах).

Табличное значение: χ²табл по уровню значимости α и числу степеней свободы k − r (r — число оцениваемых параметров). Отклоняем H0, если χ²набл ≥ χ²табл.

Правила подготовки данных (обязательно):

1. Нет пустых интервалов — иначе уменьшаем число интервалов на 1 и пересчитываем.
2. Дискретный закон: целые границы, квадратные скобки.
3. Непрерывный закон: круглые скобки.
4. Левая граница первого интервала → 0 (дискретный) или −∞ (непрерывный); правая граница последнего → +∞.

Критерий Колмогорова

Только для непрерывных величин. λнабл = √n · D, где D = max|F0(x) − F*(x)| (F0 — теоретическая, F* — эмпирическая функция распределения).

Критические значения по уровню α: 0,10 → 1,22; 0,05 → 1,36; 0,02 → 1,52; 0,01 → 1,63. Отклоняем H0, если λнабл ≥ λтабл.

Критерий Жарка-Бера

Только для проверки нормальности. JB = n·(A²/6 + E²/24), где A — выборочная асимметрия, E — выборочный эксцесс. Табличное значение — по таблице хи-квадрат. Отклоняем H0, если JBнабл ≥ JBтабл.

Большой пример: число аварий за 20 суток

Условие. Есть данные о количестве аварий на промышленных объектах за 20 суток. С уровнем значимости α = 0,05 проверить (критерием хи-квадрат) гипотезу о том, что число аварий подчиняется законам: биномиальному, Пуассона (дискретные), равномерному, экспоненциальному, нормальному (непрерывные).

Дано: случайная величина X — количество аварий; объём выборки n = 20; α = 0,05 (5%).

Шаг 1. Ранжирование

Располагаем данные по возрастанию и считаем, сколько раз встречается каждое значение:

Значение	1	2	3	4	5	6	7
Сколько раз	3	3	5	5	0	3	1

Проверка: 3+3+5+5+0+3+1 = 20 — сходится.

Шаг 2. Число интервалов и шаг

Число интервалов по формуле (целая часть):

k = [ 1 + 3,322 · lg n ] = [ 1 + 3,322 · lg 20 ] = [ 1 + 4,322 ] = [ 5,322 ] = 5

📐 Разбор формулы:

• k — число интервалов (всегда целое, поэтому квадратные скобки — целая часть числа).
• n — объём выборки (здесь 20).
• lg n — десятичный логарифм объёма выборки.
• 3,322 — постоянный коэффициент эмпирической формулы Стёрджеса.

Как работает: это готовая эмпирическая формула: чем больше наблюдений, тем больше логарифм и тем больше интервалов нужно, чтобы прилично «разрешить» данные. Квадратные скобки означают целую часть: число интервалов не может быть дробным (например, целая часть от 5,322 — это 5).

Ширина интервала:

h = ( x_max − x_min ) / k = (7 − 1) / 5 = 6/5 = 1,2

📐 Разбор формулы:

• x_max, x_min — наибольшее и наименьшее значения выборки (7 и 1).
• k — число интервалов (5).

Как работает: размах данных (7 − 1) делим поровну на число интервалов — получаем ширину одного интервала.

Шаг 3. Первичный интервальный ряд

Интервалы (правый конец не включаем) и частоты:

Интервал	[1; 2,2)	[2,2; 3,4)	[3,4; 4,6)	[4,6; 5,8)	[5,8; 7]
Частота	6	5	5	0	4

Появился пустой интервал [4,6; 5,8) с частотой 0 — так нельзя. Уменьшаем число интервалов: k = 5 − 1 = 4, новый шаг h = 6/4 = 1,5.

Новый ряд:

Интервал	[1; 2,5)	[2,5; 4)	[4; 5,5)	[5,5; 7]
Частота	6	5	5	4

Пустых интервалов нет — останавливаемся.

Шаг 4. Дискретный и непрерывный варианты ряда

Дискретное распределение (целые границы, первый интервал с 0, последний до +∞):

Интервал	[0; 2]	[3; 3]	[4; 5]	[6; +∞)
Частота	6	5	5	4

Непрерывное распределение (круглые скобки, крайние до ±∞):

Интервал	(−∞; 2,5)	[2,5; 4)	[4; 5,5)	[5,5; +∞)
Частота	6	5	5	4

Шаг 5. Проверка биномиального закона (начало)

Гипотезы: H0 — X распределена по биномиальному закону; H1 — не распределена.

Биномиальный закон: вероятность того, что величина примет значение m, считается по формуле Бернулли:

P(X = m) = C(m, n) · p^m · q^(n−m), q = 1 − p

📐 Разбор формулы:

• n — число испытаний (здесь принимается равным 20).
• m — конкретное число «успехов» (аварий).
• p — вероятность успеха (аварии) в одном испытании; q = 1 − p — вероятность отсутствия аварии.
• C(m, n) — число сочетаний из n по m.

Как работает: формула даёт вероятность ровно m успехов в n независимых испытаниях. C(m, n) учитывает, сколькими способами можно расставить m успехов, p^m — вероятность самих успехов, q^(n−m) — вероятность остальных неудач.

Параметр p неизвестен, но у биномиального закона математическое ожидание M = n·p, а ожидание мы можем оценить как среднее выборочное:

x̄ = ( сумма x_i · n_i ) / n = (1·3 + 2·3 + 3·5 + 4·5 + 5·0 + 6·3 + 7·1) / 20 = 69 / 20 = 3,45

📐 Разбор формулы:

• x_i — значения величины; n_i — их частоты; n — объём выборки.

Как работает: каждое значение умножаем на то, сколько раз оно встретилось, складываем и делим на число наблюдений — получаем выборочную среднюю, то есть оценку математического ожидания (≈ 3,45 аварии в сутки).

Отсюда оценка вероятности успеха:

p = x̄ / n = 3,45 / 20 ≈ 0,173, q = 1 − 0,173 = 0,827

Дальше по формуле Бернулли считаются вероятности отдельных значений (P(X=0) = 0,827²⁰, P(X=1), P(X=2) ≈ 0,186 и т.д.), затем — оценки вероятностей интервалов: для первого интервала [0; 2] это P(X=0) + P(X=1) + P(X=2), для последнего [6; +∞) удобно считать через противоположное событие 1 − P(X ≤ 5). Эти p_i затем подставляются в формулу хи-квадрат.

На этой лекции пример доведён до расчёта вероятностей по биномиальному закону; завершается он на следующей (последней) лекции. Аналогичные действия будут на самостоятельной работе и пригодятся на экзамене.

Что нужно вынести с занятия

• Критерии согласия проверяют гипотезу о законе распределения; во всех логика одна: наблюдаемое ≥ табличного → закон отвергаем.
• Хи-квадрат (Пирсона) — универсальный; df = k − r; обязательная подготовка интервалов (нет пустых, целые/круглые границы, крайние до 0/±∞).
• Колмогоров — только непрерывные; Жарка-Бера — только нормальность.
• Уметь по выборке построить интервальный, дискретный и непрерывный ряды и оценить параметры закона (например, p биномиального через выборочную среднюю).