Входим через Telegram…
Конспект и транскрипт одним файлом
Загрузите его в ChatGPT, Claude или NotebookLM и спрашивайте по занятию: что говорили про задания и сроки, объясни непонятную тему, составь вопросы для повторения.
Занятие распадается на две части. Первая — финал большой темы про «закон больших чисел»: на прошлых занятиях уже разобрали неравенство Маркова, теперь добавляется неравенство Чебышёва и вытекающее из него правило трёх сигм. Вторая часть — это поворот к новому большому разделу: математической статистике. Здесь вводится первое ключевое понятие — вариационный ряд.
Сначала напомним, что делало неравенство Маркова: оно оценивало вероятность того, что неотрицательная случайная величина сама по себе окажется больше некоторого порога — через отношение математического ожидания к этому порогу.
Неравенство Чебышёва устроено иначе. Оно говорит не про саму величину, а про её отклонение от среднего. Отклонение — это разность между значением случайной величины и её математическим ожиданием, причём взятая по модулю (нам не важно, в какую сторону отклонилась — влево или вправо).
Формулировка такая: если у случайной величины X есть конечное математическое ожидание M(X) и конечная дисперсия D(X), то для любого положительного числа ε вероятность того, что отклонение по модулю окажется не меньше ε, не превосходит дисперсии, делённой на ε в квадрате:
вероятность того, что |X − M(X)| ≥ ε, меньше или равна D(X) / ε²
📐 Разбор формулы:
- X — случайная величина с конечными средним и дисперсией;
- M(X) — математическое ожидание (среднее);
- |X − M(X)| — модуль отклонения величины от среднего (в любую сторону);
- ε («эпсилон») — положительный порог отклонения;
- D(X) — дисперсия; ε² — квадрат порога.
Как работает: неравенство ограничивает сверху вероятность большого отклонения от среднего, используя только дисперсию. Чем больше разброс D(X), тем выше шанс заметного отклонения; чем дальше порог ε, тем шанс меньше (делится на ε²). Работает для любого распределения с конечной дисперсией.
🗣 Преподаватель сказал: «Если предыдущее (неравенство Маркова) идёт в большей степени про саму случайную величину и вероятность её принятия определённого значения, то здесь речь про рассеивание — насколько случайная величина отклоняется от математического ожидания».
Это важно понять интуитивно: чем больше дисперсия (то есть чем сильнее величина «разбросана»), тем больше правая часть — значит, тем больше шанс заметного отклонения. И наоборот: маленькая дисперсия гарантирует, что большие отклонения маловероятны. Теорему берём в готовом виде, доказательство не разбираем.
Если в неравенстве Чебышёва взять ε равным трём стандартным отклонениям (3σ, где σ — корень из дисперсии), получится знаменитое правило трёх сигм. Удобнее записывать его «наоборот» — через вероятность того, что отклонение не превзойдёт 3σ:
вероятность того, что |X − M(X)| ≤ 3σ, не меньше 8/9
📐 Разбор формулы:
- X — случайная величина; M(X) — её среднее;
- |X − M(X)| — модуль отклонения от среднего;
- σ («сигма») — среднеквадратичное отклонение (корень из дисперсии); 3σ — три сигмы;
- 8/9 — гарантированная нижняя оценка вероятности (≈ 0,889).
Как работает: это неравенство Чебышёва при ε = 3σ, записанное через противоположное событие. Подставив ε = 3σ, получаем D/ε² = σ²/(9σ²) = 1/9 для большого отклонения, поэтому малое отклонение имеет вероятность не меньше 1 − 1/9 = 8/9. Для нормального распределения доля внутри ±3σ ещё выше — около 99,7 %.
Число 8/9 — это в десятичной записи 0,(8), то есть 0,888… (чистая периодическая дробь), примерно 0,889 или около 89%.
💡 Понятнее: 8/9 здесь — это нижняя оценка, гарантированная для любого распределения с конечной дисперсией. Для конкретного нормального распределения доля значений в пределах ±3σ ещё выше — около 99,7%. Неравенство Чебышёва даёт грубую, но универсальную гарантию, а нормальное распределение «укладывается» в неё с большим запасом.
Геометрически это показывают на кривой Гаусса (графике плотности нормального распределения). Центр — в математическом ожидании (для стандартного распределения оно равно 0, а дисперсия равна σ²). Большинство значений сосредоточено в пределах ±1σ вокруг центра, заметно меньше попадает между 1σ и 2σ и совсем мало — между 2σ и 3σ. За пределами 3σ практически ничего не остаётся.
🗣 Преподаватель сказал: правило трёх сигм используют «для выявления аномалий, выбросов данных» — в экономике и финансах такие выбросы могут говорить о необычном ходе событий или неэффективности рынка и помогают оценивать потенциальные убытки. Финансовой математикой на курсе не занимаемся, но знать смысл правила полезно.
Условие: конфеты упаковывают в коробки весом в среднем 1 кг. Выборочно надо определить средний вес коробок. Сколько коробок нужно исследовать, чтобы с вероятностью 0,95 средний вес отобранных коробок отличался от номинала (1 кг) не более чем на 1 г? Известно, что среднеквадратическое отклонение веса коробки не превышает 0,5 г.
Идея «выборочного метода»: проверять всю партию нереально, поэтому берут несколько коробок и по ним судят о партии. Эту тему статистики ещё будут разбирать подробнее.
Разберём логику решения:
Нам нужна вероятность малого отклонения (|X − M| ≤ ε), а Чебышёв даёт оценку для большого (≥ ε). Поэтому переходим к противоположному событию: вероятность малого отклонения ≥ 1 − D/ε².
Подставляем и требуем, чтобы это было не меньше 0,95:
1 − (0,25 / n) / 1² ≥ 0,95
Отсюда (0,25 / n) ≤ 0,05, то есть n ≥ 0,25 / 0,05 = 5.
⚠️ Уточнение: в ходе занятия арифметику проговаривали с оговорками, но итог однозначный: нужно не менее 5 коробок. На практике берут 6 — с запасом, чтобы быть увереннее.
Смысл результата: проведя предварительное исследование партии, в следующий раз можно заранее рассчитать, сколько изделий взять на контроль (как это делает отдел технического контроля на производстве).
Закон больших чисел в целом — это принцип, сформулированный Колмогоровым: совокупное действие большого числа случайных факторов приводит к результату, почти не зависящему от случая. Иначе: при большом числе случайных величин их средний результат перестаёт быть случайным, становится закономерным и предсказуемым. Центральная предельная теорема — это любое утверждение о том, что при некоторых условиях сумма неограниченно растущего числа слагаемых сводится к нормальному распределению.
➕ Преподаватель не упомянул (точную формулировку отдельных теорем ЗБЧ — Чебышёва, Бернулли): сам закон больших чисел как набор теорем предложено посмотреть самостоятельно по учебнику «чисто познавательно» — на практике курса он почти не используется.
Математическая статистика — логическое продолжение теории вероятностей. Современное определение, которое стоит запомнить:
математическая статистика — это наука о принятии решений в условиях неопределённости
Пример: всероссийская перепись населения собирает характеристики (возраст, уровень зарплаты, образование), чтобы на их основе принимать управленческие решения в масштабе страны. Так же предприниматель не обследует всю партию изделий, а работает с выборкой.
Исследуемый признак (например, выработка рабочего) — это случайная величина X. Его различные значения называются вариантами (обозначаются маленьким x).
Если значений много (в примере — 100 рабочих), по «сырому» массиву ничего не разглядеть. Поэтому выполняют шаги:
Число интервалов m важно выбрать «оптимально»: не слишком большим (прозеваем характерные черты) и не слишком маленьким (группировка станет слишком грубой). Помогает эмпирическая формула Стёрджеса:
m = 1 + 3,322 · lg(n), где n — число вариант (lg — десятичный логарифм)
📐 Разбор формулы:
- m — рекомендуемое число интервалов группировки;
- n — число наблюдений (вариант);
- lg(n) — десятичный логарифм числа n;
- 1 + 3,322·… — эмпирические коэффициенты формулы Стёрджеса.
Как работает: формула подбирает «золотую середину» для числа интервалов: при большем n логарифм растёт медленно, поэтому интервалов добавляется немного. Слишком много интервалов раздробит картину, слишком мало — огрубит. Результат округляют до целого.
Для n = 100: lg 100 = 2, значит m = 1 + 3,322·2 = 1 + 6,644 = 7,644 → округляем до 8 интервалов.
Ширина интервала (шаг, интервальная разность):
h = (xmax − xmin) / m
📐 Разбор формулы:
- h — ширина одного интервала (шаг группировки);
- xmax — наибольшее значение признака; xmin — наименьшее;
- (xmax − xmin) — размах (разброс данных от минимума до максимума);
- m — число интервалов (из формулы Стёрджеса).
Как работает: весь размах данных делят на нужное число интервалов поровну, получая ширину каждого. Так все интервалы становятся одинаковыми, что удобно для построения гистограммы и подсчёта частот.
Разность (xmax − xmin) называют размахом. В примере: (142 − 94)/8 ≈ 6.
Дальше строится таблица. Для каждого интервала считают частоту nᵢ — сколько вариант попало в этот интервал. Относительная частота (частость) ωᵢ = nᵢ/n — доля наблюдений в интервале.
📐 Разбор формулы:
- i — номер интервала; nᵢ — частота: число наблюдений, попавших в i-й интервал;
- n — общее число наблюдений;
- ωᵢ («омега») — относительная частота (частость) i-го интервала;
- ωᵢ = nᵢ/n — доля наблюдений в этом интервале.
Как работает: частота показывает, сколько данных попало в интервал, а частость — какую долю от всех они составляют. Частость — статистический аналог вероятности: она оценивает, насколько часто признак принимает значения из этого интервала.
Два проверочных правила (контроль правильности обработки выборки):
📐 Разбор формул:
- Σ — знак суммы по всем интервалам; nᵢ — частота i-го интервала; n — всего наблюдений;
- ωᵢ — частость i-го интервала;
- Σnᵢ = n — все частоты в сумме дают общее число наблюдений;
- Σωᵢ = 1 — все частости в сумме дают единицу.
Как работает: это проверки правильности обработки выборки. Каждое наблюдение попало ровно в один интервал, поэтому частоты складываются в n, а доли (частости) — в 1. Это аналог условия нормировки Σ pᵢ = 1 для вероятностей: интервалы образуют полную группу.
💡 Понятнее: относительная частота здесь — это статистический аналог вероятности (то самое, что раньше называли статистической вероятностью). Поэтому все частости в сумме и дают единицу — как полная группа.
Накопленная частота — сколько вариант имеют значение признака меньше заданного x; считается нарастающим итогом (3 → 3+7=10 → 10+11=21 → 21+20=41 …). Накопленная частость — отношение накопленной частоты к общему числу наблюдений n. Накопленная частота — это аналог интегральной функции распределения.
Эмпирическая функция распределения Fₙ(x) — относительная частота того, что X принимает значение меньше x; по сути это и есть накопленная частость (эмпирика = опыт, в отличие от теоретической функции распределения, которую раньше считали вероятностным способом).
Вариационный ряд бывает дискретным (отдельные значения, варианты отличаются на постоянную величину — пример: распределение 50 рабочих по 6 тарифным разрядам) и интервальным (значения сгруппированы в интервалы — пример с выработкой 100 рабочих).
Графическое представление:
По графику сразу видна мода (наиболее частое значение) и медиана (по кумуляте), а также в какую сторону смещено распределение.
🗣 Преподаватель сказал: характеристики вариационного ряда (которые очень близки к числовым характеристикам случайных величин) будут разбираться на следующем занятии; разница между «теоретическим» рядом распределения и вариационным рядом — только в источнике данных (расчёт по вероятностям против наблюдений/опыта), а всё остальное аналогично.
На прошлых занятиях разобрали первое из специальных неравенств — неравенство Маркова, которое позволяет решать задачи, связанные с большим числом случайных величин. Пример, который решали: сумма вкладов составляет 6 млн ₽, средний (случайный) вклад — 50 000 ₽; нужно было оценить вероятное число вкладчиков. Получилось не более 800 человек.
Суть Маркова: оценка через отношение математического ожидания к величине порога; речь идёт про саму случайную величину и вероятность принятия ею определённого значения.
Ещё одно важное неравенство — неравенство Чебышёва. Это тоже доказанная теорема, берём её в готовом виде.
Формулировка: если случайная величина X имеет конечное математическое ожидание M(X) и дисперсию D(X), то для любого положительного ε справедливо
P( |X − M(X)| ≥ ε ) ≤ D(X) / ε²
📐 Разбор формулы:
- X — величина с конечными средним и дисперсией; M(X) — среднее;
- |X − M(X)| — модуль отклонения от среднего; ε — положительный порог;
- D(X) — дисперсия; ε² — квадрат порога.
Как работает: неравенство сверху ограничивает вероятность большого отклонения от среднего через дисперсию. Больше разброс — выше шанс отклонения; дальше порог ε — шанс меньше. Верно для любого распределения с конечной дисперсией.
Вероятность того, что отклонение случайной величины от математического ожидания (по модулю) больше положительной величины ε, не превосходит отношения дисперсии к ε².
Отличие от Маркова: отклонение — это разность (X − M(X)), взятая по модулю; неравенство Чебышёва про рассеивание, то есть насколько случайная величина отклоняется от среднего, а не про саму величину. Здесь ε тоже предполагается положительным.
Неравенство Чебышёва позволяет доказать правило трёх сигм. Если случайная величина имеет конечное математическое ожидание и дисперсию, то вероятность того, что она отклонится по абсолютной величине от своего математического ожидания не более чем на три сигмы:
P( |X − M(X)| ≤ 3σ ) ≥ 8/9
📐 Разбор формулы:
- X — величина; M(X) — среднее; |X − M(X)| — модуль отклонения;
- σ — среднеквадратичное отклонение; 3σ — три сигмы; 8/9 — нижняя оценка (≈ 0,889).
Как работает: это неравенство Чебышёва при ε = 3σ через противоположное событие. Подстановка даёт D/ε² = σ²/(9σ²) = 1/9 для большого отклонения, поэтому малое имеет вероятность не меньше 1 − 1/9 = 8/9. Для нормального распределения внутри ±3σ лежит ещё больше — около 99,7 %.
Число 8/9 = 0,(8) ≈ 0,889 (чистая периодическая дробь), то есть почти 89%.
Геометрическая иллюстрация. Нормальное распределение — самое часто встречающееся там, где значение зависит от множества не поддающихся учёту факторов; его график — кривая Гаусса. Для стандартного нормального распределения центр (математическое ожидание) = 0, дисперсия = σ². Наибольшее количество значений сосредоточено в пределах ±1σ от центра; между 1σ и 2σ — заметно (почти втрое) меньше; на 3σ почти всё сходит на нет. В пределах ±3σ лежат практически все значения.
Применение. Правило трёх сигм используют для выявления аномалий и выбросов данных. В экономике и финансах выбросы могут свидетельствовать о необычном ходе событий или неэффективности рынка, помогают оценивать потенциальные убытки. Правило напрямую следует из неравенства Чебышёва.
Условие. Конфеты упаковываются в коробки весом в среднем 1 кг. Выборочным путём нужно определить средний вес коробок. Сколько коробок исследовать, чтобы с вероятностью 0,95 утверждать, что средний вес отобранных коробок отличается от номинала (1 кг) не более чем на 1 г? Установлено, что среднеквадратическое отклонение веса коробки не превышает 0,5 г.
Что значит «выборочным путём». Партия изготовлена, проверить каждую коробку нереально (их очень много). Берут несколько коробок и по ним судят об отклонениях. Часть характеристик уже известна из предыдущих исследований (средний вес 1 кг, σ ≤ 0,5 г).
Дано (всё в граммах, чтобы совпадало с σ):
Дисперсия среднего по выборке делится на число коробок n: используется D/n = σ²/n.
Применение Чебышёва. Само неравенство Чебышёва записано со знаком «больше» (про большое отклонение), а нам нужно малое отклонение. Поэтому идём «от противного», через противоположное событие:
P( |X − M(X)| ≤ ε ) ≥ 1 − D/(n·ε²)
Подставляем числа и требуем ≥ 0,95:
1 − (0,25)/(n · 1²) ≥ 0,95
Преобразуем: переносим, из 1 вычитаем 0,95:
0,25 / n ≤ 0,05
n — величина положительная (это количество коробок), на неё можно домножать без смены знака. Отсюда:
n ≥ 0,25 / 0,05 = 5
Ответ. Нужно взять не менее 5 коробок (то есть как минимум 6 на практике; чем больше — тем увереннее вывод).
Смысл. Проведя предварительное исследование одной партии, для следующей партии можно заранее рассчитать, сколько изделий взять на проверку, чтобы с заданной вероятностью гарантировать нужное отклонение. Именно так контролируют качество продукции (отдел технического контроля, контроль у частных предпринимателей).
(При повторном пояснении подчёркнуто: X — вес коробки, математическое ожидание = номинал; ищем вероятность малого отклонения, поэтому используем вероятность противоположного события, единица минус оценка Чебышёва.)
Два вопроса предложено изучить самостоятельно «чисто познавательно» (на практике курса почти не используются):
Математическая статистика — логическое продолжение теории вероятностей. Исторически теория вероятностей появилась как «математическая игрушка»: математики XV–XVII вв. пытались построить выигрышную стратегию азартной игры — просчитать шансы. Было непонятно, зачем это нужно (вероятность 90% не гарантирует исхода — в 10% событие может не произойти). Только в конце XIX — начале XX в. с развитием математической статистики стало ясно применение.
Определение, которое надо запомнить:
Математическая статистика — это наука о принятии решений в условиях неопределённости.
Пример: всероссийская перепись населения собирает характеристики (возраст, уровень зарплаты, образовательный ценз и др.), чтобы принимать управленческие решения в масштабе страны. Аналогично предприниматель исследует не всю партию изделий целиком, а выборку.
Статистика следует из теории вероятностей: сначала изучали события, затем случайные величины, теперь переходим к статистике. Начинаем с вариационных рядов.
Исследуется некоторый признак X (в примере — выработка на одного рабочего механического цеха в отчётном году в процентах к предыдущему году; обследовано 100 рабочих). Признак — это случайная величина.
Варианты — различные значения признака X; обозначаются маленьким x. В примере 100 значений — это и есть варианты.
Чтобы изучить признак по большому массиву, выполняют шаги:
Шаг 1. Ранжирование вариант — расположить их в определённом порядке, обычно по возрастанию (можно и по убыванию). Из массива выбирают наименьшее и наибольшее значения. В примере: минимум 94, максимум 142.
Шаг 2. Группировка — для больших массивов применяют интервальную группировку: разбивают диапазон на интервалы.
Число интервалов m надо выбрать оптимально: не слишком большим (можно прозевать характерные моменты) и не слишком маленьким (группировка станет слишком грубой). Используется эмпирическая формула Стёрджеса (берётся в готовом виде, установлена опытным путём):
m = 1 + 3,322 · lg n, где n — количество вариант, lg — десятичный логарифм.
📐 Разбор формулы:
- m — рекомендуемое число интервалов; n — число наблюдений (вариант);
- lg(n) — десятичный логарифм n; 1 + 3,322·… — эмпирические коэффициенты Стёрджеса.
Как работает: формула подбирает «золотую середину» для числа интервалов: чем больше данных, тем больше интервалов, но растёт их число медленно (через логарифм). Результат округляют до целого.
Для n = 100: lg 100 = 2, тогда m = 1 + 3,322·2 = 1 + 6,644 = 7,644 → округляем до 8 интервалов.
Ширина (шаг, длина) интервала:
h = (xmax − xmin) / m
📐 Разбор формулы:
- h — ширина интервала (шаг группировки);
- xmax — наибольшее значение признака, xmin — наименьшее;
- (xmax − xmin) — размах данных; m — число интервалов.
Как работает: размах данных делят на число интервалов поровну, получая одинаковую ширину каждого. Это удобно для построения гистограммы и подсчёта частот.
Разность (xmax − xmin) называется размах. В примере: (142 − 94)/8 ≈ 6.
Строится таблица со столбцами:
📐 Разбор формулы:
- i — номер интервала; nᵢ — частота (число наблюдений в i-м интервале);
- n — общее число наблюдений; ωᵢ («омега») — относительная частота (частость);
- ωᵢ = nᵢ/n — доля наблюдений в интервале.
Как работает: частота показывает, сколько данных в интервале, а частость — какую долю от всех они составляют. Частость — статистический аналог вероятности: оценивает, насколько часто признак попадает в этот интервал.
Проверочные суммы:
📐 Разбор формул:
- Σ — сумма по всем интервалам; nᵢ — частота интервала; n — всего наблюдений; ωᵢ — частость;
- Σnᵢ = n — частоты в сумме дают общее число наблюдений;
- Σωᵢ = 1 — частости в сумме дают единицу.
Как работает: это проверки правильности обработки выборки. Каждое наблюдение попало ровно в один интервал, поэтому частоты складываются в n, а доли — в 1. Это аналог условия нормировки Σ pᵢ = 1: интервалы образуют полную группу.
Эти суммы нужны для проверки правильности обработки выборки. По смыслу относительная частота — аналог статистической вероятности.
Накопленная частота — это аналог функции распределения, появляется эмпирическая функция распределения Fₙ(x):
Fₙ(x) = относительная частота того, что X принимает значение меньше x.
Это и есть накопленная частость (эмпирика = опыт). В отличие от теоретического ряда распределения (который получают вероятностным способом — расчётом по законам), вариационный ряд получают из наблюдений (из опыта), но принцип близкий.
Вариационный ряд — это ранжированный (в порядке возрастания/убывания) ряд вариант с соответствующими им частотами (и относительными частотами). Он выглядит как ряд распределения. Бывает двух видов:
Два типа ряда — два типа графиков:
Полигон частот — для дискретного ряда. На координатную плоскость наносят точки с координатами (xᵢ, nᵢ) — варианта и её частота — и соединяют ломаной линией. Может строиться по частотам или относительным частотам. В примере 2 (тарифные разряды): по горизонтали — разряд, по вертикали — число рабочих (частота) или относительная частота. По полигону видна мода — наиболее частое значение — и направление смещения распределения.
Гистограмма (столбиковая диаграмма) — для интервального ряда. Это ступенчатая фигура из прямоугольников: основание каждого прямоугольника равно шагу (ширине интервала), а высота — частоте nᵢ или относительной частоте ωᵢ. Если соединить середины верхних оснований ломаной линией, получится полигон (показывается пунктиром). На гистограмме также выделяется мода.
Кумулята (кумулятивная кривая) — кривая накопленных частот или частостей. По основанию — шаг/ширина интервала, по высоте — накопленная частота или частость. Соединив концы, получают кумуляту. По ней видна медиана. Кумулята наглядно показывает эмпирическую функцию распределения (для дискретного ряда — ступеньками, для интервального — по полученным интервалам).
Разобраны основные определения статистики: признак и варианты, ранжирование, интервальная группировка (формула Стёрджеса, ширина интервала, размах), частота и относительная частота, накопленные частота и частость, эмпирическая функция распределения; виды вариационных рядов (дискретный, интервальный) и их графическое представление (полигон, гистограмма, кумулята).
На семинаре предстоит обрабатывать конкретный массив данных и получать вариационный ряд. Характеристики вариационного ряда (близкие к числовым характеристикам случайных величин) будут разбираться на следующем занятии.
Загружаю транскрипт…