Лекция 13 — Точечные и интервальные оценки параметров. Доверительные интервалы

Зачем вообще нужны оценки

В статистике мы изучаем какую-то характеристику большого множества объектов. Всё это множество называется генеральной совокупностью. На практике обследовать её целиком почти никогда не получается, поэтому из неё случайно отбирают часть объектов — выборку — и по выборке судят о всей генеральной совокупности. Чтобы выборка позволяла делать верные выводы, она должна быть репрезентативной, а главное условие репрезентативности — случайность отбора.

Оценка параметра — это задача приближённо определить интересующий нас параметр генеральной совокупности (математическое ожидание, дисперсию, моду, медиану и т.д.) по данным выборки.

🗣 Преподаватель сказал: статистика нужна, чтобы принимать управленческие решения, не обследуя всё множество объектов. Пример: пришла большая партия яблок; вы берёте небольшую выборку, оцениваете степень зрелости каждого яблока и по выборке заключаете, что, скажем, около 70% яблок в партии спелые — при этом всю партию вы не трогали.

Точечные оценки

Точечная оценка — это одно число, приближённо равное оцениваемому параметру. Параметр обозначают $\theta$, а его оценку — $\tilde{\theta}$ (тэта с волной).

К хорошей оценке предъявляют три требования:

• Несмещённость — математическое ожидание оценки равно самому оцениваемому параметру (оценка в среднем «не промахивается» в одну сторону).
• Эффективность — у оценки минимально возможная дисперсия (среди всех оценок она колеблется меньше всех).
• Состоятельность — при росте объёма выборки ($n \to \infty$) оценка по вероятности стремится к оцениваемому параметру. По сути здесь работают законы больших чисел.

Конкретные точечные оценки, которые мы используем:

• Выборочное среднее $\bar{x}$ — это та самая средняя арифметическая; она оценивает генеральное среднее.
• Выборочная дисперсия $S^2$ — оценивает генеральную дисперсию $\sigma^2$ (по генеральной совокупности дисперсию обозначают $\sigma^2$, по выборке — $S^2$).
• Выборочное среднеквадратическое отклонение $S = \sqrt{S^2}$ — оценивает генеральное $\sigma$.

📐 Разбор формулы:

• S — выборочное среднеквадратическое отклонение;
• S² — выборочная дисперсия; √ — квадратный корень;
• σ — генеральное среднеквадратическое отклонение, которое S оценивает.

Как работает: из выборочной дисперсии S² (она в квадрате размерности) извлекают корень, возвращаясь к единицам признака. Полученное S служит приближённой оценкой неизвестного σ всей генеральной совокупности.

⚠️ Уточнение: если объём выборки малый, вместо обычной дисперсии берут исправленную. Отличие только в знаменателе: в обычной дисперсии сумма квадратов отклонений делится на $n$, а в исправленной — на $n-1$. Поправка маленькая, но существенная.

📐 Разбор формулы:

• сумма квадратов отклонений Σ(xᵢ − x̄)² — в числителе обеих формул;
• n — объём выборки (знаменатель обычной дисперсии S²);
• n − 1 — знаменатель исправленной дисперсии (на единицу меньше).

Как работает: обычная выборочная дисперсия немного занижает истинный разброс, потому что отклонения считаются от выборочной средней, а не от настоящей генеральной. Деление на n − 1 (а не на n) компенсирует это занижение. При малых n поправка заметна, при больших — почти не влияет.

💡 Понятнее: среднее показывает «типичное» значение признака, дисперсия — насколько сильно значения разбросаны вокруг среднего, а среднеквадратическое отклонение — тот же разброс, но в исходных единицах величины (рублях, процентах). Для яблок: среднее — доля спелых, отклонение — на сколько процентов реальная доля может отличаться от этой средней.

Интервальные оценки

Точечная оценка — это всего лишь одно число, и она ничего не говорит о том, насколько мы в ней уверены. Интервальная оценка (доверительный интервал) указывает целый промежуток от $A$ до $B$, в который оцениваемый параметр попадает с заданной доверительной вероятностью $\gamma$.

Стандартные значения доверительной вероятности: 0,9; 0,95; 0,99 — именно под них построены таблицы.

🗣 Преподаватель сказал: разница между точечной и интервальной оценкой такая. Сказать «около 70% яблок спелые, плюс-минус 10%» — это про разброс, без всякой вероятности. А доверительный интервал утверждает: с вероятностью, например, 95% истинная доля лежит в таком-то промежутке. Поэтому интервальная оценка считается более достоверной. Но без точечной оценки её не построить — они связаны.

Виды интервалов

• Двусторонний — параметр находится между двумя границами: $A < \theta < B$.
• Правосторонний — интервал от $-\infty$ до $B$, то есть утверждаем $\theta < B$.
• Левосторонний — интервал от $A$ до $+\infty$, то есть утверждаем $\theta > A$.

💡 Понятнее: «правый» и «левый» здесь означают, с какой стороны у интервала есть конечная граница, а с другой — бесконечность. Правосторонний ограничивает параметр сверху, левосторонний — снизу.

Квантиль и работа с таблицей

Чтобы посчитать границы по готовой формуле, нужен квантиль — значение случайной величины, меньше которого она оказывается с заданной вероятностью $\gamma$. Все таблицы (мы пользуемся таблицей 2, это значения функции Лапласа) построены для одностороннего квантиля: внутри таблицы ищем нужную вероятность, а на пересечении строки и столбца читаем сам квантиль.

⚠️ Уточнение: в таблице есть только односторонний квантиль $x_\gamma$. Двусторонний квантиль пересчитывается из одностороннего: для двустороннего уровня $\gamma$ берут односторонний квантиль уровня $\dfrac{\gamma+1}{2}$. Например, двусторонний уровня 0,95 — это односторонний уровня $\dfrac{0{,}95+1}{2}=0{,}975$, которому в таблице соответствует значение $1{,}96$.

📐 Разбор формулы:

• γ («гамма») — доверительная вероятность (двусторонний уровень);
• (γ+1)/2 — уровень одностороннего квантиля, который ищут в таблице;
• x_γ — сам квантиль (читается на пересечении строки и столбца таблицы).

Как работает: двусторонний интервал отсекает «хвосты» симметрично с обеих сторон, поэтому за пределами интервала остаётся вероятность (1 − γ), делящаяся пополам. Чтобы воспользоваться таблицей одностороннего квантиля, накопленную слева вероятность пересчитывают: (γ+1)/2. Для γ = 0,95 это 0,975, а соответствующий квантиль — 1,96.

🗣 Преподаватель сказал: пользуйтесь именно нашими таблицами — в разных учебниках они оформлены по-разному. И если нужное число в таблице оказывается между двумя соседними значениями, договоримся брать то, что в таблице меньше.

Какие интервалы мы строим

Готовый справочник даёт формулы для разных случаев, и в каждой прямо указано, какую таблицу использовать:

• математическое ожидание нормальной совокупности, когда дисперсия известна;
• математическое ожидание нормальной совокупности, когда дисперсия неизвестна;
• математическое ожидание произвольной совокупности;
• дисперсия нормальной совокупности;
• вероятность (доля), когда объём генеральной совокупности неизвестен / известен.

Формулы берутся без вывода — задача в том, чтобы правильно распознать случай по условию, найти квантиль и подставить данные.

Микроконтроль: о чём предупредили

Микроконтроль назначен на 25 мая и проходит по теме выборочного метода: основные понятия и оценка параметров. В тесте будут задания именно по оценке параметров — то, что разбирается на этом занятии и чего ещё не было на семинаре. На контроле разрешено пользоваться статистическими таблицами и справочным списком формул (его выдадут отдельным файлом — можно скачать и распечатать).

1. Напоминание о выборочном методе

• Генеральная совокупность — всё множество объектов, подлежащих обследованию. С ней, как правило, не работают.
• Выборочная совокупность (выборка) — часть объектов, определённым образом отобранных из генеральной; обследуют именно их и по ним судят о генеральной совокупности.
• Выборка должна быть репрезентативной, а главное — случайной. Виды выборок и способы отбора разбирались ранее.

2. Оценка параметров

Оценка параметров — задача приближённо определить параметры генеральной совокупности (мат. ожидание, дисперсию, моду, медиану и т.д.) по данным выборки. Оценки бывают точечные и интервальные.

Точечные оценки

Точечная оценка — это число, приближённо равное оцениваемому параметру. Обозначение: параметр $\theta$, его оценка $\tilde{\theta}$.

Свойства (требования) к точечной оценке:

1. Несмещённость — мат. ожидание оценки равно оцениваемому параметру.
2. Эффективность — оценка имеет минимально возможную дисперсию.
3. Состоятельность — при $n \to \infty$ оценка стремится по вероятности к оцениваемому параметру (работают законы больших чисел).

Конкретные оценки:

• Выборочное среднее $\bar{x}$ (средняя арифметическая) — оценка генерального среднего.
• Выборочная дисперсия $S^2$ — оценка генеральной дисперсии $\sigma^2$ (по выборке — $S^2$, по генеральной — $\sigma^2$).
• При малом объёме выборки используют исправленную дисперсию: сумма квадратов отклонений $\sum(x_i-\bar{x})^2$ делится на $n-1$ (а не на $n$).

📐 Разбор формулы:

• Σ(xᵢ − x̄)² — сумма квадратов отклонений значений от выборочной средней;
• n — объём выборки (знаменатель обычной дисперсии);
• n − 1 — знаменатель исправленной дисперсии.

Как работает: обычная дисперсия немного занижает истинный разброс, так как отклонения берутся от выборочной средней, а не от настоящей генеральной. Деление на n − 1 компенсирует это. При малых n поправка заметна, при больших — почти не влияет.

• Выборочное среднеквадратическое отклонение $S=\sqrt{S^2}$ — оценка генерального $\sigma$.

📐 Разбор формулы:

• S — выборочное среднеквадратическое отклонение; S² — выборочная дисперсия; √ — корень; σ — генеральное отклонение.

Как работает: из дисперсии S² (она в квадрате размерности) извлекают корень, возвращаясь к единицам признака. S служит оценкой неизвестного σ генеральной совокупности.

Точечные оценки считают по вариационному ряду (предобработанной выборке) — так, как уже делалось при разборе характеристик вариационного ряда.

Интервальные оценки

Интервальная оценка — числовой промежуток, в который попадает оцениваемый параметр с доверительной вероятностью $\gamma$. Стандартные значения $\gamma$: 0,9; 0,95; 0,99.

Запись смысла: интервал $(A;B)$ с вероятностью $\gamma$ покрывает истинное значение параметра, то есть параметр с вероятностью $\gamma$ находится внутри интервала. Интервальная оценка достовернее точечной, но строится через неё.

Виды доверительных интервалов:

• двусторонний — $A<\theta<B$;
• правосторонний — от $-\infty$ до $B$ ($\theta<B$);
• левосторонний — от $A$ до $+\infty$ ($\theta>A$).

Квантиль

Квантиль — значение случайной величины, меньше которого она оказывается с заданной вероятностью $\gamma$. Все таблицы (таблица 2, функция Лапласа) построены для одностороннего квантиля.

Пересчёт двустороннего квантиля из одностороннего: двусторонний квантиль уровня $\gamma$ равен одностороннему квантилю уровня $\dfrac{\gamma+1}{2}$.

📐 Разбор формулы:

• γ («гамма») — доверительная вероятность (двусторонний уровень);
• (γ+1)/2 — уровень одностороннего квантиля, который ищут в таблице.

Как работает: двусторонний интервал симметрично отсекает «хвосты» с обеих сторон, за его пределами остаётся вероятность (1 − γ), делящаяся пополам. Чтобы воспользоваться таблицей одностороннего квантиля, накопленную слева вероятность пересчитывают: (γ+1)/2. Для γ = 0,95 это 0,975 → квантиль 1,96.

Пример: двусторонний уровня 0,95 $;\to;$ односторонний уровня $\dfrac{0{,}95+1}{2}=0{,}975$ $;\to;$ по таблице $1{,}96$.

Правило: если нужное значение лежит между двумя соседними в таблице, берём меньшее табличное.

Доверительные интервалы строятся по готовым формулам из справочника (без вывода) для разных случаев: мат. ожидание нормальной совокупности (дисперсия известна / неизвестна), мат. ожидание произвольной совокупности, дисперсия нормальной совокупности, вероятность (доля) при известном / неизвестном объёме генеральной совокупности.

3. Задача 1 — средние издержки (нормальное распределение, σ известна)

Условие. Средние дневные эксплуатационные издержки производства вычислены по выборке из 100 однородных фирм и составили 1000 (тыс. руб.). Данные имеют нормальное распределение со стандартным отклонением 40 (тыс. руб.). Построить двусторонний, право- и левосторонний 95% доверительные интервалы для средних издержек.

Что дано:

• объём выборки $n=100$;
• $X$ — дневные эксплуатационные издержки, выборочное среднее $\bar{x}=1000$;
• распределение нормальное;
• $\sigma=40$ — это генеральное стандартное отклонение (в условии сказано «со стандартным отклонением», про выборку не упомянуто; если бы было «по данным выборки получено», брали бы $S$);
• $\gamma=0{,}95$.

Случай — доверительный интервал для математического ожидания нормальной совокупности при известной дисперсии.

Двусторонний интервал. Нужен двусторонний квантиль уровня 0,95 = односторонний уровня 0,975 $\to$ по таблице 2 это $1{,}96$.

Границы: $\bar{x}\mp 1{,}96\cdot\dfrac{\sigma}{\sqrt{n}} = 1000 \mp 1{,}96\cdot\dfrac{40}{\sqrt{100}}$.

📐 Разбор формулы:

• x̄ — выборочное среднее (центр интервала);
• 1,96 — двусторонний квантиль уровня 0,95 (из таблицы);
• σ — генеральное стандартное отклонение; n — объём выборки;
• σ/√n — стандартная ошибка среднего (разброс самого среднего по выборкам);
• ∓ — границы получают вычитанием и прибавлением.

Как работает: это доверительный интервал для матожидания при известной дисперсии. Среднее по выборке колеблется вокруг истинного со «стандартной ошибкой» σ/√n: чем больше выборка, тем она меньше. Квантиль 1,96 задаёт, на сколько таких ошибок отступить от центра, чтобы накрыть истинное значение с вероятностью 95 %.

Получается интервал примерно (992,16; 1007,84) — с вероятностью 95% средние издержки лежат в этих пределах.

Правосторонний интервал. Берём односторонний квантиль уровня 0,95 непосредственно из таблицы $\to$ $1{,}64$.

$a < 1000 + 1{,}64\cdot\dfrac{40}{\sqrt{100}} = 1006{,}56$.

Левосторонний интервал. Тот же квантиль $1{,}64$, но со знаком минус:

$a > 1000 - 1{,}64\cdot\dfrac{40}{\sqrt{100}} = 993{,}44$.

⚠️ Сравните: в одностороннем интервале граница чуть «ближе» к среднему, чем в двустороннем, потому что с другой стороны интервал уходит в бесконечность.

4. Задача 2 — средний доход (произвольное распределение, известна выборочная дисперсия)

Условие. Данные о распределении доходов Уральского региона (январь–сентябрь 2012). Средний доход по 25 наблюдениям составил 24,3 (тыс. руб.) при среднеквадратическом отклонении 2,6 (тыс. руб.). Построить 95% двусторонний и 99% односторонние доверительные интервалы для среднего дохода.

Что дано:

• $n=25$ (это выборка — обследовали не всё население);
• $\bar{x}=24{,}3$;
• $S=2{,}6$ — это выборочное отклонение («по 25 наблюдениям… при среднеквадратическом отклонении» — значит, по наблюдениям);
• про нормальность распределения ничего не сказано;
• $\gamma_1=0{,}95$ (двусторонний), $\gamma_2=0{,}99$ (односторонние).

Случай — доверительный интервал для математического ожидания произвольной совокупности (распределение неизвестно, дисперсия известна только выборочная). В формуле уже стоит $M(X)$.

Двусторонний интервал (95%). Двусторонний квантиль уровня 0,95 = односторонний 0,975 $\to$ $1{,}96$.

Границы: $24{,}3 \mp 1{,}96\cdot\dfrac{2{,}6}{\sqrt{25}}$.

Получается примерно (23,281; 25,319) — с вероятностью 95% средний доход населения региона в этих пределах.

Правосторонний интервал (99%). Односторонний квантиль уровня 0,99 $\to$ по таблице 2 это $2{,}33$.

$M(X) < 24{,}3 + 2{,}33\cdot\dfrac{2{,}6}{\sqrt{25}} \approx 25{,}512$.

Левосторонний интервал (99%). Тот же квантиль $2{,}33$:

$M(X) > 24{,}3 - 2{,}33\cdot\dfrac{2{,}6}{\sqrt{25}} \approx 23{,}088$.

5. Задача 3 — доля покупателей (интервал для вероятности)

Условие. Обследовано 160 покупателей по поводу того, подвержены ли они влиянию рекламы. Оказалось, что 92 покупателя принимают решения о покупке самостоятельно. Построить 95% доверительные интервалы для доли покупателей, зависимых от рекламы.

Что дано:

• $n=160$;
• объём генеральной совокупности неизвестен $\Rightarrow$ берём формулу для доли при неизвестном объёме генеральной совокупности;
• доля — это, по сути, вероятность (частота).

Выборочная доля. Самостоятельно решают 92 человека, значит, зависимы от рекламы $160-92=68$. Тогда выборочная доля зависимых:

$w = \dfrac{68}{160} = 0{,}425$.

Квантиль. Двусторонний уровня 0,95 = односторонний 0,975 $\to$ $1{,}96$ (тот же, что и раньше, из таблицы 2).

Двусторонний интервал. Границы:

$0{,}425 \mp 1{,}96\cdot\sqrt{\dfrac{0{,}425,(1-0{,}425)}{160}}$.

📐 Разбор формулы:

• w — выборочная доля (здесь 0,425), центр интервала;
• 1,96 — двусторонний квантиль уровня 0,95;
• w(1−w) — числитель под корнем (разброс доли наибольший при w = 0,5);
• n — объём выборки (здесь 160);
• √(w(1−w)/n) — стандартная ошибка доли.

Как работает: это доверительный интервал для доли (вероятности). Стандартная ошибка доли √(w(1−w)/n) показывает, насколько выборочная доля может отклоняться от истинной. Квантиль 1,96 задаёт ширину 95 %-го интервала вокруг w. Чем больше выборка n, тем уже интервал.

Получается, что доля зависимых от рекламы покупателей лежит примерно от 34% до 50% (с вероятностью 95%).

🗣 Преподаватель сказал: на это и ориентируется рекламодатель — какая доля покупателей реально зависит от рекламы. Односторонние интервалы здесь не считали (не хватило времени), но формулы для них есть в справочнике, и на семинаре их нужно будет отработать.

Итог занятия

• Точечные оценки — считаются по вариационному ряду (выборочное среднее, выборочная/исправленная дисперсия, среднеквадратическое отклонение); должны быть несмещёнными, эффективными, состоятельными.
• Интервальные оценки — доверительные интервалы (двусторонние и односторонние), считаются по готовым формулам с квантилем из таблицы 2; достовернее точечных, но строятся через них.
• На микроконтроле будут задачи такого же типа; разрешены таблицы и справочный список формул. В части задач сначала нужно будет самостоятельно посчитать выборочные среднее, дисперсию и отклонение, а затем строить доверительный интервал.