Проверка статистических гипотез: основные понятия и примеры

• Статистические гипотезы: основные понятия. Шаги проверки гипотез
• Статистические гипотезы: основная и альтернативная
• Статистические критерии для проверки гипотез
• Уровень значимости α, ошибки первого и второго рода
• Нахождение границ области принятия гипотезы
• Вывод о принятии или отвержении основной гипотезы
• Проверка гипотезы о среднем генеральной совокупности
• Проверка гипотезы о виде закона распределения выборки
• Проверка гипотезы об однородности выборок

Статистические гипотезы: основные понятия. Шаги проверки гипотез

Статистическая гипотеза - это некоторое предположение о свойствах генеральной совокупности, которое необходимо проверить. Статистические гипотезы выдвигаются, когда необходимо проверить, является ли наблюдаемое явление элементом случайности или результатом воздействия некоторых мероприятий.

Например, необходимо выяснить, значительно ли отличается средний объём продаж после проведения рекламной кампании от среднего объёма продаж после проведения рекламной кампании. Если ответ на этот вопрос положителен, то можно сделать вывод о том, что изменения являются результатом рекламной кампании.

Выводы, полученные путём проверки статистических гипотез, носят вероятностный характер: они принимаются с некоторой вероятностью. Статистическая гипотеза может быть также предположением о свойствах двух совокупностей, если, например, в ходе мероприятий имело место воздействие только на одну совокупность и необходимо сделать вывод о том, было ли это воздействие результативным.

Шаги проверки статистических гипотез следующие:

• формулируется основная гипотеза H0 и альтернативная гипотеза H1;
• выбирается статистический критерий, с помощью которого будет проверяться гипотеза;
• задаётся значение уровня значимости α;
• находятся границы области принятия гипотезы;
• делается вывод о принятии или отвержении основной гипотезы H0.

Рассмотрим эти шаги и связанные с ними понятия подробнее.

Статистические гипотезы: основная и альтернативная

Основная гипотеза H0 - предположение о свойствах генеральной совокупности, которое является логичным и правдоподобным, но требует проверки. Основная гипотеза обладает "презумпцией невиновности", или точнее "презумпцией справедливости": пока не доказано, что её утверждение ложно, она считается истинной.

Альтернативная гипотеза H1 - утвержление о свойствах генеральной совокупности, которое принимается в случае, когда нет возможности принять основную гипотезу.

Приведём примеры того, как формулируются основная и альтернативная гипотезы.

Статистические критерии для проверки гипотез

Статистический критерий - статистическая характеристика выборки, вычисляемая по некоторому математическому соотношению (формуле) на основе данных, имеющихся в выборке.

По значению этой характеристики принимается решение, принимать основную гипотезу или нет. Статистические критерии бывают двух видов:

• односторонний критерий - критерий, значения которого принадлежат области (0; +∞);
• двусторонний критерий - критерий, значения которого принадлежат области (-∞; +∞).

Свойства статистического критерия:

• статистический критерий является случайной величиной, закон распределения которой известен. Зачастую в названии статистического критерия упоминается его закон распределения. Например, критерий хи-квадрат-Пирсона подчиняется закону распределения хи-квадрат;
• чем ближе значение статистического критерия к нулю, тем более вероятно, что основная гипотеза является верной.

Уровень значимости α, ошибки первого и второго рода

Уровень значимости α - это вероятность ошибки первого рода. Значение уровня значимости обычно достаточно малое и задаётся аналитиком, проверяющим гипотезу. Чаще всего принимает значения 0,01 (1%), 0,05 (5%) и 0,1 (10%).

При проверке гипотезы всегда существует вероятность того, что будет сделано ошибочное заключение. Существуют два рода ошибки.

Ошибка первого рода - отвержение основной гипотезы при том, что она верна.

Ошибка второго рода - принятие основной гипотезы при том, что она ложна.

Со значением уровня значимости связано значение уровня доверия p.

Уровень доверия p - вероятность принятия верной гипотезы. Помним: пока не доказано, что основная гипотеза H0 является ложной, мы считаем её верной. Поэтому уровень значимости будет определять вероятность принятия основной гипотезы. Если уровень значимости α - вероятность отвержения верной гипотезы, то вероятность принятия верной гипотезы: p = 1 - α.

Аналитик сам управляет ошибкой первого рода - задаёт вероятность её наступления. Ошибкой второго рода он управлять не может - всегда существует вероятность того, что может быть принята неверная гипотеза. Поэтому, чтобы избежать нежелательных последствий от принятия неверной гипотезы, основная гипотеза формулируется таким образом, чтобы риск от последствий принятия неверной гипотезы был минимальным.

По причинам, которые мы выяснили в примере 3, статистические гипотезы часто формулируются следующим образом: "статистическая значимость между факторами незначима", "выборки незначимо отличаются по своим свойствам", "фактор не имеет значимого влияния на исследуемый процесс".

Нахождение границ области принятия гипотезы

Область принятия гипотезы (ОПГ) - подмножество таких значений критерия, при которых основная гипотеза не может быть отвергнута. Область принятия гипотезы всегда включает в себя значение 0.

Критическая область - подмножество таких значений критерия, при которых основная гипотеза не может быть принята.

В случае, если используется односторонний критерий, ОПГ включает в себя подмножество положительных значений критерия. В таком случае у критерия есть только одна критическая область.

В случае, если используется двусторонний критерий, который может принимать как положительные, так и отрицательные значения, у него имеются две критические области: подмножество отрицательных и подмножество положительных значений критерия, при которых гипотеза не может быть принята.

На этом шаге требуется найти такое подмножество значений критерия, к которому значение выбранного критерия будет принадлежать с вероятностью p. Точнее, необходимо найти крайние значения критерия в этом подмножестве.

Поэтому процедура нахождения границ области принятия гипотезы сводится к решению следующей задачи:

P{R'<R<R''}=1-α,

где

P{R'<R<R''} -

вероятность того, что значения критерия принадлежат области принятия гипотезы,

R' и R'' -

левое и правое критические значения области принятия гипотезы (критические точки).

Из этого получаем:

То есть задача решается путём взятия обратной функции от прямой функции распределения.

Обратным значением функции распределения с аргументом b является такое значение случайной величины a, при котором выполняется следующее условие:

.

В таком случае a называется квантилью функции распределения уровня b. Если левая и правые границы области - 1/4 и 3/4, то квантиль называется квартилью, если левая и правая границы области представляют собой дроби со знаменателем 10, то квантили называются децилями (понятия квартили, децилей, квинтилей и процентилей рассмотрены на уроке характеристики выборки и генеральной совокупности).

В случае с односторонним критерием получаем следующую формулу для нахождения критической точки:

.

Вне зависимости от типа критерия для того, чтобы найти квантили функции распределения, которому подчиняется критерий, необходимо знать параметры этой функции (например, если критерий подчиняется нормальному закону, то его параметрами являются математическое ожидание и стандартное отклонение). Значение параметров оценивается на выборках.

Вывод о принятии или отвержении основной гипотезы

В случае, если значение критерия, найденное на выборочных значениях наблюдений принадлежит области принятия гипотезы, делается вывод о том, что нет возможности отвергнуть основную гипотезу.

В случае, если критерий принадлежит критической области, делается вывод о том, что нет возможности принять основную гипотезу. В таком случае принимается альтернативная гипотеза.

На рисунке ниже синим цветом изображена ось всевозможных значений критерия R, другие обозначения иллюстрируют попадание значения критерия в область принятия гипотезы или критическую область.

Для того, чтобы быть в большей степени уверенности в своих суждениях о верности или неверности гипотезы, предпочитают применять несколько критериев и сравнивать результаты. Если в нескольких случаях критерий не смог попасть в область принятия гипотезы, то говорят, что получили согласованный результат и скорее всего гипотеза является ложной.

Проверка гипотезы о среднем генеральной совокупности

Часто бывает необходимо проверить, значимо ли отличается средний показатель совокупности от некоторого заданного значения, например, стандарта. В этом случае основная и альтернативная гипотезы могут быть записаны так:

;

.

При проверке гипотезы о среднем выборки в качестве статистического критерия часто применяется t-критерий Стьюдента, однако следует помнить, что этот критерий применим лишь тогда, когда данные выборки подчиняются нормальному закону распределения. Критические значения критерия, соответственно выбранному уровню значимости α и степени свободы v можно найти в приложениях книг по статистике, а если гипотеза проверяется с помощью компьютерной программы, например, STATISTICA, то программа выбирает его.

Нулевую гипотезу нет возможности отвергнуть с вероятностью P = 1 - α, если , где

- среднее выборки,

- некоторое заданное среднее значение, например, стандарт,

s - стандартное отклонение,

n - мощность выборки,

- критическое значение t-критерия Стьюдента.

В исследованиях нередки случаи необходимости сравнения средних в группах, одну из которых можно назвать "нормальной", а другую - далекой от "нормы", то есть нужно провести сравнение двух групп.

Проверка гипотезы о виде закона распределения выборки

Цель проверки гипотезы о виде закона распределения выборки - подобрать к распределению выборки известное теоретическое распределение и сделать вывод о распределении всей генеральной совокупности.

Статистические гипотезы для этой проверки формулируются следующим образом.

Основная гипотеза H0: распределение выборки незначимо отличается от предполагаемого (нормальное, экспоненциальное и др.).

Альтернативная гипотеза H1: распределение выборки значимо отличается от предполагаемого.

Критерий согласия показывает степень отличия эмпирической функции распределения (то есть значения, полученного из выборки) от гипотетической (теоретической, то есть предполагаемой до наблюдения). Чем меньше значение критерия, тем больше степень похожести эмпирического и теоретического распределений.

Применяются критерий хи-квадрат Пирсона и критерий Колмогорова-Смирнова. Однако существуют ограничения этих критериев. Для критерия хи-квадрат: в каждом интервале должно быть не менее 10 наблюдений. Для критерия Колмогорова-Смирнова: объём выборки должен быть более 50.

Формула оценки значения критерия хи-квадрат Пирсона:

,

где

m - число интервалов,

ai - число попаданий наблюдений в i-й интервал,

n - мощность выборки,

pi - вероятность попадания элемента в i-й интервал.

Число степений свободы df - число независимых элементов информации, используемых для вычисления стандартной ошибки.

Значение критерия Колмогорова-Смирнова рассчитывается следующим образом:

,

где

- эмпирическая функция распределения,

- теоретическая функция распределения.

Область принятия гипотезы:

,

где n - мощность выборки,

,

где α - уровень значимости.

Даже при проверке статистической гипотезы на компьютере область принятия гипотезы в этом случае нужно рассчитывать самостоятельно.

Существует также приближенный метод проверки гипотезы о нормальном распределении, который рассмотрен в статье о нормальном распределении.

Проверка гипотезы об однородности выборок

Существует два вида гипотез об однородности выборок. Может быть проверена однородность выборок "в слабом": выборки однородны "в слабом", если незначимо отличаются их параметры, прежде всего, среднее. Может быть проверена однородность выборок "в сильном": выборки однородны "в сильном", если незначимо отличаются их законы распределения.

С помощью критерия Стьюдента проверяется гипотеза об однородности выборок "в слабом". В этом случае основная гипотеза формулируется следующим образом: математическое ожидание первой выборки незначимо отличается от математического ожидания второй выборки. Формально это записывается так: .

Критерий рассчитывается по формуле:

где μ1 и μ2 - математические ожидания первой и второй выборок размерами n1 и n2 соответственно (в качестве оценок математических ожиданий берутся значения средних первой и второй выборок);

и - дисперсии первой и второй выборок;

df = n1 + n2 - 2 - число степеней свободы.

Критерий может принимать значения от минус бесконечности до плюс бесконечности. Чем ближе значения критерия к нулю, тем больше вероятность, что основная гипотеза будет верной (при этом знак не имеет значения).

Пусть задано значение уровня значимости α = 0,05. Тогда критерий будет принимать значения в области принятия гипотезы с вероятностью p = 1 - α (эта вероятность называется уровнем доверия). Вероятность того, что критерий примет значения меньшие, чем значение левой критической точки области принятия гипотезы равна α/2, а вероятность того, что критерий примет значение, меньшее, чем значение правой критической точки 1 - α/2. Значением левой критической точки области принятия гипотезы будет являться квантиль распределения Стьюдента уровня α/2 с df степенями свободы. Значением правой критической точки области принятия гипотезы будет выступать квантиль распределения Стьюдента уровня 1 - α/2 с тем же числом степеней свободы.

При проверке гипотезы об однородности выборок с помощью критерия Стьюдента необходимо помнить, что к выборкам выдвигаются допущение, нарушение которых не позволяет применить критерий:

• выборки должны подчиняться нормальному распределению. Если это требование нарушается, то критерий не будет подчиняться распределению Стьюдента и, следовательно, границы области принятия гипотезы будут найдены неверно;
• в выборках не должны присутствовать резко выделяющиеся наблюдения, иначе среднее значение будет смещено в сторону выбросов и в результате критерий даст некорректный результат.

С помощью критерия Колмогорова-Смирнова проверяется гипотеза об однородности выборок "в сильном", то есть о том, что функции распределения выборок незначимо отличаются друг от друга. За основу критерия Колмогорова-Смирнова выступает статистика

-

максимальная по модулю разность между двумя функциями распределения выборок x и y.

Критерий рассчитывается по формуле

Границы области принятия гипотезы определяются следующим образом:

.

Если критерий принадлежит области принятия гипотезы, то при заданном уровне значимости α нет возможности её отвергнуть, следовательно, принимается гипотеза о том, что выборки однородны "в сильном".

Гипотезы об однородности выборок могут быть выдвинуты как в исследованиях поведения человека, так и технических науках.

Назад<<<

Листать

Вперёд>>>