Например, если доверительный интервал для математического ожидания рассчитан по выборке при уровне значимости 0,05, это значит, что он с вероятностью 0,05 не накрывает математическое ожидание - из-за случайности выборки, т.е. случайно. Однако исследователь принимает, что доверительный интервал накрывает математическое ожидание, хотя с вероятностью 0,05 это ошибочное суждение (ошибка первого рода). Попросту говоря, уровень значимости – это степень ненадёжности полученных результатов.
Важная составляющая статистических расчётов – проверка статистических гипотез. При проверке гипотез выдвигают нулевую гипотезу Н0 (например, что случайная величина, из которой взята выборка, имеет нормальное распределение) и принимают соответствующий ей уровень значимости. Здесь уровень значимости α конкретизируется как допустимая вероятность того, что верная нулевая гипотеза будет отвергнута. Иногда выдвигают также конкретную альтернативную (конкурирующую) гипотезу Н1 (например, что случайная величина имеет логистическое распределение). Альтернативной гипотезе соответствует ошибка второго рода β, т.е. вероятность того, что ошибочная нулевая гипотеза будет принята. Если альтернативную гипотезу не выдвигают, то подразумевается, что она противоположна нулевой. Например, Н0: нормальное распределение. Тогда по умолчанию подразумевается, что Н1 – не нормальное распределение. Или Н0: сомнительное значение выборки не является грубой ошибкой (такую гипотезу выдвигают при проверке значений выборки на грубые ошибки). Тогда подразумевается, что Н1: сомнительное значение является грубой ошибкой.
Проверку гипотез проводят с использованием статистических критериев. Статистические критерии бывают правосторонние (например, критерий Колмогорова), левосторонними (например, критерий Шапиро-Уилка) и двусторонними (например, критерий Гири). Проверяемая гипотеза НЕ ОТКЛОНЯЕТСЯ (не совсем верно говорить, что принимается), если:
- для правосторонних критериев Красч <= Кα
- для левосторонних критериев Красч >= Кα
- для двусторонних критериев Кα/2 <= Красч <= К1-α/2
Здесь Красч, Кα/2 и К1-α/2 - табличные значения (процентные точки) критерия при выбранном уровне значимости α.
Чем меньше выбирают уровень значимости, тем больше достоверность результата. Но при этом тем больше (при данном объёме выборки) ошибка второго рода β, иначе говоря: чем меньше вероятность отклонить верную нулевую гипотезу, тем больше вероятность принять ложную нулевую гипотезу. Поэтому следует выбирать уровень значимости так, чтобы ошибка второго рода была не слишком большой. В технических измерениях чаще всего принимают уровень значимости 0,01, 0,05 или 0,1.
В статистических расчётах часто используются также понятия мощности критерия и доверительной вероятности (достоверности). Доверительная вероятность Р – это вероятность принять верную гипотезу Н0. Мощность критерия π – это вероятность отвергнуть ложную гипотезу Н0.
Варианты возможных исходов при проверке нулевой гипотезы показаны в таблице.
| Гипотеза | Решение | Вероятность |
| Верна | Не отвергается | Доверительная вероятность Р = 1 - α |
| Отвергается | Уровень значимости α | |
| Неверна | Не отвергается | Ошибка второго рода β |
| Отвергается | Мощность π = 1 - β |
Для многих критериев возможно также рассчитать по экспериментальным результатам достигаемый уровень значимости р-value (пи-уровень), величина которого даёт больше информации, чем оценка по заранее принятому уровню значимости.
© В.В.Заляжных