Критерий трёх сигм
В.В. Заляжных
При статистических оценках широко применяют правило трёх сигм: отклонение
значения нормально распределённой случайной величины X от её математического
ожидания М(х) не превосходит
утроенного среднеквадратического отклонения σ с вероятностью около 0,9973.
Иначе говоря, с вероятностью 0,9973 значение нормально распределённой случайной
величины Х находится в интервале
[М(х) — 3σ … М(х) + 3σ],
где σ — среднеквадратическое отклонение случайной величины.
На основании этого правила для исключения из результатов измерений грубых ошибок
(выбросов, промахов, аномальных значений) часто используют критерий трёх сигм:
значения нормально распределённой случайной величины, отклоняющиеся от
математического ожидания М(х) больше, чем на три сигмы, маловероятны
(вероятность равна 1 – 0,9973 = 0,0027), и потому являются грубыми ошибками. Т.е. значение xi – грубая ошибка, если
|М(х) — xi| / σ > k =3 (1)
Критерий трёх сигм применяют обычно для быстрого приближённого определения
грубых ошибок в выборке. Известны более обоснованные критерии выбросов при
нормальном распределении, например критерии
Граббса, Диксона,
Ирвина и другие. Преимуществами критерия трёх сигм
считается то, что он прост, нагляден и легко запоминается, при его применении не
нужны таблицы.
Формализовать проверку на грубые ошибки по критерию трёх сигм с точки зрения
статистической проверки гипотез можно так:
— нулевая гипотеза Н0: все значения выборки принадлежат одному и тому
же нормальному распределению
— конкурирующая (альтернативная) гипотеза Н1: значения выборки, отстоящие от математического ожидания больше, чем на три сигмы, принадлежат другому распределению.
Таким образом, все значения, удовлетворяющие правилу (1), являются грубыми ошибками.
Однако при многократных измерениях вероятность отклонения хотя бы одного значения выборки от математического ожидания не равна 0,0027 и зависит от объёма выборки n. Так, при известных параметрах нормального распределения вероятность того, что при отсутствии грубых ошибок хотя бы одно значение выборки удовлетворяет условию (1), равна 1-0,0973n. Эта вероятность соответствуют уровню значимости α – см. табл. 1.
Таблица 1 — Уровни значимости при известных параметрах нормального распределения, k = 3.
| n | α | n | α |
| 3 | 0,008 | 10 | 0,027 |
| 4 | 0,011 | 15 | 0,040 |
| 5 | 0,013 | 25 | 0,065 |
| 6 | 0,016 | 40 | 0,103 |
| 7 | 0,019 | 50 | 0,126 |
| 8 | 0,021 | 60 | 0,150 |
На практике параметры распределения чаще всего не известны с достаточной точностью, и используют их выборочные оценки – среднее значение xср и выборочное СКО (среднеквадратическое отклонение) s. При этом уровни значимости заметно отличаются от тех, когда параметры распределения известны.
Здесь хi — элементы выборки.
Тогда выражение (1), т.е. условие для определения грубых ошибок, превращается в
|хср — xi| / s > k (2)
Все значения выборки, удовлетворяющие условию (2), считаются грубыми ошибками.
Возможны также ситуации, когда математическое ожидание оценивают
по хср, а СКО известно с высокой точностью – например, при оценке дисперсии (и, соответственно, СКО) по сериям измерений. Тогда выражение (1), т.е. условие для определения грубых ошибок, превращается в (3):
|хcр — xi| / σ > k (3)
Все значения выборки, удовлетворяющие условию (3), считаются грубыми ошибками.
Расчёт хcр и s в (2) и (3) может проводиться по двум вариантам:
Второй вариант более сложен, что в значительной мере уменьшает преимущества критерия трёх сигм по сравнению с другими. В этой статье рассмотрен первый вариант, когда при оценке параметров распределения учитываются все значения выборки.
Приемлемые уровни значимости принимали в пределах 0,01…0,1, т.к. в статистических
расчётах обычно принимают уровни значимости из этого диапазона. При этом величина k в (2) и (3) может отличаться от 3 в зависимости от объёма выборки n (в этом случае встречается также наименование «критерий Райта»).
Для уточнения величины k рассчитывали методом статистического компьютерного моделирования
уровни значимости при различных k и n, при моделировании 1 млн. выборок из стандартного нормального распределения. При этом для доверительной верояности 0,9973 погрешность определения уровня значимости составляет ±0,0003 для уровня 0,01 и ±0,0009 для уровня 0,1 [1]. Значения k принимали относительно «круглыми», чтобы критерий оставался достаточно простым и сравнительно легко запоминаемым. Так находили диапазоны значений n, в которых при определённом k уровни значимости находятся в пределах 0,01…0,1. Крайние значения диапазонов n также принимали по возможности достаточно «круглыми». Некоторые из результатов моделирования показаны в табл. 2 и табл. 3. Если в этих таблицах указано, что вероятность равна нулю, то она, по крайней мере, меньше 0,0005.
Таблица 2 — Уровни значимости при неизвестной дисперсии
| n | Вероятность | α | |
| 1 промах | 2 промаха | ||
| k = 3 | |||
| 19 | 0,008 | 0 | 0,008 |
| 20 | 0,01 | 0 | 0,01 |
| 55 | 0,094 | 0,001 | 0,095 |
| 56 | 0,097 | 0,001 | 0,098 |
| k = 3,5 | |||
| 56 | 0,012 | 0 | 0,012 |
| 100 | 0,03 | 0 | 0,03 |
| 250 | 0,093 | 0,003 | 0,096 |
| 260 | 0,096 | 0,004 | 0,1 |
| k = 4 | |||
| 251 | 0,012 | 0 | 0,012 |
| 1000 | 0,057 | 0,001 | 0,058 |
| 1700 | 0,095 | 0,004 | 0,099 |
| 1730 | 0,096 | 0,005 | 0,101 |
| k = 4,5 | |||
| 1701 | 0,011 | 0 | 0,011 |
| 5000 | 0,032 | 0,001 | 0,033 |
| 10000 | 0,063 | 0,002 | 0,065 |
Таблица 3 — Уровни значимости при известной дисперсии
| n | Вероятность | α | |
| 1 промах | 2 промаха | ||
| k = 3 | |||
| 7 | 0,008 | 0 | 0,008 |
| 8 | 0,01 | 0 | 0,01 |
| 15 | 0,028 | 0,001 | 0,028 |
| 40 | 0,086 | 0,004 | 0,092 |
| 43 | 0,094 | 0,005 | 0,099 |
| k = 3,5 | |||
| 41 | 0,016 | 0 | 0,016 |
| 100 | 0,042 | 0,001 | 0,043 |
| 200 | 0,082 | 0,004 | 0,086 |
| k = 4 | |||
| 201 | 0,012 | 0 | 0,012 |
| 1000 | 0,059 | 0,002 | 0,061 |
| 1600 | 0,091 | 0,005 | 0,096 |
| 1700 | 0,097 | 0,005 | 0,102 |
| k = 4,5 | |||
| 1601 | 0,011 | 0 | 0,011 |
| 5000 | 0,033 | 0,001 | 0,034 |
| 10000 | 0,063 | 0,002 | 0,065 |
В таблицах 2 и 3 приведены результаты до n=10000. При более высоких n, поскольку оценки параметров очень близки к парамерам, уровни значимости можно рассчитать так:
α= 1 — (2F(k)-1)n ,
где F(k) — значение функции стандартного нормального распределения.
По данным таблиц 2 и 3 можно рекомендовать следующее: при неизвестной дисперсии определять промахи по (2) и значениях k:
k = 3, если n = 20…55
k = 3,5, если n = 56…250
k = 4, если n = 251…1700
k = 4,5, если n = 1701…10000
При известной дисперсии определять промахи по (3) и значениях k:
k = 3, если n = 8..40
k = 3,5, если n = 41..200
k = 4, если n = 201..1600
k = 4,5, если n = 1601..10000
При этом критерий трёх сигм остаётся статистически плохо обоснованны ввиду нестабильности
уровня значимости.
ЛИТЕРАТУРА
Постовалов С. Н. Применение компьютерного моделирования для расширения прикладных возможностей классических методов проверки статистических гипотез : диссертация … доктора технических наук : 05.13.17 / Постовалов Сергей Николаевич; [Место защиты: Новосибирский государственный технический университет]. — Новосибирск, 2014. — 279 с. : 19 ил.
© В.В.Заляжных
При использовании материалов ставьте прямую индексируемую ссылку