Критерий трёх сигм
В.В. Заляжных

В статистических оценках широко применяют правило трёх сигм: отклонение значения нормально распределённой случайной величины X от её математического ожидания М(х) не превосходит утроенного среднеквадратического отклонения σ с вероятностью около 0,9973. Иначе говоря, с вероятностью 0,9973 значение нормально распределённой случайной величины Х находится в интервале

[М(х) - 3σ ... М(х) + 3σ],

где σ - среднеквадратическое отклонение случайной величины.

На основании этого правила для исключения из результатов измерений грубых ошибок (промахов, аномальных значений) часто используют критерий трёх сигм: значения нормально распределённой случайной величины, отклоняющиеся от математического ожидания М(х) больше, чем на три сигмы, маловероятны (вероятность равна 1 – 0.9973 = 0.0027), и потому являются грубыми ошибками. Т.е. значение xi – грубая ошибка, если

|М(х) - xi| / σ > k =3                         (1)

Критерий трёх сигм применяют обычно для быстрого приближённого определения грубых ошибок в выборке. Известны более обоснованные критерии аномальности при нормальном распределении, например критерии Смирнова (Граббса), Диксона, Ирвина и другие. Преимуществами критерия трёх сигм считается то, что он прост, нагляден и легко запоминается, при его применении не нужны таблицы.

Формализовать проверку на грубые ошибки по критерию трёх сигм с точки зрения статистической проверки гипотез можно так:

- нулевая гипотеза Н0: все значения выборки принадлежат одному и тому же нормальному распределению

- конкурирующая (альтернативная) гипотеза Н1: значения выборки, отстоящие от математического ожидания больше, чем на три сигмы, принадлежат другому распределению.

Таким образом, все значения, удовлетворяющие правилу (1), являются грубыми ошибками.

Однако при многократных измерениях вероятность отклонения хотя бы одного значения выборки от математического ожидания не равна 0,0027 и зависит от объёма выборки n. Так, при известных параметрах нормального распределения вероятность того, что при отсутствии грубых ошибок хотя бы одно значение выборки удовлетворяет условию (1), равна 1-0,0973n. Эта вероятность соответствуют уровню значимости α – см. табл. 1.

Таблица 1 - Уровни значимости при известных параметрах нормального распределения, k = 3.
n α n α
3 0,008 10 0,027
4 0,011 15 0,040
5 0,013 25 0,065
6 0,016 40 0,103
7 0,019 50 0,126
8 0,021 60 0,150

На практике параметры распределения чаще всего не известны с достаточной точностью, и используют их выборочные оценки – среднее значение xср и выборочное СКО (среднеквадратическое отклонение) s. При этом уровни значимости заметно отличаются от тех, когда параметры распределения известны.

рисунок 3a.1

Здесь хi - элементы выборки.

Тогда выражение (1), т.е. условие для определения грубых ошибок, превращается в

ср - xi| / s > k                         (2)

Все значения выборки, удовлетворяющие условию (2), считаются грубыми ошибками.

Возможны также ситуации, когда математическое ожидание оценивают по хср, а СКО известно с высокой точностью – например, при оценке дисперсии (и, соответственно, СКО) по сериям измерений. Тогда выражение (1), т.е. условие для определения грубых ошибок, превращается в (3):

- xi| / σ > k                         (3)

Все значения выборки, удовлетворяющие условию (3), считаются грубыми ошибками.

Расчёт х и s в (2) и (3) может проводиться по двум вариантам:

1) С учётом всех значений выборки.
2) Без учёта сомнительных значений.

Второй вариант более сложен, что в значительной мере уменьшает преимущества критерия трёх сигм по сравнению с другими. В этой статье рассмотрен первый вариант, когда при оценке параметров распределения учитываются все значения выборки.

Приемлемые уровни значимости принимали в пределах 0,01…0,1, т.к. в статистических расчётах обычно принимают уровни значимости из этого диапазона. При этом величина k в (2) и (3) может отличаться от 3 в зависимости от объёма выборки n (в этом случае встречается также наименование "критерий Райта").

Для уточнения величины k рассчитывали методом статистического компьютерного моделирования уровни значимости при различных k и n, при моделировании 1 млн. выборок из стандартного нормального распределения. При этом для доверительной верояности 0,9973 погрешность определения уровня значимости составляет ±0,0003 для уровня 0,01 и ±0,0009 для уровня 0,1 [1]. Значения k принимали относительно «круглыми», чтобы критерий оставался достаточно простым и сравнительно легко запоминаемым. Так находили диапазоны значений n, в которых при определённом k уровни значимости находятся в пределах 0,01…0,1. Крайние значения диапазонов n также принимали по возможности достаточно «круглыми». Некоторые из результатов моделирования показаны в табл. 2 и табл. 3. Если в этих таблицах указано, что вероятность равна нулю, то она, по крайней мере, меньше 0,0005.

Таблица 2 - Уровни значимости при неизвестной дисперсии
n Вероятность  α
1 промах 2 промаха
k = 3
19 0,008 0 0,008
20 0,01 0 0,01
55 0,094 0,001 0,095
56 0,097 0,001 0,098
k = 3,5
56 0,012 0 0,012
100 0,03 0 0,03
250 0,093 0,003 0,096
260 0,096 0,004 0,1
k = 4
251 0,012 0 0,012
1000 0,057 0,001 0,058
1700 0,095 0,004 0,099
1730 0,096 0,005 0,101
k = 4,5
1701 0,011 0 0,011
5000 0,032 0,001 0,033
10000 0,063 0,002 0,065

Таблица 3 - Уровни значимости при известной дисперсии
n Вероятность  α
1 промах 2 промаха
k = 3
7 0,008 0 0,008
8 0,01 0 0,01
15 0,028 0,001 0,028
40 0,086 0,004 0,092
43 0,094 0,005 0,099
k = 3,5
41 0,016 0 0,016
100 0,042 0,001 0,043
200 0,082 0,004 0,086
k = 4
201 0,012 0 0,012
1000 0,059 0,002 0,061
1600 0,091 0,005 0,096
1700 0,097 0,005 0,102
k = 4,5
1601 0,011 0 0,011
5000 0,033 0,001 0,034
10000 0,063 0,002 0,065

В таблицах 2 и 3 приведены результаты до n=10000. При более высоких n, поскольку оценки параметров очень близки к парамерам, уровни значимости можно рассчитать так:

α= 1 - (2F(k)-1)n ,

где F(k) - значение функции стандартного нормального распределения.

По данным таблиц 2 и 3 можно рекомендовать следующее: при неизвестной дисперсии определять промахи по (2) и значениях k:
k = 3, если n = 20...55
k = 3,5, если n = 56...250
k = 4, если n = 251...1700
k = 4,5, если n = 1701...10000

При известной дисперсии определять промахи по (3) и значениях k:
k = 3, если n = 8..40
k = 3,5, если n = 41..200
k = 4, если n = 201..1600
k = 4,5, если n = 1601..10000

       ЛИТЕРАТУРА
Постовалов С. Н. Применение компьютерного моделирования для расширения прикладных возможностей классических методов проверки статистических гипотез : диссертация ... доктора технических наук : 05.13.17 / Постовалов Сергей Николаевич; [Место защиты: Новосибирский государственный технический университет]. - Новосибирск, 2014. - 279 с. : 19 ил.

        Далее     Содержание

© В.В.Заляжных
При использовании материалов ставьте прямую индексируемую ссылку


Рейтинг@Mail.ru