Из таблицы видно, что возможны четыре варианта развития событий, из которых два являются ошибочными.

В статистике ошибку, допускаемую в случае объявления случайного события неслучайным, называют ошибкой первого рода.

Ошибку, допускаемую в случае объявления неслучайного события случайным, называют ошибкой второго рода.

Ошибки первого и второго родов отличаются друг от друга не только по смыслу, но и по «цене» своих последствий. В подавляющем числе случаев «цена» ошибки первого рода намного тяжелее «цены» ошибки второго рода.

Например, у педагогов есть сомнения в отношении уровня интеллектуального развития одного из учеников, и решается вопрос о переводе его в специализированную школу. С тестовым заданием, которое должно было определить его судьбу, ученик справился плохо.       

Ошибка первого рода будет заключаться в том, что плохие результаты тестового задания, вызванные случайными причинами (ученик был рассеян, ему было неинтересно, он плохо выспался и др.), объявят неслучайными и нормального ребенка переведут в специализированную школу.

Ошибка второго рода будет заключаться в том, что неслучайные низкие показатели по тесту объявят случайными (дескать, ученик был рассеян, было неинтересно, он плохо выспался и др.) и все оставят без изменений.

 «Цена» ошибки первого рода — ярлык интеллектуальной неполноценности, который будет «наклеен» на здорового ребенка со всеми вытекающими последствиями, возможно, на всю оставшуюся жизнь.

«Цена» ошибки второго рода — ребенок, нуждающийся в особом подходе; будет признан нормальным и продолжит учебу в обычной школе.

Возможные последствия ошибок первого рода приводят к тому, что основные усилия направляются на то, чтобы такие ошибки случались как можно реже. К сожалению, полностью от них избавиться не удается и приходится признавать право таких ошибок на существование в виде крайне редких случаев.

 В статистике такие ошибки считаются допустимыми, если они имеют место, не чаще чем в одном случае из 1000, одном случае из 100 или в пяти случаях из 100. В этом случае говорят о том, что вероятность ошибки первого рода р≤0,001 (то есть не более чем одна ошибка на 1000 случаев), р≤0,01 (то есть не более, чем одна ошибка на 100 случаев) и р≤0,05 (то есть не более чем 5 ошибок на 100 случаев).

Часто, когда говорят об ошибках первого рода, используют понятие «уровень значимости» (обозначается как α). Численные значения α и р совпадают друг с другом. Уровень значимости можно понимать как некую «красную линию», пересечение которой позволит говорить о данном событии как о неслучайном.

Теоретически с каждым событием можно связать вероятность его случайного наступления. Например, вероятность того, что автобус городского маршрута опоздает, довольно велика. Поэтому, если автобус опаздывает, никто не бьет тревогу по этому поводу, понимая, что есть масса причин (пробки на до­рогах, много пассажиров на остановках и др.), по которым он может опоздать. В то же время есть события, вероятность случайного наступления которых очень низка. Теоретически таких событий не должно быть вообще (например, кру­шений самолетов). Если такое событие, увы, случается, то первое, что прове­ряется, — наличие неслучайных факторов (теракт, ошибка пилотов, ошибка диспетчеров и др.). Поэтому, если событие, вероятность случайного наступле­ния которого ничтожно мала, все же произошло, всегда есть основания утвер­ждать, что это было неслучайно.

Уровень значимости α задает то малое значение вероятности, с которым связано случайное наступление подобных событий. Для α =0,05 это означает, что определенное событие случайным образом может иметь место в 5 случаях из 100. Например, из 100 косметических операций по «омоложению» 5 могут оказаться неудачными вследствие действия случайных факторов. Если подоб­ная операция завершилась неудачно и клиент настаивает на том, что это было неслучайно, а была допущена врачебная ошибка, то в 95 случаях из 100 он бу­дет прав. Но в 5 случаях из 100 его претензии будут отвергнуты. Таким образом, значение α определяет вероятность ошибки при объявлении случайного собы­тия неслучайным. Если произошло событие, для которого уровень значимости α =0,05, то, объявляя данное событие неслучайным, мы ошибемся в 5 случаях их 100 (ошибка первого рода).

Возникающая здесь проблема связана с тем, где должна пролегать граница между нашим отношением к событию как к случайному или неслучайному. Однозначного ответа на данный вопрос нет. Решение в каждом конкретном случае принимает исследователь.

Если в примере с учеником, которого предполагают перевести в специали­зированную школу, использовать тесты, обеспечивающие принятие правиль­ных решений на уровне значимости           α =0,05, то это означает, что в пяти случаях из ста может быть принято неправильное решение. Видимо, в этом случае α =0,05 является неприемлемым уровнем значимости, поскольку риск принятия ошибочного решения довольно велик (в пяти случаях из ста нормальный ребёнок может быть отправлен в школу для умственно отсталых).

Но если предположить, что в школе работают специалисты, которые тестируют учеников и на основе результатов тестирования дают рекомендации родителям и учителям по поводу профессиональных склонностей детей, то уровень значимости α =0,05 можно признать вполне допустимым. Даже если кому-либо ошибочно порекомендуют вместо математики изучать химию, то особой тра­гедии от этой ошибки не будет. В конце концов, это не более чем рекомендация, с которой можно не согласиться.

Если в каком-либо научном отчете или публикации сделанные выводы сопровождаются указанием значений р или α, то чем меньше эти значения, тем больше доверия к представленным результатам.