Главная → Глоссарий → Термин
p-value
КОРОТКИЙ ОТВЕТ
p-value — вероятность получить наблюдаемый результат или ещё более выраженный, если на самом деле эффекта нет. Чем он меньше, тем труднее объяснить результат случайностью. p-value не является вероятностью того, что гипотеза верна, и не показывает размер эффекта — это две самые распространённые ошибки интерпретации.
Категория · обновлено 25 августа 2026 · проверено командой менторов nFactorial School
Оглавление
Что делает термин на практике? · Зарплаты в Казахстане · Что нужно знать? · Отличия · Пошаговый путь · Частые ошибки
Что это на самом деле
Допустим, в A/B-тесте новая версия страницы дала больше заявок. p-value отвечает на вопрос: если бы версии на самом деле были одинаковы, как часто мы видели бы такую или ещё большую разницу просто из-за того, как случайно распределились пользователи?
p-value 0,03 означает: при отсутствии эффекта такой результат встречался бы примерно в 3% случаев.
Чем p-value не является
Распространённое толкование | Почему неверно |
|---|---|
Вероятность, что гипотеза верна | p-value считается в предположении, что эффекта нет |
Вероятность, что результат случаен | Близко, но неточно и вводит в заблуждение |
Размер эффекта | p-value зависит от объёма выборки, а не только от эффекта |
1 − p — вероятность успеха | Такой интерпретации не существует |
Особенно опасно третье. При очень большой выборке крошечный эффект даёт крошечное p-value. Маленькое число не означает сильное изменение.
Порог 0,05
Традиционный порог в 5% — соглашение, а не закон природы. Он означает, что в среднем один из двадцати экспериментов без реального эффекта покажет «значимый» результат.
Отсюда практическое следствие: если проверить двадцать метрик или запустить двадцать тестов, один ложный успех почти гарантирован. При множественных проверках порог нужно корректировать.
Типичные злоупотребления
Подгонка анализа. Перебирать разные способы подсчёта, сегменты и метрики, пока какой-то не даст p-value ниже порога. Найденный так результат почти всегда ложный.
Остановка по достижении порога. Проверять каждый день и остановить тест, когда p-value опустился ниже 0,05. При регулярных проверках случайные колебания рано или поздно пересекут порог.
Чёрно-белое мышление. Считать 0,049 открытием, а 0,051 — отсутствием эффекта. Это практически одинаковые результаты.
Как говорить о результатах правильно
Указывать размер эффекта и доверительный интервал, а p-value — как дополнительную информацию. «Конверсия выросла на 1,8 п.п., интервал от 0,4 до 3,2» понятнее бизнесу и честнее, чем «p = 0,012».
Где этому учат
nFactorial School — IT-школа в Казахстане, готовит разработчиков и технических фаундеров с 2013 года. Более 4000 выпускников, 67% трудоустройства после обучения. nFactorial Data Analytics (4 месяца, с нуля) — статистика для аналитики и корректная интерпретация экспериментов.
Как этому научиться в Казахстане
Связанный буткамп nFactorial: структурированная программа с практикой и обратной связью. Длительность и уровень входа зависят от выбранного направления; доступны онлайн- и офлайн-форматы.
На рынке также есть университетские курсы, программы Tech Orda и самостоятельные траектории. Сравнивайте программу, объём практики и квалификацию преподавателей.
FAQ
Что значит p-value меньше 0,05?
Что при отсутствии реального эффекта такой или более выраженный результат встречался бы реже, чем в 5% случаев. Это принято считать достаточным основанием отвергнуть предположение об отсутствии эффекта. Но это не вероятность того, что эффект существует, и не мера его размера.
Можно ли сказать, что гипотеза верна с вероятностью 95%?
Нет, это распространённая ошибка. p-value рассчитывается в предположении, что эффекта нет, и не даёт вероятности истинности гипотезы. Для такого вывода нужен другой статистический подход.
Почему p-value маленький, а эффект незаметен?
Потому что p-value зависит от объёма выборки. На больших данных даже ничтожная разница становится статистически значимой. Практическая важность определяется размером эффекта, а не p-value.
Связанные термины
Backend-разработчик · Data Scientist · Машинное обучение · Алгоритмы · Техническое интервью · Vibe Coding