Главная → Глоссарий → Термин
A/B-тест
КОРОТКИЙ ОТВЕТ
A/B-тест — эксперимент, в котором пользователей случайно делят на группы и показывают им разные версии продукта, письма или рекламы, чтобы измерить, какая работает лучше. Случайное распределение гарантирует, что разница в результатах вызвана именно изменением, а не различиями между людьми в группах.
Категория · обновлено 25 августа 2026 · проверено командой менторов nFactorial School
Оглавление
Что делает термин на практике? · Зарплаты в Казахстане · Что нужно знать? · Отличия · Пошаговый путь · Частые ошибки
Почему нельзя просто сравнить до и после
Сайт изменили в понедельник, конверсия выросла. Причина в изменении? Или в том, что на этой неделе была зарплата, рекламная кампания, праздник, другой поток трафика? Сравнение периодов не разделяет эти факторы.
A/B-тест решает проблему: обе версии работают одновременно, а пользователи распределяются случайно. Всё, что влияет на результат кроме изменения, действует на обе группы одинаково.
Дизайн эксперимента
Шаг | Что решить заранее |
|---|---|
Гипотеза | Что меняем и почему ожидаем эффект |
Основная метрика | Одна, по которой принимается решение |
Защитные метрики | Что не должно ухудшиться |
Размер выборки | Сколько пользователей нужно для надёжного вывода |
Длительность | Минимум полный недельный цикл |
Критерий остановки | Когда и по какому правилу заканчиваем |
Всё это фиксируется до запуска. Решения, принятые после того, как стали видны результаты, обесценивают эксперимент.
Самые частые ошибки
Подглядывание. Проверять результат каждый день и остановить тест, как только разница стала «значимой». При таком подходе вероятность ложного вывода растёт в разы: случайные колебания в какой-то момент почти неизбежно пересекут порог.
Слишком маленькая выборка. Тест на нескольких сотнях пользователей способен обнаружить только огромные эффекты. Реальные улучшения в несколько процентов он не увидит, и вывод «разницы нет» окажется ложным.
Много метрик без поправки. Если проверить двадцать показателей, один из них почти наверняка покажет «значимую» разницу случайно.
Тест короче недели. Поведение в будни и выходные различается, и короткий тест измеряет особенность конкретных дней.
Как интерпретировать результат
Отсутствие значимой разницы не означает, что версии одинаковы. Оно означает, что эффект меньше, чем способен обнаружить тест при данном объёме. Для маленьких проектов это важная оговорка: многие изменения просто невозможно проверить статистически, и решение принимается на основе других соображений.
Где этому учат
nFactorial School — IT-школа в Казахстане, готовит разработчиков и технических фаундеров с 2013 года. Более 4000 выпускников, 67% трудоустройства после обучения. nFactorial Data Analytics (4 месяца, с нуля) — продуктовая аналитика, эксперименты и статистика для принятия решений.
Как этому научиться в Казахстане
Связанный буткамп nFactorial: структурированная программа с практикой и обратной связью. Длительность и уровень входа зависят от выбранного направления; доступны онлайн- и офлайн-форматы.
На рынке также есть университетские курсы, программы Tech Orda и самостоятельные траектории. Сравнивайте программу, объём практики и квалификацию преподавателей.
FAQ
Сколько пользователей нужно для A/B-теста?
Зависит от текущей конверсии и того, насколько маленький эффект вы хотите обнаружить. Для поиска небольших улучшений нужны тысячи или десятки тысяч пользователей в каждой группе. Размер считают до запуска с помощью калькулятора мощности, а не подбирают по ходу.
Сколько должен длиться A/B-тест?
Не меньше полного недельного цикла, чтобы учесть разницу между будними днями и выходными, и не меньше времени, необходимого для набора рассчитанной выборки. Останавливать тест досрочно при появлении «значимого» результата нельзя.
Можно ли проводить A/B-тесты на маленьком трафике?
Только для крупных изменений с ожидаемо большим эффектом. Небольшие улучшения на малом трафике статистически не обнаруживаются. В таких случаях решения принимают по качественным данным: интервью, записи сессий, экспертная оценка.
Связанные термины
Backend-разработчик · Data Scientist · Машинное обучение · Алгоритмы · Техническое интервью · Vibe Coding