1. Що таке A/B тестування
A/B тестування — це контрольований експеримент, у якому користувачів випадково розподіляють на дві (або більше) групи: A (контроль) бачить поточну версію продукту, а B (варіант) — змінену. Далі порівнюють обрану метрику — наприклад, частку користувачів, що здійснили покупку (конверсію), — між групами.
Мета — відповісти на запитання: чи спричинена різниця в метриках реальним ефектом зміни, чи це лише випадкове коливання вибірки, яке виникло б навіть без жодної зміни? Саме для цього й потрібен статистичний апарат — перевірка гіпотез.
2. Нульова та альтернативна гіпотези
Перш ніж дивитися на дані, формулюють дві гіпотези:
Тест не «доводить», що B краще. Він оцінює, наскільки спостережувані дані узгоджуються з припущенням, що різниці немає (H₀). Якщо дані погано узгоджуються з H₀, її відхиляють на користь H₁ — але це завжди ймовірнісний, а не остаточний висновок.
3. Що таке p-value насправді
Коректне визначення: p-value — це ймовірність отримати результат настільки ж екстремальний або екстремальніший за той, що спостерігався, за умови, що нульова гіпотеза правдива.
Це формулювання варто розібрати по словах. P-value рахують не «в вакуумі» — воно завжди умовне: «якби різниці між A і B справді не було, з якою ймовірністю ми побачили б таку (чи ще більшу) розбіжність у вибірці такого розміру просто через випадковість вибірки?»
Найпоширеніша помилка — тлумачити p-value як «ймовірність того, що нульова гіпотеза правдива» або «ймовірність того, що результат випадковий». Це невірно з двох причин:
- p-value обчислюється за умови, що H₀ вже правдива — це не ймовірність самої H₀. Ймовірність гіпотези за даними (P(H₀|дані)) — зовсім інша величина, яка потребує байєсівського підходу з апріорними ймовірностями, а не класичного p-value.
- Мале p-value не каже нічого про ймовірність того, що ефект B реальний, а не випадковий — воно лише каже, наскільки дані незвичні за умови відсутності ефекту.
Тобто фраза «p = 0,03, отже є лише 3% ймовірність, що це випадковість» — некоректна. Правильніше: «якби різниці справді не існувало, ми б спостерігали такий чи сильніший результат приблизно у 3% подібних експериментів».
4. Рівень значущості α і «статистична значущість»
Перед експериментом обирають поріг — рівень значущості α, найчастіше α = 0,05. Якщо отримане p-value менше за α, результат називають «статистично значущим»:
Важливо розуміти: поріг 0,05 — це конвенція, а не природний закон і не абсолютна межа істини. Значення 0,049 і 0,051 практично нічим не відрізняються за силою доказів, хоча формально одне «значуще», а інше — ні. У сферах з високою ціною помилки (клінічні випробування, фізика елементарних частинок) використовують значно суворіші пороги.
«Статистично значуще» також не тотожне «практично важливе» — при дуже великих вибірках навіть мізерна, нецікава з бізнес-погляду різниця (наприклад +0,01 п.п. конверсії) може дати статистично значущий результат.
5. Помилка I роду та помилка II роду
| Реальність \ Висновок тесту | H₀ не відхилено | H₀ відхилено |
|---|---|---|
| H₀ насправді правдива (різниці немає) | Правильний висновок | Помилка I роду (хибнопозитивна), ймовірність α |
| H₀ насправді хибна (різниця є) | Помилка II роду (хибнонегативна), ймовірність β | Правильний висновок, потужність = 1 − β |
Помилка I роду (false positive): ми оголошуємо B кращим за A, хоча насправді різниці немає. Її ймовірність дорівнює α — саме тому обирають невелике α (5% або менше).
Помилка II роду (false negative): ми не знаходимо статистично значущої різниці, хоча B насправді краще за A. Її ймовірність позначають β; величину (1 − β) називають статистичною потужністю тесту — здатністю виявити реальний ефект, якщо він існує.
6. Потужність тесту, розмір вибірки та проблема підглядання
Потужність тесту зростає зі збільшенням розміру вибірки, розміру реального ефекту та зі зменшенням варіативності метрики. На практиці це означає:
- Замалі вибірки дають низьку потужність — реальна, але невелика різниця між A і B може залишитися непоміченою (зросте ризик помилки II роду).
- Якщо на малій вибірці все ж отримано «значущий» результат, розмір ефекту в ньому часто перебільшений (так званий «прокляття переможця») — тому результати малих експериментів варто перевіряти повторно.
- Розмір вибірки для тесту слід розраховувати заздалегідь, виходячи з очікуваного мінімального ефекту, базової конверсії, обраного α та бажаної потужності (зазвичай 80%).
Проблема підглядання (peeking problem): якщо перевіряти p-value щодня і зупиняти тест, щойно він опускається нижче 0,05, фактична частота хибних спрацювань зростає далеко за межі заявлених 5% — адже кожна перевірка є ще однією спробою «влучити» у випадкове коливання. Правильний підхід — фіксувати розмір вибірки й тривалість тесту наперед або застосовувати спеціальні послідовні методи аналізу (sequential testing), розроблені саме для проміжних перевірок.
7. Приклад: контроль 10%, варіант 12% — чи це значуще?
Припустимо, у групі A конверсія становила 10%, а у групі B — 12%. Інтуїтивно хочеться сказати «12 більше за 10, отже B переміг». Але цей висновок передчасний: різниця могла виникнути просто через випадкові коливання вибірки, особливо якщо груп було мало.
Щоб коректно оцінити різницю, потрібен формальний статистичний тест — наприклад, z-тест для двох пропорцій або хі-квадрат тест. Такий тест враховує не лише саму різницю (10% проти 12%), а й розмір вибірки в кожній групі та варіативність пропорцій, і дає p-value, яке можна порівняти з α.
Якщо вибірка невелика (скажімо, по 50 користувачів у кожній групі), різниця 10% проти 12% майже напевно буде статистично незначущою — довірчі інтервали для таких пропорцій дуже широкі. Якщо ж вибірка велика (по 20 000 у кожній групі), та сама різниця в 2 п.п. цілком може виявитися значущою. Точний z-score для конкретних чисел можна порахувати калькулятором z-показника, а формулу — переглянути детальніше за посиланням нижче.
8. Підсумок: як правильно читати результати A/B тесту
- Формулюйте H₀ і H₁ та обирайте α до початку експерименту.
- Заздалегідь розрахуйте необхідний розмір вибірки, виходячи з бажаної потужності.
- Не зупиняйте тест достроково через одне «гарне» проміжне значення p-value — це проблема підглядання.
- Пам'ятайте, що p-value — це умовна ймовірність даних за H₀, а не ймовірність того, що H₀ правдива чи що результат «випадковий».
- Статистична значущість ≠ практична значущість — оцінюйте також розмір ефекту та довірчий інтервал.
Про цю статтю
Ця стаття є частиною бази знань calculator.party — освітнього ресурсу, що поєднує теорію з практичними інструментами. Матеріал орієнтований на аналітиків, продуктових менеджерів, дослідників і студентів, що прагнуть коректного розуміння перевірки статистичних гіпотез. Тут зібрані ключові поняття, формули та реальні приклади застосування в A/B тестуванні.
Статистика перевірки гіпотез лежить в основі прийняття рішень на даних — від продуктових експериментів у технологічних компаніях до клінічних випробувань ліків. Розуміння того, що насправді означає p-value, — один з найважливіших навичок для будь-кого, хто аналізує результати експериментів.
Навіщо читати цю статтю
Після прочитання ви зможете коректно інтерпретувати p-value, уникати найпоширенішої статистичної помилки (плутанини p-value з ймовірністю гіпотези), розрізняти помилки I та II роду, розуміти роль розміру вибірки та уникати проблеми підглядання при аналізі власних A/B тестів.