заметка на полях
Гайд универсальный, но baseline и примеры под свой продукт подставляешь сам — готовых цифр внутри нет.
Гайд по A/B-тестированию
Суть
Пошаговое руководство, как провести эксперимент от гипотезы до решения: сформулировать проверяемую гипотезу, выбрать метрики, рассчитать выборку и длительность, проанализировать результат.
Внутри статистическая база (p-value, ошибки, MDE) и готовые методы с кодом на Python под разные типы метрик. Гайд проводит аналитика по всем девяти шагам и не даёт пропустить то, из-за чего тест окажется невалидным.
Зачем нужен
- 1Задаёт единую методологию: от гипотезы до решения все шаги идут в одной логике и по одному стандарту
- 2Снижает риск невалидного теста: помогает не пропустить ошибки, из-за которых результат нельзя интерпретировать
- 3Закрывает статистику: MDE, p-value, размер выборки и длительность объясняются с нуля и считаются по формулам
- 4Даёт готовый инструментарий: методы с кодом под каждый тип метрики, включая CUPED и бутстреп
- 5Отсекает лишние эксперименты: показывает, когда тест не нужен или не наберёт мощность, до старта
- 6Покрывает пограничные случаи: методы на замену классическому A/B, когда мало трафика или нет контрольной группы
Кому пригодится
Продуктовым аналитикам, продактам, дата-сайентистам, командам, которые выстраивают культуру экспериментов
Надежда СлепынинаПродуктовый аналитик
В Garage Eight успела поработать маркетинговым, дата- и продуктовым аналитиком.
экспертиза:Из интересного: сберегла клиенту крупную сумму, показав заранее, к чему приведёт отключение iOS-приложения.
комментарий:заметка на полях
Для кода нужно минимальное окружение: numpy, scipy, statsmodels, pandas. CausalImpact ставится отдельно.
заметка на полях
Методология одна из возможных — fixed-horizon. Под последовательное тестирование или байесовский подход часть шагов придётся адаптировать. Отрасль при этом значения не имеет: логика шагов переносится на любой продукт.
заметка на полях
Бери в паре с агентом для самопроверки дизайна: гайд задаёт стандарт, агент проверяет по нему конкретный эксперимент.
