A/B Testing

Про курс

За два місяці студенти на власному продукті навчаться проєктування технічного дизайну А/В експерименту та проведення постаналізу. Для цього розберуться з:
— простими, вкладеними та fake door тестами, пріоритезацією тестів (беклогу);
— вибором потрібних метрик і роботою з ними;
— перетином експериментів і конфліктами — технічними та логічними;
— запуском MVP через А/B експерименти;
— постаналізом експериментів та інформації про користувачів у результатах.

Програма курсу

• Вступ

  • — Основні поняття й терміни.
  • — Знайомство із запитами та кейсами студентів.
  • — Як формулювати гіпотезу.

• Дизайн простих тестів

  • — Як знайти точки й умови входу.
  • — Як працювати з цільовими метриками.
  • — Як застосовувати MDE (minimum detectable effect).

• Дизайн складних тестів

  • — Конфлікти в тестах.
  • — Вкладені тести.
  • — Довгі тести із зупинкою набору учасників.

• Дизайн fake door тестів

  • — Що це й навіщо.
  • — Небезпека та переваги.
  • — Як робити дизайн fake door тестів.
  • — Повна математика до кінцевої мети та MDE.
  • — Якісні дослідження.

• Читання тесту та постаналіз

  • — Формулювання постгіпотез: як бути впевненими в результаті.
  • — Як отримувати користь від невдалих тестів.

• Тестування MVP за допомогою A/B

  • — Відміна від fake door.
  • — Додана цінність (incremental boost).
  • — Дизайн всього запуску тесту.

• Культура A/B тестів

  • — Менеджмент процесів.
  • — Прийоми та лайфхаки.