- 7 июля 2016, четверг
- Санкт-Петербург, 10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж, офис компании Oracle
Роман Поборчий — Грабли A/B тестирования
Извините, регистрация закрыта. Возможно, на событие уже зарегистрировалось слишком много человек, либо истек срок регистрации. Подробности Вы можете узнать у организаторов события.
В четверг, 7 июля, в 20:00 в петербургском офисе Oracle состоится встреча CodeFreeze с Романом Поборчим, экспертом по Java, качеству поиска и A/B тестированию. Тема встречи — грабли A/B тестирования.
Все изменения на вашем сервисе проходят через эксперимент на пользователях. Вы выкатываете только то, что показывает значимое улучшение целевой метрики. Да, у вас есть целевая метрика. Да, вы всё знаете про статистическую значимость, ну, по крайней мере слышали о ней.
Так почему же целевая метрика вашего сервиса сегодня находится точно на том же уровне, что и год назад?
Один из возможных ответов состоит в том, что в систему проведения экспериментов вкрались ошибки. Я расскажу о некоторых типовых проблемах, с которыми сталкиваются практически все, кто начинает экспериментировать над пользователями. Кроме конкретных проблем мы поговорим об индикаторах, следя за которыми можно заметить, что что-то сломалось. Если в вашем проекте есть A/B тестирование, то по результатам моего рассказа вам наверняка захочется внести в него какие-то улучшения.
О докладчике
Место проведения
Петербургский офис компании Oracle:
10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж
Транспорт
- от ст.м. «Балтийская» — 10 минут пешком: сначала по Лермонтовскому проспекту, потом 100 метров налево по 10-ой Красноармейской.