• 7 июля 2016
  • Санкт-Петербург, 10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж, офис компании Oracle

Роман Поборчий — Грабли A/B тестирования

Регистрация на событие закрыта

Извините, регистрация закрыта. Возможно, на событие уже зарегистрировалось слишком много человек, либо истек срок регистрации. Подробности Вы можете узнать у организаторов события.

Другие события организатора

CodeFreeze в Петербурге
295 дней назад
7 июля 2016 c 20:00 до 22:00
Санкт-Петербург
10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж, офис компании Oracle

В четверг, 7 июля, в 20:00 в петербургском офисе Oracle состоится встреча CodeFreeze с Романом Поборчим, экспертом по Java, качеству поиска и A/B тестированию. Тема встречи — грабли A/B тестирования.

Все изменения на вашем сервисе проходят через эксперимент на пользователях. Вы выкатываете только то, что показывает значимое улучшение целевой метрики. Да, у вас есть целевая метрика. Да, вы всё знаете про статистическую значимость, ну, по крайней мере слышали о ней. 
 
Так почему же целевая метрика вашего сервиса сегодня находится точно на том же уровне, что и год назад?
 
Один из возможных ответов состоит в том, что в систему проведения экспериментов вкрались ошибки. Я расскажу о некоторых типовых проблемах, с которыми сталкиваются практически все, кто начинает экспериментировать над пользователями. Кроме конкретных проблем мы поговорим об индикаторах, следя за которыми можно заметить, что что-то сломалось. Если в вашем проекте есть A/B тестирование, то по результатам моего рассказа вам наверняка захочется внести в него какие-то улучшения.

 

О докладчике

Роман Поборчий окончил мат-мех СПбГУ в 1998 году. До 2004 года работал над Sun JDK, поучаствовал в релизах с 1.1.8 до Java 5. С 2004 по 2008 год работал в Intel, где также работал над реализацией Java, впоследствии выложенной в Open Source под именем Apache Harmony.
 
С 2008 по 2015 год занимался оценкой качества поиска в Яндексе, где, в частности, и приобрёл опыт в A/B тестировании.
 
С 2015 года сменил основной род деятельности и теперь занимается презентациями в IT. Участвовал в качестве консультанта по презентациям в подготовке Highload++ 2015 и РИТ++ 2016.
 

Место проведения

Петербургский офис компании Oracle:
10-я Красноармейская улица, 22А, БЦ «Келлерман», 2 этаж

 

Транспорт

  • от ст.м. «Балтийская» — 10 минут пешком: сначала по Лермонтовскому проспекту, потом 100 метров налево по 10-ой Красноармейской.

Партнеры

Регистрация