Илья Кацев, Яндекс — Анализ данных для поиска ошибок и автоматическая генерация тестов

В Яндексе мы занимаемся созданием робота для поиска ошибок в сервисах с веб-интерфесом. Самое трудное для такого робота — понять, какое поведение системы является «штатным», а какое — ошибочным (в тестировании это называется «Oracle Problem»). Конечно, есть очевидные вещи — например, наличие битых ссылок практически наверняка свидетельствует об ошибке. Но подобных универсальных проверок мало. Гораздо чаще случаются проблемы в логике приложения. Как можно автоматически их найти?

Мы пытаемся извлекать некоторые паттерны из текущей функциональности сервиса и формировать автотесты на их основе. Мы сделали робота, который самостоятельно генерирует автотесты на верстку сервиса. Принцип действия этого робота таков: он анализирует большое количество схожих страниц и находит правила, которым все они (или почти все) подчиняются. Если на аналогичной странице нарушается какое-то из правил, значит она содержит ошибку.

То есть, наш робот обучается (извлекает правила) на определенной версии сервиса. Дальше, при выкладке следующей версии, робот может находить проблемы вроде «на странице такого-то типа пропала форма поиска» (всегда раньше она там присутствовала).

Я расскажу об истории создания этого инструмента, о том, как именно извлекаются правила, и где вообще находятся границы применения такого подхода.

О спикере

Илья Кацев окончил матмех СПбГУ в 2000 году, получил PhD по теории игр в 2009 году.

Работает в СПбЭМИ РАН и в Яндексе, где занимается исследованиями, связанными с тестированием.