В Seturon, моей платформе для образовательных продуктов, поймали замечательный баг. Переименовываем курс, интерфейс радостно сообщает, что всё сохранилось, сервер возвращает HTTP 201. Красота!
Только внутри ответа сервера — сообщение об ошибке, а в базе данных осталось старое название. То есть пользователь уверен, что всё хорошо, хотя на самом деле ничего не сохранилось.
И ведь такой сценарий вполне мог пройти обычную проверку: нажали «Сохранить», получили успешный ответ, разошлись довольные. 😁
А обнаружилось всё, когда тест заново открыл этот же курс в отдельной сессии и сверил результат с PostgreSQL.
Собственно, ради таких историй я и продолжаю допиливать свой TDPD — Test-Driven Product Development. Потому что агенты научились довольно бодро писать код и тесты, а вот проверять, что они действительно сделали нужную пользователю вещь, получается далеко не всегда.
В версии 0.14 добавил независимый аудит тестов. Теперь мало того, что QA написал сценарии и они успешно выполнились. Отдельный аудитор должен проверить, покрывают ли они реальные операции продукта, взаимодействия между сервисами и результат, который пользователь увидит после повторного открытия. Если обязательный сценарий пропущен — никакой технической приёмки.
Заодно наконец добрался до ещё одной проблемы собственного подхода: маркетинг нельзя оставлять на потом. Поэтому теперь в TDPD ещё до разработки разбираем JTBD, поисковые запросы, рынки, каналы продвижения и то, как человек вообще доберётся от статьи или рекламы до первого полезного результата.
А то можно прекрасно разработать продукт, покрыть его тестами и потом обнаружить, что о нём никто не знает. Тоже, знаете ли, сомнительное достижение.
Что уже проверили: 41 тест самого фреймворка прошёл в Docker, ещё два сквозных CRUD-теста курса — в Seturon с отдельной PostgreSQL. Сценарий отказа сохранения пока нужно проверить отдельно, так что шампанское открывать рано.
TDPD 0.14 подготовлена, доступна в GitHub, и я уже начал применять её в Seturon. Пока пилот использует проверенный коммит, а в основной ветке ещё 0.13.
И вот что мне интересно: вы когда тестируете сохранение данных, проверяете, что они действительно сохранились, или тоже иногда верите красивой зелёной плашке?

Дискуссия