Тестовый сценарий и критерии оценки
Оба инструмента получили идентичный реальный проект: создание админ-панели для стоматологической клиники. Промт был одинаковым, без подсказок и направления.
Оценку проводили по 8 независимым критериям, каждый из которых максимально засчитывал 10 баллов (итого 80 возможных):
- Безопасность кода (валидация входных данных, защита от инъекций)
- Полнота функционала согласно заданию
- Качество архитектуры (модульность, масштабируемость)
- Тестовое покрытие (unit-тесты, интеграционные тесты)
- Читаемость и соглашения по стилю кода
- Документация и комментарии
- Обработка ошибок и граничных случаев
- Производительность и оптимизация
Важно: Тест проводился на реальном коммерческом проекте, что позволяет оценить результаты в боевых условиях, а не на синтетических примерах.