Сравнение китайских AI-моделей для генерации кода

Что тестировали и как

Четыре ведущие китайские AI-модели (GLM 5.1, Qwen 3.6, Kimi K2.6, DeepSeek V4 Pro) проверили на практической способности адаптировать боевой код. Каждой модели дали одинаковую задачу без подсказок: создать AI-продавца для мебельного салона на основе продвинутого стартер-кита с реальным кодом.

Что они получали на вход

• Стартер-кит: 7600 строк продакшен-кода (47 файлов, тесты, админ-панель, защита от инъекций)
• Задача: Адаптировать под новую нишу и убедиться, что всё работает корректно
• Тестирование: Функциональность виджета, работа админ-панели, защита от промпт-инъекций

Испытуемые модели

Методология: код → функциональное тестирование → самооценка модели → перекрёстный код-ревью от GPT-4o и Claude 3.5 Sonnet. Всё на Open Router и Open CMD.

Что получилось: разбор каждой модели

GLM 5.1 — Явный победитель

Стоимость: ~$4 (100K токенов)

Результат: Виджет и админка работают корректно. Защита от промпт-инъекций срабатывает. Админ-панель полноценна: диалоги, лиды, база знаний, настройки с выбором моделей.

• ✅ Функциональный код с первой попытки
• ✅ Защита от атак реализована корректно
• ❌ Минус: нельзя перейти из лидов в диалог

Qwen 3.6 — Критические баги

Стоимость: ~$10 (244K токенов)

Результат: Виджет не работает (проблема с подключением API). Админка получилась минималистичной с критическими багами.

• ❌ Виджет не подключается к API
• ❌ Диалоги перемешались с данными другого проекта
• ❌ Отсутствуют ключевые настройки SLA и блокировок
• ⚠️ Дорогая и неудачная реализация

Kimi 2.6 — Функционален, но сыровато

Стоимость: ~$5 (170K токенов)

Результат: Виджет работает и защита от инъекций функциональна, но админка в полусыром состоянии.

• ✅ Виджет работает
• ✅ Защита от инъекций реализована
• ❌ Диалоги нельзя нормально прокрутить
• ❌ База знаний не удаляется
• ❌ Реализация хуже, чем у конкурентов

DeepSeek-V4 Pro — Провал

Стоимость: ~$11.2 (200K токенов)

Результат: Виджет и админ-панель не работают вообще. Тест полностью провален.

• ❌ Виджет не работает
• ❌ Админ-панель не открывается (нерабочая кнопка входа)
• ❌ Самый дорогой и худший результат одновременно

Код-ревью: как их оценили другие AI

Каждую модель попросили оценить собственный код из 80 баллов. Затем результаты проверили GPT-4o и Claude 3.5 Sonnet. Сравнение показало интересные закономерности.

Ключевой вывод: GPT-4o согласуется с самооценками моделей (разница 0–3 балла). Claude 3.5 Sonnet систематически завышает оценки, особенно когда оценивает код, который явно не работает. Это серьёзно ставит под сомнение надёжность Claude для объективного код-ревью.

Важно: Использовать Claude для оценки кода других моделей опасно. GPT-4o намного более объективен.

Что из этого следует

Китайские модели догнали западные

По бенчмаркам и на практике они на уровне OpenAI и Anthropic, но остаются значительно дешевле. GLM 5.1 стоит $4 за 100K токенов (для сравнения: GPT-4o минимум $15).

GLM 5.1 — явный выбор для генерации

• Быстрая и дешёвая
• Качественная реализация с адекватной самооценкой
• Может работать до 8 часов на задаче автономно
• Лучший баланс качество/цена

GPT-4o — отличный инструмент для проверки

Его оценки совпадали с самооценками моделей. Когда нужна объективность — используйте GPT-4o для код-ревью, а не Claude.

Идеальный стек на практике

1. Генерация кода: GLM 5.1 (дешево и качественно)
2. Проверка качества: GPT-4o (объективные оценки)
3. Отладка: Claude 3.5 Sonnet (на переговоры хорошо идёт, но для оценок неустойчив)

Совет: Не полагайтесь на одну модель для оценки. GLM 5.1 + GPT-4o — это рабочая комбинация для боевого кода.