Частые вопросы
Почему ИИ иногда пишет неправильно в уведомлениях?
Обычно виноват нечёткий промпт: если не сказать явно, модель додумает детали. Проверьте, что JSON с данными валиден и содержит только нужные поля. Если это не помогает, уменьшите температуру (параметр temperature=0.7 вместо 1.0) — модель будет консервативнее.
Могу ли я хранить уведомления в локальной модели?
Да, если у вас есть GPU-сервер. Модели вроде Llama 3 или Mistral работают offline, быстрее и дешевле API. Но на русском языке они слабее, чем ChatGPT или Claude. Компромисс: используйте локальную модель для черновиков, а финальные уведомления проверяйте либо модератором, либо отправляйте через API для переполировки.
Как ограничить расходы на API?
Используйте более дешёвую модель (Gemini вместо GPT-4, Haiku вместо Sonnet). Кэшируйте результаты на день (одинаковый статус = одинаковое уведомление). Батчируйте запросы (отправляйте 10 заказов за раз в одном промпте), а не по одному. Установите максимум токенов в ответе (max_tokens=100 для СМС).
Можно ли использовать бесплатные модели вроде Mistral или GPT-4 mini?
Бесплатных нет, но GPT-4o mini и Haiku очень дешёвые ($0,15 и $0,8 за миллион токенов). Mistral доступна через некоторые платформы (Hugging Face) по подписке. Если бюджет ограничен, начните с GPT-4o mini и тестируйте — качество достаточное для стандартных уведомлений.
Как тестировать уведомления перед запуском в проде?
Создайте тестовый набор заказов с разными статусами и языковыми вариантами (фамилии, города, суммы). Пропустите их через ИИ в песочнице, соберите результаты в таблицу, попросите team-членов оценить тон и ошибки. Используйте автоматические чеки: регулярные выражения для формата (длина текста, валидные символы), явные проверки на чёрные слова.