Частые вопросы
Что такое кэширование контекста?
Некоторые модели (Claude, GPT-4) позволяют отправить большой документ один раз, затем обрабатывать вопросы дешевле. Второй запрос к кэшированному документу стоит на 50% дешевле. Работает через API, не в веб-версии.
Может ли малое окно дать неправильный ответ?
Да, если упустить важное. Пример: передали только цену акции, забыли про дивиденды. Ответ будет неполным. Всегда проверяйте, что критичное в окне.
Есть ли универсальный размер окна?
Нет. Расчёты — 1K–3K, аналитика — 10K–20K, анализ контрактов — 50K+. Начните с минимума, добавляйте данные, если ответ неполный.
Как экономить на больших данных?
Используйте дешёвые модели (Haiku, GPT-4o mini), передавайте готовые выборки, применяйте кэширование (API), разбивайте на части.
Русский текст сжимается иначе?
Русский текст плотнее английского: на 15–20% больше информации за счёт спряжений и склонений. Если англоязычный текст сжимается на 50%, русский — на 35%. Тактика та же.