Оценка качества промпта — это не интуиция, а система метрик: точность, релевантность, консистентность. Каждый инвестор, работающий с ИИ для анализа портфеля или отсева идей, должен знать, насколько надёжен получаемый ответ. Практически это означает: запустить промпт на наборе тестовых данных, сравнить результаты с эталоном и просчитать процент совпадений.
Валидация — проверка того, что промпт даёт корректные и пригодные результаты на примерах, которые модель не видела. Вы задаёте нейросети известные вам вопросы с известными правильными ответами, смотрите, насколько часто модель совпадает с эталоном. Это означает, что промпт готов к боевому использованию на новых данных.
Точность (процент совпадений с эталоном), полнота (находит ли модель все релевантные элементы в контексте), F1-score (усреднённая гармоническая мера точности и полноты) и ROUGE-score для текстовых ответов. Для ранжирования (например, отсев акций) считают NDCG. Выбор метрики зависит от задачи: для бинарного решения (купить/не купить) нужна точность, для поиска всех релевантных бумаг — полнота.
Минимум — 20–50 примеров для первичной оценки, лучше 100–200. Величина зависит от стоимости ошибки: если неправильный анализ может привести к убыткам, тестовый набор больше. Для личного портфеля из 10–15 акций достаточно 30 примеров с разными сценариями (рост, падение, боковик).
Проверьте промпт на данных, которые явно противоречат его логике (например, дайте неполный контекст, просите анализ акции без финдаты). Если модель снижает уверенность или явно указывает на недостаток данных — хороший знак. Если же отвечает уверенно на невозможное — это переобучение на примеры, а не понимание задачи.
Да, даже полезно. Если GPT-4 и Claude дают одинаковый ответ на ваш промпт, это выше вероятность, что он обоснован. Но помните: разные модели имеют разные слепые пятна (GPT может переоценить тренд, Claude — быть консервативнее). Полагаться на большинство голосов модельных ответов безопаснее, чем на одну.
Уточните инструкцию: добавьте примеры правильных ответов прямо в промпт (few-shot learning), разделите сложную задачу на этапы (chain-of-thought), ограничьте контекст, чтобы модель не отвлекалась. Затем переоцените на том же тестовом наборе. Даже небольшие улучшения в формулировке часто дают 5–15% рост точности.
Это зависит от цены ошибки. Для сигналов входа в сделку — 70% и выше, для отсева заведомо плохих идей — 60%. Если неправильный совет потеряет вам 5% портфеля, требуйте 85%+. Помните: модель ошибается, и это нормально; важно знать, насколько часто.
| Метрика | Как считается | Когда используется |
|---|---|---|
| Точность (Accuracy) | Количество правильных ответов / Общее количество примеров × 100% | Бинарная классификация (купить/не купить, сигнал верен/неверен) |
| Полнота (Recall) | Найденные релевантные ответы / Всего релевантных ответов × 100% | Поиск всех акций по критериям, отсев кандидатов из больших списков |
| F1-score | 2 × (Точность × Полнота) / (Точность + Полнота) | Несбалансированные наборы данных, когда нужен компромисс между точностью и полнотой |
| ROUGE-score | Доля совпадающих n-грамм между ответом модели и эталоном | Текстовые ответы, суммаризация, пояснения аналитических выводов |
| Критерий | Ручная оценка | Автоматическая проверка |
|---|---|---|
| Скорость | Медленно: 20–30 примеров в час | Быстро: тысячи примеров за минуты |
| Затраты на скорингв | Требуется человек, занимающий время | Один раз настроит скрипт, потом автомат |
| Субъективность | Высокая: мнение может колебаться | Низкая: метрика либо совпадает, либо нет |
| Захват нюансов | Может уловить контекстные тонкости | Пропустит сложные случаи, требующие суждения |
| Масштабируемость | Не масштабируется на большие наборы | Масштабируется на миллионы примеров |
Соберите 30–50 примеров с известными правильными ответами. Это могут быть исторические сигналы, финданные из Мосбиржи с результатом сделки через 30 дней, или список акций, которые вы считаете хорошими кандидатами по заранее определённым критериям.
Подайте тестовый пример на вход промпта, получите ответ модели. Делайте это одинаково для всех примеров (одна модель, одна температура, одна версия промпта). Сохраняйте результаты в таблицу.
Рядом с ответом модели запишите правильный ответ. Для бинарной задачи — совпадает/не совпадает. Для ранжирования — запишите место модели в списке и место эталона, посчитайте разницу позиций.
Через простые формулы (или Python, если примеров много) определите точность, полноту, F1. Для текстовых ответов используйте ROUGE или попросите ChatGPT/Claude оценить схожесть двух ответов по шкале 1–5.
На основе ошибок уточните инструкцию, добавьте примеры в сам промпт, разделите задачу на этапы. Запустите валидацию ещё раз на том же наборе (или новом, чтобы избежать переобучения). Если точность выросла на 5–10%, промпт готов.
Это зависит от цены ошибки. Для сигналов входа в сделку — 70% и выше, для отсева заведомо плохих идей — 60%. Если неправильный совет потеряет вам 5% портфеля, требуйте 85%+. Помните: модель ошибается, и это нормально; важно знать, насколько часто.
Да, обязательно. Разные модели по-разному интерпретируют инструкции, работают с контекстом, калибруют уверенность. На Claude промпт может работать лучше или хуже, чем на GPT, даже если сам текст промпта не изменился. Проверьте на 10–20 примерах.
Нет. После первой валидации эти примеры уже не тестовые, а учебные — они повлияли на ваше решение улучшить промпт. Для честной оценки берите свежие примеры или делите исходный набор на трени и тест 70/30 с самого начала.
Это нормально при температуре >0. Запустите промпт 3–5 раз на одном примере и смотрите, насколько часто модель соглашается сама с собой. Если в 80% запусков один и тот же ответ — модель уверена. Если ответы скачут — либо температура слишком высокая, либо промпт недостаточно уточнен.
Потому что субъективное ощущение «модель мне помогает» не скажет, ошибается ли она на 30% или на 50%. Когда вы инвестируете реальные деньги, чётные числа важнее впечатлений. Кроме того, при частом использовании промпта легко привыкнуть к его слепым пятнам и перестать их замечать.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
