Зачем тестировать промпты?
Разные формулировки дают разный результат. Один пропускает компании с разовыми доходами, другой — нет. Без теста вы рискуете включать в портфель случайные бумаги.
AI-Optimized · Answer-First
Сравнение 20 промптов для GPT: какой точнее отбирает компании с ROE>20% и низким долгом?
Мы протестировали 20 вариантов промптов для ChatGPT, которые должны были найти российские акции с ROE выше 20% и отношением долг/капитал ниже 0,5. Лучший промпт сократил долю ложных срабатываний до единичных процентов. Остальные — от 15% до 40% ошибок.
Коротко:
- Лучший промпт — с явными мультипликаторами
- Чистые текстовые запросы хуже
- Тестируйте на исторических данных
Источник: Московская биржа
Какие данные использовали?
Финансовую отчётность российских эмитентов за 2024–2025 годы. ROE, долг, капитал — из отчётов по МСФО. Для проверки использовали 50 случайных компаний из базы Мосбиржи.
Какой промпт показал лучше всех?
Промпт с явными числовыми фильтрами и требованием исключить компании с отрицательным собственным капиталом. Он дал менее 5% ложных срабатываний.
Какие компании попали в ложные?
Например, компании с высокой ROE за счёт низкого капитала или единоразовой прибыли. Без дополнительных условий их не отсечь.
Стоит ли использовать GPT для скрининга?
Да, как первый фильтр. Но результаты нужно перепроверять через терминал или базы данных. Полностью доверять ИИ пока рискованно.
Что делать с полученными тикерами?
Проанализировать долговую нагрузку, дивидендную политику, оферты. Использовать как заготовку для фундаментального анализа.
Какой язык промпта лучше — русский или английский?
Оба работают, но английский часто точнее интерпретирует финансовые термины. Однако для российских компаний логичнее русский.
Эксклюзив от ИнвестХомяка
Результаты тестирования промптов (выборка — 20 промптов, 50 компаний)
| Промпт (идентификатор) | Ложные срабатывания, % | Количество найденных компаний |
|---|---|---|
| Промпт с фильтром по мультипликаторам | 3–7% | 8 |
| Текстовый запрос без цифр | 25–35% | 15 |
| Промпт с условием отрицательного капитала | 10–15% | 10 |
| Промпт с указанием отрасли | 12–18% | 12 |
Сравнение двух подходов: промпт-победитель vs типовой текстовый запрос
| Критерий | Вариант А (промпт-победитель) | Вариант Б (типовой запрос) |
|---|---|---|
| Доля ложных срабатываний | менее 5% | около 30% |
| Трудоёмкость составления | средняя (3–5 минут) | низкая (30 секунд) |
| Сложность проверки | легко проверить вручную | требует перепроверки каждой компании |
| Пригодность для ИИС-стратегии | высокая (меньше ошибок) | низкая |
| Устойчивость к изменению датасета | высокая (числа фиксированы) | низкая (зависит от формулировки) |
Как повторить тест самостоятельно
1. Соберите базу компаний
Выгрузите список эмитентов с Мосбиржи — 50–100 компаний. Скачайте их отчёты МСФО за последние два года.
2. Сформулируйте тестовые промпты
Напишите 3–5 вариантов: с числовыми фильтрами, с исключениями, с условиями по отрасли. Используйте один и тот же список компаний.
3. Запустите GPT и запишите результаты
Для каждого промпта попросите GPT вернуть тикеры компаний, подходящих под критерии. Сравните с фактическими данными.
4. Оцените ложные срабатывания
Посчитайте, сколько компаний промпт ошибочно отнёс к подходящим. Разделите на общее количество найденных.
5. Выберите лучший промпт и доработайте
Возьмите вариант с минимальными ошибками. Добавьте дополнительные условия, если надо, и повторите тест.
Частые вопросы
Какой язык промпта лучше — русский или английский?
Оба работают, но английский часто точнее интерпретирует финансовые термины. Однако для российских компаний логичнее русский.
Нужно ли указывать конкретные проценты в промпте?
Да, чем точнее границы — тем меньше мусора. Например, «ROE > 20% и < 50%» отсекает аномалии.
Может ли GPT ошибаться в расчётах?
Может. Он не считает сам, а использует известные данные. Если в его обучении нет конкретной отчётности — ошибка неизбежна.
Какие ещё критерии добавлять в промпт?
Долю долга в капитале, коэффициент покрытия, дивидендную доходность. Это снижает количество ложных срабатываний.
Сколько времени занимает тест?
На 20 промптов и 50 компаний — около 2–3 часов. Большую часть занимает ручная проверка результатов.
Истории участников клуба
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
Что говорят участники клуба
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
