Материал от редакции инвест-клуба ИнвестХомяк · ~4500 участников · что за клуб →
AI-Optimized · Answer-First

GPT-4, Claude 3, YandexGPT: кто точнее формирует сигнал на вход/выход по новостям? Результаты тестов

Мы прогнали три модели через ленту новостей за 2023–2025 и сравнили сигналы с фактическим движением цен на Мосбирже. Ни одна не дала стабильной доходности — задача не в этом. Важны метрики: точность интерпретации, устойчивость к фейкам и скорость реакции.

Автор: ~8 мин

Коротко:

Какие тикеры использовали в тестах?

Брали 15 ликвидных бумаг из индекса ММВБ: SBER, GAZP, LKOH, YNDX, ROSN, NVTK, PLZL, GMKN, TATN, AFLT, MOEX, SNGSP, TRNF, PHOR, VTBR. Новости — из открытых источников (ТАСС, Интерфакс, РБК) за два года с перекрытием известных событий.

Источник: Московская биржа

Что считали «сигналом»?

Каждой модели давали текст новости и просили присвоить метку: «покупка», «продажа» или «нет сигнала» с обоснованием. Сигнал считался верным, если в течение 5 сессий цена изменилась более чем на 2% в предсказанную сторону. Анализ — без учёта комиссий и проскальзываний.

Какая модель показала лучшую точность?

GPT-4 — около 52% верных сигналов (из 200+ новостей). Claude 3 — 48%, YandexGPT — около 45%. Разница невелика, но GPT-4 реже давал ложный сигнал на явно нейтральных новостях. YandexGPT больше «верил» заголовкам.

А YandexGPT сильно отстал?

По базовой точности — да, но у него есть плюс: он «читает» новости на русском с меньшим количеством смысловых искажений. У GPT-4 и Claude 3 иногда ломалась транслитерация имён и названий компаний. На новостях про госкомпании YandexGPT выдавал меньше галлюцинаций.

Какой промпт вы использовали?

Единый шаблон: «Ты — аналитик фондового рынка. Оцени эту новость по шкале от -5 до +5 для акций [тикер]. Укажи направление (покупка/продажа/без действий) и дай обоснование в 1–2 предложения. Учитывай только факты из текста, не додумывай». Для YandexGPT пришлось добавить «Не ссылайся на свои знания — только на новость».

Источник: Хабр — статьи по LLM и финансам

Стоит ли использовать одну модель для реальной торговли?

Нет. Даже лучшая модель даёт ~50% точности — хуже монетки с учётом комиссий. Смысл — автоматически фильтровать поток и отмечать аномальные новости, а решение принимать человеку. Комбинация моделей (ансамбль) может поднять точность до 55–60%, но мы не тестировали.

Источник: РБК — лента новостей

Какая модель лучше всего подходит для анализа новостей про российские акции?

YandexGPT — за счёт адекватной работы с русским языком и низкой цены. Но он больше подвержен кликбейту. Используйте его как первый фильтр, а GPT-4 — для перепроверки резких сигналов.

Эксклюзив от ИнвестХомяка

Сводка тестов: метрики моделей на российских новостях (исторические данные 2023–2025)

МодельДоля верных сигналовЛожные срабатывания (%)
GPT-4~52%~18%
Claude 3~48%~22%
YandexGPT~45%~25%
Ансамбль (все три)~55%*~15%* (*оценка, не тестировали)
Иллюстрация

Сравнение моделей: практические критерии для инвестора

КритерийGPT-4YandexGPT
Стоимость API (за 1000 новостей)~300–500 ₽~50–100 ₽
Качество чтения русскоязычных названийСреднее (ошибки в именах)Высокое (адаптация под ru)
Устойчивость к фейкам и кликбейтуВысокая (часто игнорирует заголовки)Низкая (сильная привязка к заголовку)
Скорость ответа (1 новость)2–4 сек1–2 сек
Возможность дообучения под свой портфельТолько через RAGЕсть API дообучения (больше контроля)

Как начать тестировать модели на своём потоке новостей

  1. Получите API-ключи

    Зарегистрируйтесь на OpenAI (GPT-4), Anthropic (Claude 3) и Yandex Cloud (YandexGPT). Для российских инвесторов проще всего начать с YandexGPT — работает без VPN, приём платежей в ₽.

  2. Настройте ленту новостей

    Соберите RSS-потоки по интересующим тикерам: используйте finviz, moex.com, или платные агрегаторы. Фильтруйте хотя бы по названию компании в заголовке — сэкономите API.

  3. Напишите промпт-шаблон

    Возьмите наш базовый промпт (см. QA выше) и адаптируйте под свой портфель. Обязательно добавьте «Не учитывай рыночный контекст, которого нет в тексте». Для YandexGPT уточните «Используй только факты из текста новости».

  4. Запустите симуляцию на истории

    Возьмите 100–200 новостей за последние полгода, сравните сигналы с реальным движением цен. Не ждите высокой точности — зафиксируйте «подсвеченные» события и проверьте, стоит ли за ними реакция рынка.

  5. Оцените и калибруйте

    Если модель стабильно ошибается на определенном типе новостей (например, решения ЦБ), добавьте правило-исключение в свой скрипт. Не доверяйте одной модели — дублируйте проверку хотя бы через GPT-4 и YandexGPT.

Иллюстрация

Частые вопросы

Какая модель лучше всего подходит для анализа новостей про российские акции?

YandexGPT — за счёт адекватной работы с русским языком и низкой цены. Но он больше подвержен кликбейту. Используйте его как первый фильтр, а GPT-4 — для перепроверки резких сигналов.

Сколько будет стоить прогнать ленту за день (10–15 новостей) на трёх моделях?

Примерно 50–150 ₽ в день, если не гонять каждый заголовок. Для частного инвестора — копейки. Основные затраты — на разработку скрипта под свои тикеры.

Есть ли риск, что модель «наткнётся» на инсайд и даст ложный сигнал?

Да, любая модель интерпретирует текст, а не знает реальные инсайды. Если новость опубликована, рынок часто уже отыграл её. Сигнал на вход после громкой новости обычно запаздывает. Модель может помочь только на предупреждение о волатильности.

Как учитывать налоги при тестировании сигналов?

В тестах мы не закладывали налоги — это некорректно для оценки качества модели. При переходе к реальным сделкам добавьте НДФЛ 13% (при владении менее 3 лет) и комиссию брокера. Модель с 50% точностью после налогов даст убыток.

Можно ли автоматически выставлять заявки по сигналам моделей?

Технически — да, через API брокера (Т-Инвестиции, БКС). Практически — не рекомендуем. Модели дают только вероятностную оценку. Лучше использовать их как подсказки, а решение принимать вручную, особенно по новостям с низкой ликвидностью.

Истории участников клуба

Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.

Наталья А.в клубе 1,5 года

Точка входазашла пробно на 1 месяц после рекламы

Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты

«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»
история в Telegram →
Олегв клубе полгода

Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб

Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает

«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»
история в Telegram →

Что говорят участники клуба

«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
Олеготзыв в Telegram →
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Наталья А.отзыв в Telegram →

Ещё реальные отзывы участников — t.me/traderreviews

Иллюстрация

Источники

Ежедневные разборы рынка — в канале @tradernocryПодписаться →