Модель выдаёт прогноз с уверенностью 95% — а ошибается в каждом третьем случае. Это не баг, а особенность калибровки: нейросеть не знает, чего она не знает. Для инвестора разница между «уверен» и «прав» — стоимость позиции.
Из-за сбоя калибровки. Модель учится на данных, где паттерны повторяются (например, тренд «бычий» на MOEX), а на редких событиях (внезапный указ ЦБ РФ, дефолт эмитента) она «экстраполирует» обученные шумы. В результате модель «думает», что ситуация типична, и выдаёт 95% уверенности при реальной точности 50–60%. Это не ложь — это статистический артефакт, который лечится только проверкой на контрфактах.
Попросите модель явно указать распределение вероятностей, а не одно число. Промпт: «Оцени вероятность роста акций SBER до 350 ₽ за месяц в виде диапазона (P10–P90) и поясни, какие два внешних фактора могут сделать прогноз неверным». Если модель даёт узкий диапазон (350–355 ₽) при высокой дисперсии рынка (волатильность 40%+) — уверенность завышена. Сравните с реальным движением за последние 20 торговых сессий.
Промпты с принудительным учётом неопределённости: «Приведи три сценария: базовый, оптимистичный и пессимистичный. Для каждого укажи вероятность в % и конкретный тикер, который сильнее всего пострадает в пессимистичном сценарии». Или: «Дай прогноз курса USD/RUB через месяц, но если твоя уверенность ниже 60% — вместо цифры напиши “неопределённо” и перечисли 2 внешних фактора». Такие запросы валят модель в область самопроверки и снижают ложные 90%.
В РФ основные генеративные модели — YandexGPT (нейросеть Яндекса) и GigaChat (Сбер). Они обучены на русскоязычных данных (включая новости RBC, MOEX, данные banki.ru), но калибровка у них непубличная. Практическая проверка: возьмите 10 сделок на исторических данных (2024–2025) по ликвидным акциям (LKOH, SBER, GAZP), запросите у каждой модели прогноз на день и уверенность. Посчитайте долю совпадений. Если модель даёт 80% уверенности, а реальная точность ниже 50% — калибровка сбита.
ФНС (nalog.gov.ru) не разделяет убытки от решений человека и ИИ — все сделки учитываются в 3-НДФЛ по факту. Но если вы докажете, что прогноз был дан моделью с указанием высокой уверенности, а реальность опровергла его — это не освободит от налога на прибыль (13–15% для резидентов РФ). Риск: модели-галлюцинации могут привести к убыткам, которые не вычтут из налога, если сделка не была зафиксирована как внебиржевая или по нестандартному инструменту (крипта, фьючерсы на ИИ-индексы).
Прямых бенчмарков нет. Лучший источник — публичные отчёты на Habr.com (статьи про калибровку временных рядов) и обсуждения на Smart-lab.ru. Например, пользователи сравнивают точность LSTM-моделей на MOEX: уверенность 85% при реальной точности 40% — типичный результат. Также смотрите на данные cbr.ru: если модель даёт прогноз ключевой ставки, сверьте его с реальными заседаниями ЦБ за последние 2 года.
Да, через изменение промпта (см. шаг 4) — добавление «если не уверен — откажись от ответа». Точность не падает, но снижается доля «ложных» уверенных ответов.
| Задача | Модель / Метод | Заявленная уверенность |
|---|---|---|
| Классификация новостей (бычий/медвежий сигнал по SBER) | ChatGPT-4 (2025) | около 90% |
| Прогноз волатильности на неделю (RVI) | YandexGPT (финансовый промпт) | 75–85% |
| Распознавание тренда по графику (GAZP) | GigaChat (визуальный анализ цены) | 90–95% |
| Оценка риска дефолта облигаций (ОФЗ vs корп. бонды) | Claude 3.5 (с данными MOEX) | узкий диапазон P10–P90 |
| Критерий | Обычный запрос («дай прогноз SBER») | Запрос с калибровкой («дай прогноз + 3 сценария + уверенность») |
|---|---|---|
| Качество ответа | Высокая уверенность, низкая информативность | Диапазон вероятностей, явные риски |
| Прозрачность | Непонятно, на чём основана уверенность | Модель вынуждена «разложить» неопределённость |
| Уверенность (завышение) | Почти всегда завышена (90–95%) | Снижается до реалистичных 50–70% |
| Риск переобучения под запрос | Максимальный (модель подгоняет ответ под типичные паттерны) | Средний (контрфакты заставляют модель выходить за рамки обучающей выборки) |
| Требования к промпту | Минимальные (один простой вопрос) | Высокие (нужно вручную задать структуру, иначе модель игнорирует калибровку) |
Возьмите 20–30 реальных сделок (тикеры: SBER, LKOH, GAZP) за последний квартал. Запросите у нейросети прогноз на 1 день с указанием уверенности. Зафиксируйте дату, прогноз, уверенность (в %), исход (рост/падение).
Для каждого уровня уверенности (например, 80–90%) посчитайте долю правильных ответов. В Excel: столбец «уверенность», столбец «факт (1 — верно, 0 — неверно)». Сгруппируйте по диапазонам. Если при 90% уверенности доля верных <50% — калибровка сбита.
Скопируйте промпт, но измените один ключевой параметр (например, дату новости). Промпт: «Что будет с SBER, если ключевая ставка вырастет до 22%?» и «Что будет, если ставка останется прежней?». Сравните уверенность: если она не снизилась при кардинальной смене сценария — модель «переобучена» и не чувствительна к условиям.
Включите в промпт требование: «Если твоя уверенность выше 85%, объясни, почему рынок может ошибиться (3 причины). Если ниже 50% — не давай числовой прогноз, только диапазон». Это принудительно сбивает излишнюю уверенность и добавляет контекст.
На основе п.2 определите эмпирический порог: например, если ваша модель даёт уверенность выше 80% — реальная точность ниже 40%. Тогда все прогнозы с уверенностью >80% считайте как 50% (переоценка). Не используйте такие прогнозы для торговли с плечом или без стоп-лосса.
Да, через изменение промпта (см. шаг 4) — добавление «если не уверен — откажись от ответа». Точность не падает, но снижается доля «ложных» уверенных ответов.
Раз в квартал или после любого значимого события (изменение ключевой ставки, санкции, смена президента ЦБ). Калибровочная кривая «съезжает» при смене режима рынка.
Высокая чувствительность — у бумаг с низкой ликвидностью (второй эшелон) и высоковолатильных (TCSG, OZON). У ликвидных (SBER, LKOH) калибровка стабильнее — разрыв уверенности и точности меньше.
50% — это «не знаю». Не используйте такой прогноз в качестве торгового сигнала. Лучше запросить обновлённый промпт с историей за последние 5 сессий. Если 50% повторяется — модель «зависла», ищите альтернативный источник (MOEX, Smart-lab).
Да. YandexGPT, GigaChat, ChatGPT — разные обучающие выборки и архитектуры. Калибровка для одной модели не переносится на другую. Проведите шаги 1–2 для каждой модели, которую используете.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
