Переобученная модель показывает 95% точности на истории, но в реальной торговле сливает депозит. Причина — модель запомнила случайные шумы, а не закономерности рынка. Без проверки на свежих данных такая «высокая точность» опаснее откровенно слабой модели.
Это когда алгоритм «заучивает» исторические случайности (единичные всплески, шум) вместо стабильных паттернов. На обучающей выборке метрики отличные, но на новых данных модель ошибается. Результат — убытки, даже если на бэктесте был профит.
Сравните метрики на train и test выборках. Если accuracy или Sharpe Ratio на обучающей выборке >95%, а на тестовой падает ниже 55% — явный признак. Также настораживает слишком высокая сложность модели (тысячи параметров при паре лет данных).
Разработчики подгоняют параметры под историю, видят «идеальные» сделки и верят в них. При этом забывают про комиссии, проскальзывания, ликвидность и смену режимов рынка. В результате живая торговля отличается от тестов на десятки процентов.
Profit factor (отношение прибыльных сделок к убыточным), максимальная просадка (max drawdown), коэффициент Шарпа (Sharpe ratio), количество сделок. Но все они должны считаться на out-of-sample данных — как минимум на 30% хронологии, не участвовавшей в обучении.
Это проверка на данных, которые модель не видела во время обучения. Лучший вариант — хронологический split (обучение на 2015–2022, тест на 2023–2025). Если метрики резко упали — переобучение. Дополнительно используют walk-forward (скользящее окно).
Кратковременно — да, если рынок случайно повторяет поведение обучающего периода. Но рано или поздно режим меняется, и убытки перекрывают мнимую прибыль. Нет модели, устойчивой к переобучению без контроля.
Нельзя. Требуйте out-of-sample отчёт и реальные сделки на демо-счёте. Если разработчик отказывается — скорее всего, модель переучена.
| Метрика | На обучающей выборке (train) | На тестовой выборке (test) |
|---|---|---|
| Accuracy сделок | 96,3% | 53,1% |
| Sharpe Ratio | 3,2 | 0,4 |
| Максимальная просадка | 4,8% | 38,7% |
| Средний результат сделки | +2,1% | -1,4% |
| Критерий | Переобученная модель | Устойчивая модель |
|---|---|---|
| Количество параметров | > 5000 | < 100 |
| Результат на бэктесте (train) | 99% | 72% |
| Результат на форвард-тесте (out-of-sample) | 48% | 68% |
| Стабильность просадки | Резкие провалы | Плавные снижения |
| Эффективность на случайных данных | Неотличима от шума | Показывает уровень случайности |
Обучите модель на данных с 2015 по 2022 год. Оставьте 2023–2025 для out-of-sample теста. Не используйте случайное перемешивание — это замаскирует переобучение.
Зафиксируйте accuracy, Sharpe ratio, максимальную просадку. Если разница по Sharpe больше 1,5–2 пункта — модель переучена. Допустимый разрыв — до 20% относительных.
Обучайте модель на скользящих окнах (например, 3 года внутри, 1 год тест). Если результаты прыгают от окна к окну — неустойчивость, признак переобучения.
Подайте на вход белый шум или перемешанные метки. Устойчивая модель покажет accuracy около 50%. Если модель показывает 70% — она выучила шум.
Переобученные модели часто совершают сотни сделок в день. С учётом комиссий брокера (0,05–0,3% на сделку) и НДФЛ 13% на купоны/прибыль реальная доходность может стать отрицательной.
Нельзя. Требуйте out-of-sample отчёт и реальные сделки на демо-счёте. Если разработчик отказывается — скорее всего, модель переучена.
Да, НДФЛ 13% с прибыли от продажи ценных бумаг (для резидентов РФ). Также облагаются купоны облигаций. Сама модель — не налоговая льгота.
Минимум раз в квартал, лучше — раз в месяц, с ретестом на новых данных. Рынок меняется, и старые паттерны перестают работать.
Используйте кросс-валидацию по времени, ограничьте число параметров, добавляйте регуляризацию (L1/L2). Для инвестора проще купить ETF, чем ловить сигналы переобученной модели.
Остановите робота, зафиксируйте убыток. Проанализируйте журнал сделок на предмет совпадений с обучающим периодом. Скорее всего, вы столкнулись с переобучением — пересмотрите архитектуру.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
