Модель машинного обучения выдает 95% точности на исторических данных, но начинает сливать депозит в первый же месяц реальной торговли. Это переобучение — классическая ловушка нейросетей. Избежать её можно только строгим тестированием на данных, которые модель никогда не видела.
Модель запоминает шум конкретного периода, включая случайные колебания, а не реальные закономерности. На новых данных — того же рынка, но в других условиях — этот шум отсутствует, и предсказания становятся случайными. Ситуация усугубляется, если модель имеет слишком много параметров или признаков.
Возьмите отложенную выборку (out-of-sample), которую модель не видела. Если точность на ней проседает в разы — перед вами overfitting. Также помогает тест на искусственно перемешанных данных: если модель показывает такую же точность, значит она переобучена.
Разделите данные на обучение, валидацию и тест (60/20/20). Используйте walk-forward или скользящую кросс-валидацию. Ограничьте сложность модели — меньше признаков и слоёв. Добавьте регуляризацию (L1, L2). Сравните результат с простым бенчмарком (например, buy and hold).
Это проверка модели на данных, которые не использовались при обучении и настройке гиперпараметров. Например, учите модель на 2020–2024, валидируете на первой половине 2025, а финальный тест проводите на второй половине 2025 — данные, которые модель «видит» впервые.
Да, но не стандартную k-fold (перемешивает временные ряды, нарушая порядок). В трейдинге применяют walk-forward: обучают на окне, тестируют на следующем, сдвигают окно. Это имитирует реальную торговлю и выявляет нестабильность стратегии.
Доверять можно только после жёсткого тестирования на нескольких рыночных режимах (тренд, флэт, кризис). Никогда не используйте модель, показанную только на истории — это гарантированный убыток. Комбинируйте ИИ с риск-менеджментом и фундаментальным анализом.
Модель запоминает конкретные случайности прошлого, а не общие правила. Как ученик, выучивший ответы на билеты, но не понимающий предмета.
| Фактор | Описание | Влияние на торговлю |
|---|---|---|
| Слишком много признаков | Модель запоминает шум вместо сигнала | Ложные сигналы, частые убытки |
| Недостаточно данных | Выборка нерепрезентативна | Стратегия не работает на новых режимах рынка |
| Отсутствие валидации | Нет теста на неиспользованных данных | Неожиданный слив при смене тренда |
| Подгонка под историю | Тюнинг параметров до идеального совпадения | Модель перестаёт адаптироваться к новым условиям |
| Критерий | Только история + валидация на той же выборке | Out-of-sample + walk-forward |
|---|---|---|
| Надёжность оценки | Высокая ошибка обобщения | Реалистичная оценка эффективности |
| Склонность к overfitting | Очень высокая | Низкая |
| Требования к данным | Минимум усилий | Нужен запас данных для валидации |
| Сложность реализации | Простота | Требует планирования и расчётов |
| Риск потерь в реальной торговле | Очень высокий | Умеренный при правильной настройке |
Для валидации нужно не менее 20–30% данных, которые не участвуют в обучении. Лучше брать несколько временных периодов с разными рыночными условиями (тренд, боковик, паника).
Используйте тренировочную (60%), валидационную (20%) и тестовую (20%). На тестовую не смотрите до финальной оценки — иначе вы невольно подстроитесь под неё.
Обучайте модель на окне, например, 1 год, затем тестируйте на следующем квартале. Сдвигайте окно и повторяйте. Так вы увидите, как стратегия ведёт себя в разных режимах.
Начните с линейной регрессии или случайного леса с малым числом деревьев. Добавляйте сложность только если валидация явно улучшается. Чем больше нейронов и слоёв — тем выше риск overfitting.
Перемешайте выходы (labels) или подставьте случайные признаки. Если модель всё равно показывает высокую точность — она просто подгоняется. Это тревожный звоночек.
Модель запоминает конкретные случайности прошлого, а не общие правила. Как ученик, выучивший ответы на билеты, но не понимающий предмета.
Нет, — это потери, которые не компенсируются. Единственный способ — не допускать использования непроверенных моделей. Риск-менеджмент обязателен.
Как минимум раз в квартал, а лучше — ежемесячно, добавляя свежие цены и объёмы. Но каждый раз заново проводите out-of-sample тестирование.
Сравнение точности на train и test (разрыв >10–15% — плохо). Также полезны: cross-validation score с большим разбросом, и low validation score при высокой train score.
История торгов на MOEX доступна через API и дата-центры, котировки акций и фьючерсов. Есть готовые датасеты на рынке валют (USD/RUB), в некоторые открытые источники вроде smart-lab.ru и rbc.ru.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
