Овerfitting — это переобучение модели, когда нейросеть натренирована на исторический шум вместо закономерностей. Модель идеально предсказывает прошлое, но падает на новых данных. Проверить проблему помогает разделение выборки на обучение и тест, кросс-валидация и честная оценка на будущих периодах.
Овerfitting — это явление, когда модель настолько хорошо заучивает исторические данные, что её параметры становятся оптимизированы не под реальную закономерность, а под шум и случайные колебания. Торговый бот с овerfitting может показать идеальный результат на бэктесте, но не заработает в реальной торговле. Причина — модель на 100% приспособилась к прошлому, но рыночные условия меняются.
Первый признак — колоссальная разница между результатом на обучающей выборке и тестовой. Если на истории ваша нейросеть теряет 0,1%, а на свежих данных минус 5% — это овerfitting. Второй признак — чрезмерная сложность модели: много слоёв, параметров или правил, которые ловят каждый зигзаг цены. Третий — низкий Sharpe ratio в реальной торговле при красивом графике бэктеста.
Овerfitting показывает чёткий паттерн: бэктест восхищает, реальность разочаровывает. Обычная просадка — это вполне предсказуемые периоды убытков в рыночных циклах, её видно и в тесте, и в реальности. Проверьте: если ваша модель показывает результат выше среднерыночного на 50% в бэктесте, но совпадает с рынком в реальности — это овerfitting.
Кросс-валидация на несколько фолдов (fold-ов) — это самый надёжный способ. Разделите историю на 5—10 непересекающихся периодов, натренируйте модель на четырёх и проверьте на пятом. Повторите процесс. Если результаты сильно разнятся между фолдами, виноват овerfitting. Дополнительно используйте out-of-sample тест — отложенный период, который модель видела только в тесте, никогда во время обучения.
Используйте регуляризацию — добавьте штраф за сложность модели (L1 или L2). Ограничьте количество эпох обучения и следите за метриками на валидационной выборке: если они начали расходиться, остановитесь (Early Stopping). Добавьте шум в данные, используйте Dropout и уменьшайте размер батчей. Главное — не переделывайте параметры под каждый бэктест.
Да, если точность достигнута за счёт выявления реальной закономерности, а не шума. Проверьте: натренируйте модель на разных периодах и посмотрите, синхронны ли результаты. Если на каждом периоде модель сохраняет края±5—15%, это признак реальной закономерности, не овerfitting.
Нет, всегда остаётся риск перенастройки. Но правильное разделение данных, кросс-валидация и честная оценка снижают вероятность с 80% до 5—15%.
| Метрика | На обучении | На тесте |
|---|---|---|
| Точность (Accuracy) | 98,5% | 54,3% |
| Sharpe ratio | 2,8 | 0,4 |
| Максимальная просадка | 8,2% | 47,6% |
| Win rate | 78% | 52% |
| Метод | Эффективность | Сложность реализации |
|---|---|---|
| Увеличение объёма данных | Высокая | Низкая |
| Кросс-валидация | Высокая | Средняя |
| Регуляризация (L1/L2) | Средняя | Низкая |
| Ранняя остановка (Early Stopping) | Средняя | Низкая |
| Снижение сложности модели | Высокая | Высокая |
Разделите историю на три части: обучение (60—70%), валидация (15—20%) и тест (15—20%). Тест должен быть абсолютно не видим для модели во время обучения. Используйте временной порядок: никогда не перемешивайте дни местами.
Обучите нейросеть на первой выборке (обучение), следите за метриками валидации. Если loss растёт на валидации, пока на обучении падает — это красный флаг овerfitting. Остановитесь раньше, не доводите до минимального loss.
Примените готовую модель на данные, которые она никогда не видела. Если результаты сравнимы с валидацией — модель в порядке. Если резко упали — овerfitting подтверждён.
Разделите историю на 5—10 фолдов, повторите обучение и тестирование. Посчитайте среднее и стандартное отклонение результатов. Большое отклонение между фолдами указывает на нестабильность и овerfitting.
Запустите модель на текущих/будущих данных небольшим объёмом (демо-счёт, минимальный размер позиций). Если результаты близки к бэктесту — хорошо. Если упали вдвое — берегите капитал, это овerfitting.
Нет, всегда остаётся риск перенастройки. Но правильное разделение данных, кросс-валидация и честная оценка снижают вероятность с 80% до 5—15%.
Раз в месяц-два для стабильных рынков, чаще (неделю-две) для волатильных. Не переучивайте постоянно, иначе ловите краткосрочный шум.
Не всегда. Если точность выросла на 5%, а на валидации упала — это овerfitting, не прогресс. Смотрите на стабильность результатов, не на абсолютные цифры.
Да, можно попросить модель анализировать ваши метрики: «Я получил Sharpe 2,4 на бэктесте и 0,3 в реальности. Это овerfitting?» Модель укажет на дисперсию и предложит проверки.
Только если он прошёл кросс-валидацию и out-of-sample тест, а параметры не менялись под конкретный период. Один красивый период — неубедительно, пять периодов с похожим результатом — уже веское подтверждение.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
