Кросс-валидация — это проверка стратегии на разных временных периодах, чтобы убедиться, что она не переобучена на прошлых данных. Walk-forward тестирование делит историю на обучающий и тестовый набор, которые сдвигаются вперёд. Этот метод показывает реальную эффективность, а не иллюзию прибыльности на знакомых данных.
Переобучение происходит, когда стратегия идеально подогнана под исторические данные, на которых она разрабатывалась, но не работает на свежих данных. Например, параметры (периоды скользящих средних, уровни RSI) подбираются так, чтобы показать максимальный доход, но это обманчиво — алгоритм просто запомнил шум. Walk-forward валидация выявляет переобучение, тестируя на независимых периодах.
Окно обучения должно быть достаточно большим (обычно 60–70% всей выборки), чтобы алгоритм выучил реальные закономерности. Тестовое окно — 20–30%. Затем окно сдвигается (walk-forward) на 10–25% и процесс повторяется. Размер шага сдвига зависит от частоты торговли: для внутридневных систем меньше, для дневных больше.
Если стратегия показала прибыль на одной выборке, это ещё ничего не говорит. Нужно проверить, что результат не случайность: количество сделок, коэффициент Шарпа, максимальная просадка. Слишком мало сделок (<30 на тестовом периоде) означает, что результат может быть везением. Используй шаффлирование данных и пермутационные тесты для проверки.
Оптимизируй только на обучающем окне, никогда не на тесте. Перебери разумные диапазоны (например, период MA от 5 до 200 с шагом 5), выбери параметры с лучшей метрикой на обучении. Потом на тестовом окне просто запусти стратегию с этими параметрами без оптимизации — это даст честную оценку.
Собери метрики со всех окон: совокупный доход, просадку, коэффициент Шарпа, процент прибыльных сделок. Усредни их. Если средние результаты хороши, но разброс велик (например, одно окно +50%, другое −30%), стратегия нестабильна и рискует потерпеть убыток на реальных данных. Ищи комбинации параметров, которые стабильны во всех окнах.
Нейросети и LLM ускоряют анализ: можешь дать модели файл с результатами теста и попросить выявить пики просадки, периоды, когда стратегия отказала, или предложить гипотезы о причинах. ChatGPT или Claude помогут интерпретировать числа, но окончательное решение остаётся за тобой — модель ошибается в финансовых расчётах.
Минимум 4–5 окон, чтобы результаты были статистически значимы. На выборке в 3 года можно сделать 5–6 окон с 2-месячным сдвигом.
| Период | Обучение | Тест |
|---|---|---|
| Окно 1 | 2024-01 до 2024-08 | 2024-09 до 2024-10 |
| Окно 2 | 2024-03 до 2024-10 | 2024-11 до 2024-12 |
| Окно 3 | 2024-05 до 2024-12 | 2025-01 до 2025-02 |
| Окно 4 | 2024-07 до 2025-02 | 2025-03 до 2025-04 |
| Критерий | Walk-forward | Простой бэктест |
|---|---|---|
| Переобучение | Минимизирует | Высокий риск |
| Объём данных | Требует истории 2–3 года | Сойдёт и 1 год |
| Результат | Реалистичен | Завышен |
| Вычисления | Долгие (повторная оптимизация) | Быстрые |
| Применение | Боевые стратегии | Первый набросок |
Загрузи дневные или минутные котировки свечей, убедись в отсутствии пропусков и ошибок. Данные должны быть минимум за 2–3 года.
Раздели историю на обучающие (60–70%) и тестовые периоды (20–30%), сдвиг на 10–25%. Убедись, что они не перекрываются.
Перебери параметры стратегии (периоды индикаторов, уровни) только на обучающем окне. Фиксируй лучший набор.
Применив зафиксированные параметры, запусти стратегию на тестовом окне без изменений. Собери метрики.
Сдвинь окна вперёд и повтори шаги 3–4 для каждого нового окна. Усредни результаты по всем окнам.
Частая ошибка — слишком маленькое обучающее окно, которое недостаточно для выявления реальных закономерностей. Правило: обучение должно быть 60–70%, тест 20–30%. Третья ошибка — сдвиг окна слишком мал, что приводит к перекрытию данных. Оптимальный шаг сдвига составляет 10–25% в зависимости от частоты торговли. Неправильный выбор окон завышает результаты.
Коэффициент Шарпа показывает риск-доход; просадка указывает на устойчивость стратегии к убыткам; процент прибыльных сделок говорит о консистентности. Совокупный P&L интересен, но только в сравнении между окнами. Если результаты варьируются значительно в разных окнах, стратегия нестабильна. Следите за медианными значениями, а не максимумом: одно удачное окно не гарантирует успех на всех.
Выявите периоды, когда стратегия давала максимальные убытки, и проанализируйте рыночные условия того времени. Если просадка всегда происходит при волатильности выше определённого уровня, добавьте фильтр на волатильность. Сравните параметры в лучших окнах с худшими — может быть, параметры рабочие, но требуют адаптации к условиям. Итеративно улучшайте, затем повторите walk-forward тест.
Минимум 4–5 окон, чтобы результаты были статистически значимы. На выборке в 3 года можно сделать 5–6 окон с 2-месячным сдвигом.
Большой разброс означает, что стратегия чувствительна к рыночным условиям. Это не обязательно плохо, но требует управления риском. Проверь, не привязана ли стратегия к одному активу или одному тренду.
Да, обязательно. Включи реалистичные комиссии своего брокера и добавь 0,5–1,5 п.п. проскальзывания на вход и выход. Без этого результаты не соответствуют реальности.
Нет. Это инструмент, чтобы снизить риск переобучения и выбрать более стабильные параметры. Рынок меняется, и стратегия, работающая на истории, может сбойнуть при изменении условий.
Экспортируй CSV с метриками (дата, P&L, просадка, коэффициент Шарпа), загрузи в Claude или ChatGPT и попроси выявить паттерны. Модель подсказывает гипотезы, но проверяй вручную — AI может ошибаться в деталях.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/tradernocry
