Backtesting — проверка торговой стратегии на исторических данных до того, как в неё идут реальные деньги. Для LLM-стратегий это особенно критично: модель может генерировать убедительные сигналы, которые разваливаются на рыночных аномалиях, комиссиях или проскальзывании. Без статистики по Sharpe Ratio, Maximum Drawdown и Win Rate торговать по ИИ-сигналам — угадывание, а не система.
Это среда, которая прогоняет торговую логику через исторические OHLCV-данные и возвращает статистику: доходность, просадки, количество сделок, Sharpe Ratio. Для LLM-стратегий важно, что framework учитывает комиссии и проскальзывание — без них бэктест завышает результат в 1,5–3 раза. Риск: переобучение (overfitting) на истории без out-of-sample валидации.
Минимальный набор: Sharpe Ratio (доходность на единицу риска), Maximum Drawdown (пиковая просадка в %), Win Rate и Profit Factor. Sharpe ниже 1,0 на out-of-sample периоде — стратегия не проходит базовый порог. Profit Factor меньше 1,2 означает, что прибыльные сделки едва перекрывают убыточные. Нюанс: на волатильных активах (крипта, мелкие акции) эти пороги нужно поднимать.
Репозиторий cbt-framework (github.com/Trade-With-Claude) принимает сигналы от языковых моделей через API-вызовы и прогоняет их через движок событийного бэктестинга. Каждый сигнал логируется с временной меткой, ценой входа и параметрами стоп-лосса. Это позволяет отследить, на каких рыночных режимах (тренд, боковик, высокая волатильность) модель работает лучше. Ограничение: нужны чистые исторические данные — мусор на входе даёт мусор на выходе.
Alpha Forge (github.com/Liu-Ming-Yu/alpha-forge) ориентирован на факторное инвестирование: вы формулируете «альфа-фактор» на естественном языке или в коде, фреймворк тестирует его на кросс-секционных данных. Это ближе к количественным исследованиям, чем к дейтрейдингу. Ключевое отличие от событийного backtesting — оценка фактора по всему рынку за период, а не по отдельным сделкам. Подходит для среднесрочных стратегий на акциях.
Для MOEX-инструментов используют данные Finam, АЛОР или MOEX Data Shop. При расчёте чистой доходности вычитайте НДФЛ 13–15% с прибыли и комиссии брокера (обычно 0,05–0,1% от оборота). Проскальзывание на российском рынке выше, чем на NYSE, — особенно в стаканах с низкой ликвидностью. Бэктест на долларовых активах через иностранного брокера требует пересчёта P&L в рубли на дату каждой сделки для НДФЛ.
Out-of-sample (OOS) — проверка стратегии на данных, которые не использовались при оптимизации параметров. Стандартная схема: 70% данных — обучение и оптимизация, 30% — OOS-тест. Если на OOS Sharpe падает вдвое — стратегия переобучена. Новички пропускают OOS, потому что результат на обучающей выборке всегда выглядит лучше. В LLM-контексте переобучение может быть скрытым: модель «помнит» новости из обучающего корпуса.
Да, через API: модель получает данные свечей, новостной контекст или технические индикаторы и возвращает решение в структурированном JSON. Но LLM не видит данные в реальном времени без инструментов — нужна интеграция через функции или MCP-сервер с биржевым фидом.
| Метрика | Формула / описание | Порог «прохождения» |
|---|---|---|
| Sharpe Ratio | (Доходность портфеля − Безрисковая ставка) / Волатильность доходности | ≥ 1,0 на OOS |
| Maximum Drawdown | Максимальное падение от пика до минимума в % | ≤ 20% для консервативных стратегий |
| Profit Factor | Сумма прибыльных сделок / Сумма убыточных сделок | ≥ 1,3 |
| Win Rate | Доля прибыльных сделок в % от общего числа | Зависит от R:R; при R:R 1:2 достаточно 40% |
| Критерий | Событийный (CBT-стиль) | Векторизованный (pandas/numpy) |
|---|---|---|
| Скорость расчёта | Медленнее (цикл по событиям) | Быстро (матричные операции) |
| Учёт комиссий и проскальзывания | Нативно, на уровне ордера | Требует ручной аппроксимации |
| Реализм исполнения | Высокий (симуляция очереди ордеров) | Низкий (цена исполнения = цена сигнала) |
| Совместимость с LLM-сигналами | Высокая (асинхронные вызовы API) | Ограниченная |
| Порог входа | Средний (нужен Python, понимание событий) | Низкий (знание pandas достаточно) |
Скачайте OHLCV-данные через MOEX Data Shop, Binance API или Finam для нужного инструмента и горизонта. Убедитесь, что данные не содержат сплитов и дивидендных гэпов без корректировки — это искажает P&L.
Опишите промпт для LLM: какие входные данные (цена, объём, новости, технические индикаторы) и какой выход ожидается (buy/sell/hold с уровнем уверенности). Зафиксируйте промпт в коде — любое изменение формулировки меняет результаты бэктеста.
Отложите последние 20–30% периода как out-of-sample. Все оптимизации параметров (размер позиции, стоп-лосс, порог сигнала) делайте только на train-части.
В CBT Framework или аналогичном движке установите комиссию брокера (0,05–0,1%) и модель проскальзывания. Прогоните стратегию и сохраните лог каждой сделки с временной меткой.
Запустите стратегию на отложенной выборке. Сравните Sharpe, MDD и Profit Factor с train-результатами. Расхождение больше 40% — признак переобучения; нужно упростить модель или увеличить обучающую выборку.
Да, через API: модель получает данные свечей, новостной контекст или технические индикаторы и возвращает решение в структурированном JSON. Но LLM не видит данные в реальном времени без инструментов — нужна интеграция через функции или MCP-сервер с биржевым фидом.
Для акций MOEX — исторические данные через API Московской биржи или Finam Export. Для фьючерсов — ALOR-API или платные фиды. Данные по ОФЗ и облигациям доступны через MOEX InfoSpace. Важно учитывать корпоративные события (дивиденды, сплиты) — иначе цены задним числом окажутся некорректными.
Репозиторий требует Python 3.10+, зависимостей из requirements.txt и ключа API для LLM-провайдера (OpenAI, Anthropic или локальная модель через Ollama). Базовый пример запускается за 15–30 минут при наличии подготовленных данных. Сложнее — настроить реальный биржевой коннектор для live-режима.
Walk-forward — итеративный вариант OOS-теста: вы сдвигаете окно обучения вперёд и каждый раз переоптимизируете параметры на новом train-периоде. Это ближе к реальной торговле, где модель периодически переобучается. Применяйте, если стратегия чувствительна к рыночному режиму — например, разные параметры для тренда и боковика.
Бэктест задаёт референсные метрики: если в реальной торговле просадка превышает исторический MDD в 1,5 раза — это сигнал остановиться и пересмотреть стратегию. Для позиционного размера используйте критерий Келли или его половину (half-Kelly) от результатов бэктеста, но не переносите размер позиций напрямую — реальная волатильность всегда отличается от исторической.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
