Deep Reinforcement Learning для криптопортфеля: SAC, DDPG и оптимизация по CVaR

SAC (Soft Actor-Critic) максимизирует ожидаемую награду плюс энтропию политики — это встроенная регуляризация против переобучения. DDPG (Deep Deterministic Policy Gradient) работает с непрерывным пространством действий (веса активов) через детерминированную политику. Для портфельных задач SAC устойчивее на зашумлённых рынках за счёт энтропийного члена, DDPG быстрее сходится на стабильных данных. Нюанс: оба алгоритма чувствительны к выбору функции награды — неправильно заданный CVaR-штраф ведёт к избыточной консервативности.

CVaR (Conditional Value at Risk, условная стоимость под риском) — среднее значение потерь в худших α% сценариев. В отличие от VaR, CVaR когерентен как мера риска: он учитывает форму хвоста распределения, а не только порог. В DRL-контексте CVaR встраивается как штрафной член в функцию награды: агент максимизирует доходность при ограничении CVaR≤θ. Согласно исследованию на IDEAS/RePEC, такой подход снижает просадки в экстремальных рыночных событиях лучше, чем волатильность-ограниченные модели. Риск: CVaR на крипторынке нестабилен из-за жирных хвостов.

Агент получает состояние (цены, объёмы, технические индикаторы за окно N дней), выбирает действие (вектор весов активов), получает награду (реализованная доходность минус CVaR-штраф) и обновляет политику через градиентный спуск. Обучение ведётся на исторических данных (backtest), затем модель тестируется на out-of-sample периоде. На крипторынке типичное обучающее окно — 2–4 года данных с ребалансировкой по дням или часам. Нюанс: транзакционные издержки (комиссии биржи, slippage) должны быть включены в функцию награды, иначе стратегия нежизнеспособна в реальности.

Минимум: OHLCV-данные (open, high, low, close, volume) по целевым активам с частотой не ниже дневной, желательно часовой. Дополнительно используют: данные книги ордеров, метрики on-chain (активные адреса, объём транзакций), индексы страха и жадности, корреляционные матрицы. Источники: Binance API, CoinGecko, Glassnode. Риск: пропуски в данных и делистинг активов создают survivor bias — модель будет переоптимизирована под выжившие монеты, что искажает реальные результаты.

Два основных подхода. Первый — лагранжева релаксация: награда = доходность − λ·CVaR, где λ — штрафной коэффициент, подбираемый вручную или адаптивно. Второй — constrained MDP: агент оптимизирует доходность при жёстком ограничении CVaR≤θ (используется алгоритм CPO или TRPO с ограничениями). Согласно препринту arxiv.org/abs/2511.20678, адаптивный λ даёт лучшую стабильность при режимных сдвигах рынка. Нюанс: выбор уровня α для CVaR (обычно 5% или 1%) критически влияет на агрессивность стратегии.

Три барьера. Технический: обучение SAC/DDPG требует GPU и 10–50 тыс. строк качественных данных — это не задача для Excel. Регуляторный: алготрейдинг на российских площадках (MOEX) ограничен, на зарубежных криптобиржах — доступен, но сопряжён с санкционными рисками. Налоговый: каждая сделка агента — налогооблагаемое событие в РФ; высокочастотная ребалансировка генерирует сотни транзакций и соответствующую налоговую нагрузку по НДФЛ. Риск переобучения на истории остаётся главным академическим и практическим вызовом.

Нет. SAC и DDPG требуют реализации на Python (PyTorch или TensorFlow), настройки гиперпараметров и вычислительных ресурсов. Готовых коробочных решений для частных инвесторов с прозрачной методологией практически нет — большинство «AI-ботов» на рынке не раскрывают алгоритм.