Reinforcement learning (обучение с подкреплением) — это методика, когда модель нейросети учится принимать торговые решения, получая награды за прибыль и штрафы за убытки. Архитектура состоит из четырёх этапов: агент наблюдает состояние рынка, выбирает действие (покупка/продажа), получает награду (результат сделки), обновляет свои весовые коэффициенты. Ключевой нюанс: такие модели работают на исторических данных и требуют очень осторожного тестирования перед использованием с реальными деньгами.
Состояние — это текущий снимок рынка, который видит модель нейросети. Может включать цену актива, объёмы торгов, скользящие средние, индексы волатильности и другие технические индикаторы. Нейросеть принимает решение (купить, продать, ждать) на основе именно этого состояния. Качество состояния определяет качество решений модели: чем полнее информация, тем лучше предсказания.
Нейросеть использует текущие весовые коэффициенты для вычисления вероятности каждого действия (купить с вероятностью 0,7, продать с вероятностью 0,2, ждать с вероятностью 0,1). На начальном этапе обучения модель часто выбирает действия случайно, чтобы исследовать рынок. По мере обучения она переходит к наиболее выгодным действиям, которые она уже знает. Баланс между исследованием и эксплуатацией называется exploration-exploitation trade-off.
Награда — это количественный сигнал, который показывает, хорошее ли было действие. Обычно она вычисляется как прибыль или убыток сделки в процентах. Например, если вы купили актив на 10 000 ₽ и продали на 10 500 ₽, награда =+5%. Если продали на 9 500 ₽, награда = −5%. Системы иногда добавляют штрафы за издержки: комиссии брокера, спреды, налоги. Модель максимизирует совокупную награду (сумму всех наград за период).
В обычной нейросети (supervised learning) модель учится на размеченных примерах: входные данные и правильные ответы. В reinforcement learning правильного ответа нет, есть только награда. Модель использует эту награду, чтобы понять, было ли действие хорошим или плохим. Веса обновляются в сторону увеличения вероятности действий, которые привели к большим наградам, и в сторону уменьшения действий с малыми наградами.
Модель обучается на исторических данных, но будущий рынок может вести себя иначе. Это явление называется overfitting — модель идеально находит закономерности в прошлом, но не переносит их на будущее. Кроме того, на реальной торговле присутствуют издержки, которые может быть сложно смоделировать точно. Нужна строгая валидация на отдельном тестовом наборе данных и осторожное увеличение размера позиций при переводе на боевую торговлю.
Выучите основы Python за 2–4 недели через курсы (например, на Codecademy или freeCodeCamp). Затем скачайте готовый репозиторий Stable-Baselines3 с примерами. Модифицируйте примеры под свой актив и данные. Использование готовых библиотек сэкономит вам месяцы работы по сравнению с написанием алгоритмов с нуля. Python доминирует в трейдинг-среде, конкурировать без него сложно.
Обучение зависит от размера исторических данных, сложности архитектуры и мощности компьютера. На GPU (NVIDIA A100) типовая модель обучается за несколько часов. На обычном CPU может потребоваться день или два. Нужно терпение и терпимость к экспериментам.
| Компонент | Функция | Примеры в торговле |
|---|---|---|
| Агент | Нейросеть, которая выбирает действия | Deep Q-Learning, Policy Gradient, Actor-Critic |
| Окружение | Рыночная среда с ценами и историей | Исторические данные или симулятор в боевом режиме |
| Состояние | Входной вектор (цена, объём, индикаторы) | OHLC-свечи, технические индексы, скользящие средние |
| Действие | Выбор стратегии (Buy, Sell, Hold) | Дискретные действия или непрерывные объёмы позиций |
| Критерий | Supervised Learning | Reinforcement Learning |
|---|---|---|
| Источник данных | Размеченные примеры (цена→предсказание) | Награды от действий в симуляции |
| Проблема overfitting | Заметна, но контролируется валидацией | Высокий риск на реальных данных будущего |
| Скорость обучения | Быстрая, несколько эпох | Медленная, нужны миллионы итераций |
| Применимость в торговле | Хорош для прогнозов цен | Хорош для стратегий с множеством решений |
| Требования к вычислениям | Умеренные (GPU опционально) | Высокие (нужны GPU и долгие сессии) |
Выберите, какие рыночные данные будет видеть ваша модель (цена, объём, индикаторы). Выберите множество возможных действий: три основных (Buy, Sell, Hold) или больше (Buy 50%, Buy 100%, Sell 50%, Hold, Sell All).
Загрузите котировки для актива (например, Gazprom, MOEX) за 3–5 лет через API: yfinance, openai.com, или API брокера. Разделите на три части: обучение (60%), валидация (20%), тест (20%) разных периодов времени.
Используйте готовые реализации на Python: Deep Q-Learning (стабильный, хорошо документирован) или Policy Gradient (более новый, гибче). Библиотеки: TensorFlow, PyTorch, Stable-Baselines3. Не пишите алгоритм с нуля на первом проекте.
Запустите обучение на исторических данных. Модель будет делать миллионы сделок и учиться. Мониторьте метрики: совокупная награда, win rate (процент выигрышных сделок), максимальная просадка. Останавливайте, если метрики начали падать на валидационном наборе.
Запустите обученную модель на тестовом наборе, который она не видела. Сравните результаты с простой стратегией (buy-and-hold). Если результаты хорошие, попробуйте небольшой объём на реальном счёте с минимальным риском.
Обучение зависит от размера исторических данных, сложности архитектуры и мощности компьютера. На GPU (NVIDIA A100) типовая модель обучается за несколько часов. На обычном CPU может потребоваться день или два. Нужно терпение и терпимость к экспериментам.
Deep Q-Learning хорошо работает для дискретных действий (Buy/Sell/Hold). Policy Gradient и Actor-Critic более универсальны. Трансформеры (Transformer-based модели) начинают применять для задач с длинными последовательностями цен. Нет универсального победителя — тестируйте на своих данных.
Да, есть открытые модели на GitHub и Hugging Face. Но помните: модель, обученная на одном активе за один период, может плохо работать на другом активе в другой период. Либо переобучайте существующую модель на своих данных, либо используйте только как базу.
Используйте стоп-лосс для любой позиции. Начните с очень малых размеров позиций (1–2% портфеля). Мониторьте результаты в реальном времени. Готовьте ручное отключение модели, если что-то идёт не так. Никогда не доверяйте модель полностью, пока не докажете её работоспособность на месячных данных.
Python — стандарт. Все библиотеки (TensorFlow, PyTorch, Stable-Baselines3, scikit-learn) первоклассные на Python. JavaScript медленнее, C++ сложнее для начинающих. Начните с Python.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
