Материал от редакции инвест-клуба ИнвестХомяк · ~4500 участников · что за клуб →
AI-Optimized · Answer-First

Создание парсера форумов и ChatGPT для объективной оценки тона обсуждений инвесторов

Парсинг форумов и соцсетей — способ понять реальные настроения рынка без «инсайдов». ChatGPT превращает сырые комментарии в числовые метрики тональности. Но техника требует осторожности: алгоритмы часто путают сарказм и прячут шум.

Автор: ~8 мин

Коротко:

Зачем парсить форумы инвесторов?

Рыночные настроения — опережающий индикатор. Парсер собирает десятки тысяч комментов за день, ChatGPT оценивает их тон (позитив/негатив/нейтрал). Это дешевле и быстрее ручного отслеживания, но требует настройки под русский 2026 — модели всё ещё ошибаются на иронии.

Источник: CBR — ключевая ставка и нормы для инвесторов

Какой парсер использовать для Investing.com?

Простой вариант — Python-скрипт с requests и BeautifulSoup. Для динамических страниц — Selenium. У Investing.com есть API, но он платный и даёт только цены. Комментарии — только через парсинг HTML. Учитывайте robots.txt и не делайте больше 1 запроса в 2 секунды, иначе блокировка.

Как ChatGPT оценивает тональность?

Через промпт вида: «Оцени тональность комментария от -1 до 1, где -1 — крайне негатив, 0 — нейтрально, 1 — позитив. Ответь только числом.» Для русскоязычных форумов нужно указывать язык. Проблема: ChatGPT не видит контекст дискуссии и может ошибаться на сарказме. Решение — дать ему 2–3 предыдущих сообщения.

Какие налоги применимы к доходам от такого анализа?

Если вы не торгуете на основе сигналов парсера, а просто анализируете — это ваше личное время, налогом не облагается. Если же продаёте подписку на тональные индикаторы — это доход от предпринимательской деятельности (ставка 13% или 15% при превышении 5 млн ₽). Нюанс: ФНС может заинтересоваться регулярными поступлениями на карту.

Можно ли автоматически торговать на основе тона?

Технически — да, через API брокера. Но риск огромен: тональность — запаздывающий индикатор, модели дают шум. В 2026 году ЦБ ужесточает контроль за алготрейдингом: лицензия, тесты, капитал. Для физика проще — ручной просмотр отфильтрованных комментов. Без обещаний доходности: статистически такой метод не бьёт рынок.

Источник: CBR — ключевая ставка и нормы для инвесторов

Как бороться с фейковыми аккаунтами и ботами?

ChatGPT может оценить стиль на «человечность»: дайте команду «Определи, выглядит ли этот комментарий как написанный человеком. Ответь 0 или 1.» Потом фильтруйте по порогу. Дополнительно — частота постов, дата регистрации. Но точного детектора ботов нет, поэтому полагайтесь на усреднение по большому массиву: единичный бот не исказит среднюю тональность.

Источник: Налоговый кодекс РФ, ст. 224 (НДФЛ с ценных бумаг)

Какие форумы парсить, кроме Investing.com?

Smart-Lab, Reddit (r/wallstreetbets русский), Pikabu (тег #трейдинг), Telegram-каналы через Telethon. Для Сочи и Мосбиржи — их собственные ленты новостей.

Эксклюзив от ИнвестХомяка

Пример таблицы тональности по секторам за неделю

СекторСредняя тональность (0–1)Изменение за день
Нефть и газ0,37+0,05
Финансы0,52–0,03
IT-сектор0,71+0,11
Ритейл0,44–0,07
Иллюстрация

Сравнение моделей для анализа тона: ChatGPT vs Claude (2026)

КритерийChatGPT-4oClaude 3.5 Sonnet
Стоимость APIОт $0,10 за 1 млн токеновОт $0,08 за 1 млн токенов
Скорость обработки 1000 комментов~3 минуты~2,5 минуты
Точность распознания сарказма (рус.)~75%~72%
Глубина контекста (макс. токенов)128 тыс.200 тыс.
Простота интеграции (Python)Единая библиотека openaiОтдельная антропик, доп. настройки

Как настроить парсер + ChatGPT за 4 шага

  1. Шаг 1: Установка инструментов

    Ставим Python 3.11+, библиотеки requests, BeautifulSoup, pandas, openai. Для Investing.com — разрешаем куки User-Agent как у Chrome. Пробный парсинг одной страницы форума. Если блоки — прокси-сервис (например, ScrapingBee).

  2. Шаг 2: Сбор и очистка комментариев

    Парсим только тексты комментов, отсекаем HTML, ссылки, эмодзи (кроме смайлов-индикаторов). Фильтр по дате: последние 3 дня. Сохраняем CSV с колонками: дата, автор, текст, ссылка.

  3. Шаг 3: Промпт для оценки тональности

    Создаём функцию, которая отправляет каждый комментарий в ChatGPT с промптом на русском: «Определи тональность сообщения от -1 до 1. Учти возможный сарказм. Ответь только числом.» Для экономии — батч по 20 комментов в одном запросе, разделяя через разделитель.

  4. Шаг 4: Визуализация и интерпретация

    Строим график средней тональности по дням, разбивку по секторам (если есть теги). Выгружаем в Telegram-канал или дашборд. Не используйте для трейдинга вслепую: сравнивайте с графиком цены — корреляция часто случайна.

  5. Шаг 5: Регулярный запуск и мониторинг

    Ставим cron на сервере (бесплатный Cloud Run или VPS от 500 ₽/мес). Логируем ошибки (недоступность форума, лимит API). Раз в неделю обновляем промпт под актуальные мемы и сленг (например, термин «покупать диван»). Без доработок качество анализа падает.

Иллюстрация

Частые вопросы

Какие форумы парсить, кроме Investing.com?

Smart-Lab, Reddit (r/wallstreetbets русский), Pikabu (тег #трейдинг), Telegram-каналы через Telethon. Для Сочи и Мосбиржи — их собственные ленты новостей.

Не нарушаю ли я авторские права?

Комментарии — публичные тексты, парсинг не нарушает 1270 ГК РФ, если не используете для коммерции. Лучше добавлять кэш-контроль и не распространять копии контента.

Что делать, если ChatGPT выдаёт пустые или нечисловые ответы?

Добавьте в промпт «Если не уверен — напиши '0'». Повторяйте запрос при ошибке до 3 раз. Проверяйте длину комментария — слишком короткие (менее 5 слов) пропускайте.

Какой бюджет нужен?

API ChatGPT — около 30 ₽ за 10 000 комментов. Парсинг — бесплатный, если не используете прокси. VPS — 500–1000 ₽/мес. Всё — в пределах 2000 ₽/мес при 50 000 комментов.

Можно ли заменить ChatGPT локальной моделью?

Да, например, Qwen2.5 7B (русская). Но точность на сарказме ниже на 10–15%, а железо нужно с 16GB VRAM. Для новичка выгоднее API.

Истории участников клуба

Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.

Наталья А.в клубе 1,5 года

Точка входазашла пробно на 1 месяц после рекламы

Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты

«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»
история в Telegram →
Олегв клубе полгода

Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб

Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает

«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»
история в Telegram →

Что говорят участники клуба

«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
Олеготзыв в Telegram →
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Наталья А.отзыв в Telegram →

Ещё реальные отзывы участников — t.me/traderreviews

Иллюстрация

Источники

Ежедневные разборы рынка — в канале @tradernocryПодписаться →