Агент-исследователь — это набор prompts и скриптов на Python, которые автоматизируют скрапинг сайтов, анализ информации и отправку алертов в Slack. Вместо ручного мониторинга конкурентов вы получаете список интересных событий прямо в мессенджер.
Это модульная система на Python: скрипт парсит целевой сайт (BeautifulSoup или Selenium), прошивает текст в API большой модели (OpenAI/Claude/Gemini), модель анализирует и выдаёт вывод, скрипт отправляет результат webhook'ом в Slack. Задача агента задаётся в системном промпте. Вместо ручного скрапинга один командный вызов — и вот уже 50 компаний проанализированы.
Публичные компании раскрывают планы раньше, чем это влияет на цену акции. Веб-скрапинг ловит пресс-релизы, инвестиции в направления, смену менеджмента за часы до биржевого отклика. Ловушка: вручную это делать 3–5 часов в неделю; агент — за 5 минут. Ограничение: скрапинг может быть запрещен ToS сайта.
Claude (Anthropic) и GPT-4o (OpenAI) работают одинаково хорошо на аналитических задачах — выбирай по токен-цене и задержке. Gemini (Google) дешевле, но медленнее. Все три умеют работать с длинными текстами (10–50K токенов за запрос), это удобно для анализа цельной страницы. Ловушка: версии моделей меняются, разные версии выдают разные результаты — зафиксируй версию в config.
Стандартный способ — Incoming Webhook'и Slack. Генерируешь URL в интеграциях, скрипт слаёт POST с JSON (text, attachments, formatting). Python-библиотека slack-sdk облегчает это — 3 строки кода. Альтернатива: напрямую через Slack API Token, но webhook'и проще и безопаснее.
SPA-приложения (React, Vue, Angular) не отдают HTML целиком — нужен Selenium или Playwright. Сайты с CAPTCHA и JavaScript-защитой требуют браузера; Puppeteer/Playwright их поддерживают. Paywalls (FT, WSJ, Bloomberg) блокируют весь трафик — нужна ротация IP или прокси. Простыми BeautifulSoup тут не обойтись.
Стандартное решение: retry с exponential backoff (ждёшь 1с, потом 2с, потом 4с). Если API всё ещё падает — сохранять raw-текст в локальный файл, отправлять в Slack сообщение о ошибке, потом руками пересчитать. Для продакшена добавь logging (Python logging или CloudWatch) — чтоб видеть, на каком шаге случилась беда.
Нет — тебе нужны только API-ключи (платишь за токены, которые потратил). GPT-4o стоит ~0,5–5 ₽ на 1 млн input-токенов, Claude чуть дешевле. За месячный мониторинг 5 сайтов по 1 запросу в день выходит 50–200 ₽.
| Модель | Цена за 1M input-токенов | Задержка ответа (сек) |
|---|---|---|
| Claude 3.5 Sonnet | ~3 ₽ | 1–3 |
| GPT-4o | ~5 ₽ | 1–2 |
| Gemini 1.5 Pro | ~2 ₽ | 3–5 |
| Claude 3 Opus (устаревает) | ~15 ₽ | 2–4 |
| Метод | Сложность | Скорость |
|---|---|---|
| BeautifulSoup | Низкая | Высокая (0.1–0.5 сек) |
| Selenium | Высокая | Низкая (3–10 сек) |
| Playwright | Средняя | Средняя (1–3 сек) |
| Scrapy (framework) | Высокая | Высокая |
| Curl + regex | Низкая | Очень высокая |
Что хочешь парсить? Цены конкурентов, заголовки новостей, дату публикации статей? Запиши URL и 2–3 поля для извлечения.
Для статических сайтов: pip install beautifulsoup4 requests, 10–20 строк кода (откроешь сайт, найдёшь селектор элемента через DevTools браузера, вытащишь текст). Для динамических — pip install playwright, спавнешь браузер, подождёшь загрузки.
Напишешь системный prompt: «Ты — аналитик конкурентов. Вот HTML/текст сайта. Извлеки: цену, дату обновления, ключевые новости. Верни JSON». Протестируешь в ChatGPT/Claude Web Interface.
Зарегистрируешься в OpenAI.com (GPT-4o), Anthropic.com (Claude) или AI.Google.dev (Gemini). Создашь ключ, сохранишь в .env файл. На локалке первый тест — curl https://api.openai.com/v1/models?Authorization:Bearer%20ключ.
Создашь Incoming Webhook в Slack (Integrations → Add App), получишь URL. Добавишь её в config, запустишь скрипт вручную (python3 research_agent.py), потом — cron-job (0 */6 * * * python3 /path/research_agent.py) для запуска каждые 6 часов.
Нет — тебе нужны только API-ключи (платишь за токены, которые потратил). GPT-4o стоит ~0,5–5 ₽ на 1 млн input-токенов, Claude чуть дешевле. За месячный мониторинг 5 сайтов по 1 запросу в день выходит 50–200 ₽.
Используй очередь задач (Celery, RQ) и распределённый парсинг. Запускай несколько воркеров параллельно. Распредели URL'ы по батчам (500–1000 шт.), каждый батч в отдельный job. Итого: вместо часа работает 5–10 минут.
Ротируй User-Agent (requests.headers), добавляй паузы между запросами (time.sleep()), используй прокси-сервисы (Bright Data, Oxylabs). Проверь ToS сайта перед парсингом — некоторые это запрещают явно.
Используй VPN/прокси, либо попроси доступ (у некоторых компаний есть API для партнёров). Брутфорс IP'ов — плохая идея (тебя забанят окончательно). Если сайт требует авторизации — используй Selenium + сохрани cookies.
Да, если добавить обработчик Slack Events API. Юзер напишет в мессенджер: «переанализируй сайт А», бот получит event, спавнит новый job, вернёт результат в thread. Это требует немного больше кода (Flask/FastAPI app + event-handling).
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/traderreviews
