Парсинг через ИИ-модели — способ обработки сырого HTML-кода и извлечения структурированных данных автоматически. ChatGPT, Claude, Gemini умеют разбирать текст, выделять цены и факты из веб-страниц. Единственное ограничение: модели работают с текстом в контексте, не видят живые сайты, поэтому нужна предварительная загрузка исходника.
Claude обрабатывает контекст до 200K токенов, справляется с большими HTML-документами без потерь. GPT-4o быстрее, но окно контекста короче. Единственный риск: каждый вызов тарифицируется отдельно за входящие и выходящие токены.
Нет напрямую — ChatGPT видит только текст, отправленный в промпт. Нужен дополнительный инструмент (Selenium, Puppeteer) для загрузки и рендера страницы. Без этого получишь пустоту вместо данных.
Структурированный промпт с примерами (few-shot) повышает точность до 85–95%. Укажи формат вывода (JSON, CSV) и примеры. Реальные данные часто содержат опечатки — модель может ошибиться в интерпретации.
Один проход по 100-страничному сайту (среднее ~2000 слов на страницу) стоит 2–5 долларов на GPT-4o. Bulk-вызовы через API дешевле, чем UI ChatGPT Plus. Скрипт окупается, если объём регулярный.
Парсинг HTML, отправленного вручную, — легально. Если скрипт автоматически обращается к серверу тысячи раз в минуту, сервер может заблокировать IP. Добавляй задержку между запросами и указывай User-Agent.
Да, если это публичные данные: цены акций, публичные финотчёты. Трейдинг-платформы часто запрещают auto-скребки в ToS. Проверь лицензию перед деплоем скрипта на прод.
Нет, используй API напрямую через developer.openai.com. Это дешевле и удобнее для автоматизации.
| Модель | Окно контекста | Стоимость за 1M входящих токенов |
|---|---|---|
| Claude 3.5 Sonnet | 200K | $3 |
| GPT-4o | 128K | $5 |
| Gemini 2.0 Flash | 1M | $0,075 |
| Mistral Large | 128K | $2 |
| Метод | Скорость | Стоимость |
|---|---|---|
| Ручная копипаста HTML | Моментально | 0 |
| curl + ChatGPT API | 2–5 сек на страницу | ~$0,01–0,05 |
| Selenium + ИИ | 5–10 сек на страницу | ~$0,1–0,3 |
| RSS-парсер + API | 1–2 сек на статью | $0,005–0,02 |
| Headless Browser (Playwright) + ИИ | 3–7 сек на страницу | ~$0,05–0,15 |
Стандартная установка: `pip install openai`. Потребуется API-ключ на developer.openai.com.
Используй `curl https://сайт.ru > page.html` или Selenium для динамических сайтов. Обрезай файл до 30–50KB, если контекст дорогой.
Укажи формат вывода (JSON), какие поля нужны (цена, название, дата), примеры желаемого результата.
Отправь HTML в `messages`, получи структурированный ответ. Проверь результат вручную в первый раз.
Обойди все страницы в цикле с задержкой (0,5–1 сек), кэшируй результаты. Логируй ошибки.
ChatGPT API анализирует только текст страницы, который ему передают в запросе. Для обычной страницы можно получить HTML вручную или через curl, а для динамического интерфейса сначала нужен рендеринг браузером с помощью Selenium или Puppeteer. Перед передачей стоит оставить нужный фрагмент исходника и явно перечислить поля для извлечения. Страница рекомендует сокращать файл, когда стоимость контекста существенна, и проверять первый результат вручную.
ChatGPT API требует проверки извлечённых данных, особенно если исходный текст шумный или содержит опечатки. В структурированном промпте следует указать нужный формат ответа, например JSON или CSV, перечень полей и примеры ожидаемого результата. Такой подход помогает модели точнее интерпретировать содержание страницы, но не отменяет сверку с оригиналом. Для регулярной обработки полезно логировать ошибки и сохранять результаты, чтобы отслеживать расхождения.
Автоматический сбор через ChatGPT API следует соотносить с условиями использования конкретного сайта. Материал отмечает, что ручная передача HTML отличается от частых автоматических запросов к серверу: интенсивное обращение может привести к блокировке IP. Для скрипта уместны задержки между запросами, указание User-Agent и кэширование результатов. Если данные берутся с торговой платформы, страница советует заранее проверить её ToS и лицензионные условия.
Нет, используй API напрямую через developer.openai.com. Это дешевле и удобнее для автоматизации.
Да, особенно если текст шумный или содержит опечатки. Всегда валидируй результаты — сравни с оригинальной страницей.
Зависит от сайта. Финанс-данные устаревают в течение часа, новостные — за день. Установи TTL в зависимости от типа.
Модель не может обращаться в интернет. Всегда сначала загрузи текст, потом отправь в промпт. Иначе получишь отказ или халюцинацию.
Парсинг публичной информации легален. Но учтись с ToS сайта — некоторые платформы запрещают auto-скребки. Проверь с юристом.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/tradernocry
