Ollama — это фреймворк для запуска больших языковых моделей на вашем ПК без облачных подписок и платежей. Вы получаете полный контроль над данными, работаете офлайн, экономите на облачных API. Требует 8+ ГБ памяти и мощный процессор или GPU для быстрой работы.
Ollama упаковывает открытые ЛЛМ (Llama 2, Mistral, Phi) в контейнеры для локального запуска на ПК без облака. Полезно инвесторам для приватного анализа портфелей, финдокументов и кастомизации под личные данные. Минус: требует мощное железо и знание командной строки.
Поддерживаются Llama 2 (4–70 ГБ), Mistral 7B (5 ГБ), Neural Chat (4 ГБ), Phi (2–3 ГБ). Облегченные версии (quantized) требуют в 4 раза меньше памяти, работают быстрее, но теряют немного точности. Для ноутбука подойдут модели 3–5 ГБ.
Минимум 8 ГБ RAM, идеально 16–32 ГБ. Современный процессор (Ryzen 5+ или Intel i5+). GPU NVIDIA с CUDA ускорит вычисления в 5–10 раз. На ноутбуке модель отвечает 30–120 секунд, на десктопе с GPU — 5–20 секунд.
Ollama предоставляет REST API на 127.0.0.1:11434. Отправляете JSON-запрос с промптом, получаете JSON-ответ. Поддержка всех языков: Python (requests), JavaScript (fetch), Go, C#. Примеры на GitHub в папке examples/api.
Да, если ПК защищен. Все данные остаются на диске, не уходят в облако OpenAI или Google. Рекомендуется шифрование диска (BitLocker, LUKS, FileVault) для защиты при краже оборудования и регулярные резервные копии.
Интернет не требуется после скачивания модели. Плюсы: полная приватность, работа офлайн, отсутствие задержек облака, экономия на подписках. Минусы: медленнее облака в 5–10 раз, требует мощное оборудование, сам отвечаешь за обновления.
Нет, модель работает полностью офлайн. Интернет требуется только один раз для загрузки весов. После скачивания можно отключить Wi-Fi и работать без сети.
| Модель | Размер весов | Типовая скорость ответа (без GPU) |
|---|---|---|
| Phi 2 | 3 ГБ | 5–15 секунд |
| Mistral 7B | 5 ГБ | 10–30 секунд |
| Llama 2 13B | 8 ГБ | 30–60 секунд |
| Neural Chat 7B | 4 ГБ | 8–25 секунд |
| Параметр | Ollama локально | ChatGPT Plus / Claude Pro |
|---|---|---|
| Ежемесячная подписка | Нет | 200–500 ₽ |
| Начальные затраты на оборудование | 50 000–150 000 ₽ один раз | Нет |
| Скорость ответа на запрос | 10–120 сек (зависит от GPU) | 1–5 сек |
| Приватность финданных | 100% локально, не в облаке | Зависит от политики OpenAI/Anthropic |
| Обновление моделей и функций | Вручную, нерегулярно | Автоматическое, ежедневно |
Перейдите на ollama.ai, скачайте версию для вашей ОС (Windows, macOS, Linux) и установите как обычное приложение одним кликом.
Выполните команду `ollama pull mistral` — фреймворк скачает модель Mistral 7B (10–20 минут в зависимости от интернета и SSD).
Введите `ollama serve` в терминал — это поднимет API на 127.0.0.1:11434. Окно терминала оставьте открытым.
Выполните: `curl http://localhost:11434/api/generate -d '{"model":"mistral","prompt":"Расскажи про диверсификацию портфеля"}' | jq .` — модель выдаст JSON-ответ с текстом.
Используйте requests в Python или fetch в JS, отправляйте POST на localhost:11434/api/generate с JSON `{"model":"mistral","prompt":"..."}`. Обрабатывайте JSON-ответ.
Нет, модель работает полностью офлайн. Интернет требуется только один раз для загрузки весов. После скачивания можно отключить Wi-Fi и работать без сети.
NVMe SSD — лучший выбор, скорость загрузки весов в 5–10 раз выше. Обычный SSD тоже подойдёт. На HDD модель загружается 1–2 минуты — неудобно для ежедневной работы. Используйте SSD.
Технически да, но требует много RAM. Одна модель занимает 4–40 ГБ памяти. На практике люди запускают одну, потом выгружают `ollama rm <модель>` и загружают другую.
Mistral 7B справляется с извлечением данных, классификацией и простыми расчётами на 75–85% от уровня ChatGPT-3.5. Для сложного анализа портфеля рекомендуется Llama 2 13B или крупнее.
Обычно нехватка памяти. Закройте лишние приложения, перезагрузитесь. Если не помогает — загрузите облегченную (quantized) версию модели. Она требует в 4 раза меньше памяти и работает на порядок быстрее.
Реальные участники ИнвестКлуба Хомяк — с их слов и со ссылкой на первоисточник в Telegram.
Точка входазашла пробно на 1 месяц после рекламы
Что изменилосьосталась на 1,5 года — структурированные знания, прямые эфиры с экспертами, освоила ИИ-инструменты
«Когда-то я зашла пробно, на 1 месяц. Прошло 1,5 года, а я по-прежнему там. Один только искусственный интеллект чего стоит.»история в Telegram →
Точка входавозрастной скепсис, долго не решался зайти в закрытый клуб
Что изменилосьгора структурированных материалов, отзывчивое сообщество, которое помогает и подсказывает
«Возрастной скепсис мешал зайти — думал, всё как обычно. Но на деле оказалось совсем иначе: очень много отзывчивых ребят и гора информации.»история в Telegram →
«В Хомяке уже полтора года… кайфовое, живое сообщество. Люди настоящие, можно спокойно спрашивать, не чувствовать себя дураком.»
«Зашла пробно на 1 месяц. Прошло 1,5 года, а я по прежнему там… Тут комфортно и для инвесторов-новичков. Вся информация отлично структурирована.»
Ещё реальные отзывы участников — t.me/tradernocry
