Ollama
СтороннееЛокальный запуск LLM (Llama, Mistral, Phi, Qwen и других) одной командой, без интернета.
Описание
Ollama - это «Docker для LLM»: одна команда - и у тебя локально работает Llama, Mistral или любая другая открытая модель. Управление моделями через CLI (ollama pull, ollama run), REST API для интеграции в свои приложения, поддержка GPU (Metal) на Apple Silicon.
- Огромная библиотека моделей: Llama, Mistral, Phi, Qwen, Gemma, CodeLlama и сотни других.
- Запуск одной командой: ollama run llama3.2.
- REST API на localhost:11434 - встраивай LLM в свои приложения.
- GPU-ускорение через Metal на Apple Silicon (M1/M2/M3/M4).
- Modelfile - кастомные модели на базе существующих с системными промтами.
- Совместимый с OpenAI API endpoint - drop-in replacement для ChatGPT в коде.
- Открытый код на Go, активная разработка.
Для разработчиков и энтузиастов, которые хотят гонять LLM локально для приватности, экспериментов или офлайн-работы. На M1 Pro работает Llama 3 8B на ~30 токенов/сек.
Часто задаваемые вопросы
Программа Ollama действительно бесплатная?
Да, Ollama распространяется бесплатно и не содержит рекламы, подписок или скрытых платежей. Скачать можно прямо с mac-soft.ru.
На какой версии macOS работает Ollama?
Минимальная поддерживаемая версия - macOS 11.0. Программа работает и на всех более новых версиях, включая macOS Sequoia и Tahoe.
Как установить программу для macOS?
Если вы скачали .dmg - откройте его двойным кликом и перетащите иконку программы в папку Applications. Для других типов файлов смотрите подробную инструкцию по установке.
Где скачать Ollama?
Это стороннее ПО, которое распространяется разработчиком Ollama Inc.. Кнопка «Скачать» на странице перенаправит вас на официальный сайт разработчика.
🔍 Похожие запросы
Начните вводить для поиска...