Ollama

Ollama — это то, к чему я прибегаю, когда мне нужно запустить модель локально меньше чем за минуту, и это важнее, чем многие признают. Скачивание одной командой и совместимый с OpenAI эндпоинт означают, что я могу интегрировать её в существующий код практически без правок. Из минусов: параллельные запросы сериализуются неочевидным образом, пока не сделаешь нагрузочный тест, а распределение VRAM между моделями бывает неудобным. Но для локальной разработки и прототипирования ничего более простого нет.

Это круто и полезно! Я могу хранить свой репозиторий моделей и запускать их прямо из своего терминала.

Установить было очень просто, и это быстро позволило мне, как новичку, начать экспериментировать с моделями ИИ, сохраняя приватность и не платя ни копейки. По сравнению с другими инструментами вывода вроде llama.cpp производительность здесь ниже. Также хотелось бы встроенный веб-интерфейс, а таймаут неактивности при локальной работе раздражает.

Отличный интерфейс, простота в использовании и удобная настройка. Единственное — инструмент несколько тяжеловат с точки зрения расхода системных ресурсов. В остальном запускать большие языковые модели стало легко.

Что мне нравится, так это то, что у бэкенда Ollama есть инсталлятор, а python-библиотека — это простой и понятный API. Периодически собирать биндинги llama.cpp с поддержкой драйверов — это сущий ад, постоянно что-то ломается. Мой сценарий на 100% завязан на разработку под локальный инференс, и стабильная интеграция с Python тут решает.

Использовал его вместе с OpenWebUI, и, честно говоря, это был максимально неприятный опыт. Каждый раз, когда я скачивал GGUF, он просто не работал, и невозможно было понять, какие настройки вообще применились. Кажется, они гонятся за поддержкой моделей в первый же день релиза, но при этом сильно страдает производительность.

Я не следил за всеми спорами вокруг Ollama, но лично заметил нехватку вариантов квантования, задержки с добавлением новых версий моделей и их попытки подсадить пользователей на облачные функции. В итоге я просто удаляю Ollama.

Мы используем именно Ollama, потому что наши данные категорически не могут покидать внутреннюю сеть компании — от любого намёка на облака юристы будут в ярости. По этой причине мы гоняем модели через Ollama прямо на рабочих ноутбуках и на паре серверов интранета.