Установка Ollama¶

В этой статье

• Установка Ollama под Linux
• Обновление Ollama под Linux
• Установка языковых моделей LLM
• Переменные окружения

Ollama - фреймворк для запуска и управления большими языковыми моделями (LLM) на локальных вычислительных ресурсах. Он обеспечивает загрузку и развертывание выбранной LLM и доступ к ней через API.

Системные требования:

Установка Ollama под Linux¶

Скачиваем и устанавливаем Ollama:

curl -fsSL https://ollama.com/install.sh | sh

Для графических карт Nvidia можете добавить Environment="OLLAMA_FLASH_ATTENTION=1" для улучшения скорости генерации токенов.

1. Включаем сервис и запускаем его:

   sudo systemctl daemon-reload
   sudo systemctl enable ollama
   sudo systemctl start ollama
   

Ollama будет доступна по адресу http://127.0.0.1:11434 или http://<IP_адрес_сервера>:11434.

Обновление Ollama под Linux¶

Для обновления Ollama вам нужно заново скачать и установить ее бинарную сборку:

curl -fsSL https://ollama.com/install.sh | sh

Environment="OLLAMA_HOST=0.0.0.0" 
Environment="OLLAMA_ORIGINS=*"

systemctl daemon-reload
service ollama restart

Установка языковых моделей LLM¶

Список актуальных доступных языковых моделей вы можете посмотреть здесь.

Чтобы установить нужную модель, нажмите на ее название и на следующей странице выберите размер и тип модели. После этого скопируйте команду для установки из правого окна и запустите в окне командной строки/терминала:

ollama run llama3

После скачивания модели, перезапустите сервис:

service ollama restart

Подробнее об Ollama вы можете прочитать в документации разработчиков.

Переменные окружения¶

Установите эти переменные в сервисе Ollama как Environment="VARIABLE=VALUE".