Установка Ollama¶

В этой статье

• Установка Ollama под Linux
• Обновление Ollama под Linux
• Установка языковых моделей LLM
• Переменные окружения

Ollama - фреймворк для запуска и управления большими языковыми моделями (LLM) на локальных вычислительных ресурсах. Он обеспечивает загрузку и развертывание выбранной LLM и доступ к ней через API.

Системные требования:

Установка Ollama под Linux¶

1. Скачиваем и устанавливаем Ollama:

   curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
   chmod +x /usr/bin/ollama
   

2. Создаем группу:

   sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama
   

3. Создаем сервис ollama:

   tee /usr/lib/systemd/system/ollama.service > /dev/null <<EOF
   [Unit]
   Description=Ollama Service
   After=network-online.target
   
   [Service]
   ExecStart=/usr/bin/ollama serve
   User=ollama
   Group=ollama
   Restart=always
   RestartSec=3
   Environment="OLLAMA_HOST=0.0.0.0" 
   Environment="OLLAMA_ORIGINS=*"
   
   [Install]
   WantedBy=default.target
   EOF
   

   Для графических карт Nvidia можете добавить Environment="OLLAMA_FLASH_ATTENTION=1" для улучшения скорости генерации токенов.

4. Включаем сервис и запускаем его:

   sudo systemctl daemon-reload
   sudo systemctl enable ollama
   sudo systemctl start ollama
   

Ollama будет доступна по адресу http://127.0.0.1:11434 или http://<IP_адрес_сервера>:11434.

Обновление Ollama под Linux¶

Для обновления Ollama вам нужно заново скачать и установить ее бинарную сборку:

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

Для упрощения последующих обновлений вы можете создать скрипт ollama_update.sh (запускать от root или через sudo):

#!/bin/bash
service ollama stop
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
service ollama start

Установка языковых моделей LLM¶

Список актуальных доступных языковых моделей вы можете посмотреть здесь.

Чтобы установить нужную модель, нажмите на ее название и на следующей странице выберите размер и тип модели. После этого скопируйте команду для установки из правого окна и запустите в окне командной строки/терминала:

ollama run llama3

После скачивания модели, перезапустите сервис:

service ollama restart

Подробнее об Ollama вы можете прочитать в документации разработчиков.

Переменные окружения¶

Установите эти переменные в сервисе Ollama как Environment="VARIABLE=VALUE".