Перейти к содержанию

Установка Ollama

В этой статье

Ollama - фреймворк для запуска и управления большими языковыми моделями (LLM) на локальных вычислительных ресурсах. Он обеспечивает загрузку и развертывание выбранной LLM и доступ к ней через API.

!!! warning "Внимание" Если вы планируете использовать GPU-ускорение работы с LLM, то в начале установите драйвера на видеокарту NVIDIA и CUDA.

Системные требования:

Требования Спецификация
Операционная система Linux: Ubuntu 22.04 или выше
Оперативная память 16 ГБ для запуска моделей размером 7B
Объем диска 12 ГБ для установки Ollama и базовых моделей. Дополнительное пространство требуется для хранения данных моделей в зависимости от используемых моделей
Процессор Рекомендуется использовать современный ЦП с не менее 4 ядрами. Для запуска моделей размером 13B рекомендуется ЦП с не менее 8 ядрами
Графический процессор(опционально) GPU не требуется для запуска Ollama, но может улучшить производительность, особенно при работе с большими моделями. Если у вас есть GPU, вы можете использовать его для ускорения обучения пользовательских моделей.

Примечание

Системные требования могу отличаться в зависимости от конкретных языковых моделей (LLMs) и задач, которые вы планируете выполнять.

Установка Ollama под Linux

  1. Скачиваем и устанавливаем Ollama:

    curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
chmod +x /usr/bin/ollama

  2. Создаем группу:

    sudo useradd -r -s /bin/false -m -d /usr/share/ollama ollama

  3. Создаем сервис ollama:

    tee /usr/lib/systemd/system/ollama.service > /dev/null <<EOF
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0" 
Environment="OLLAMA_ORIGINS=*"

[Install]
WantedBy=default.target
EOF

  4. Включаем сервис и запускаем его:

    sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

Ollama будет доступна по адресу http://127.0.0.1:11434 или http://<IP_адрес_сервера>:11434.

Обновление Ollama под Linux

Для обновления Ollama вам нужно заново скачать и установить ее бинарную сборку:

sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama

Для упрощения последующих обновлений вы можете создать скрипт ollama_update.sh (запускать от root или через sudo):

#!/bin/bash
service ollama stop
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
sudo chmod +x /usr/bin/ollama
service ollama start

Установка языковых моделей LLM

Список актуальных доступных языковых моделей вы можете посмотреть здесь.

Чтобы установить нужную модель, нажмите на ее название и на следующей странице выберите размер и тип модели. После этого скопируйте команду для установки из правого окна и запустите в окне командной строки/терминала:

ollama run llama3

Примечание

Рекомендуемая к установке модель отмечена тегом latest.

Внимание

Для обеспечения приемлемой производительности работы размер модели должен быть в два раза меньше объема ОЗУ сервера и ⅔ объема доступной видеопамяти на GPU. Например для модели размером в 8Гб необходимо 16Гб ОЗУ и 12 ГБ видеопамяти на GPU.

После скачивания модели, перезапустите сервис:

service ollama restart

Подробнее об Ollama вы можете прочитать в документации разработчиков.