Серверы
  • Готовые серверы
  • Конфигуратор
  • Серверы с 1CPU
  • Серверы с 2CPU
  • 4 поколение AMD EPYC и Intel Xeоn
  • Серверы с AMD Ryzen и Intel Core i9
  • Серверы для хранения данных
  • Cерверы с портом 10 Гбит/c
  • GPU
  • Распродажа
  • VPS
    GPU
  • Выделенные серверы с GPU
  • Виртуальные серверы с GPU
  • Распродажа
    Маркетплейс
    Colocation
  • Размещение серверов в дата-центре в Москве
  • Обслуживание серверов в других ЦОД
  • Кластеры
    Прокат
    Услуги
  • Аренда сетевого оборудования
  • Защита L3-L4 от DDoS атак
  • IPV4 и IPV6 адреса
  • Администрирование серверов
  • Уровни технической поддержки
  • Мониторинг сервера
  • BYOIP
  • USB диск
  • IP-KVM
  • Трафик
  • Коммутация серверов
  • AI-чат-бот Lite
  • О нас
  • Работа в HOSTKEY
  • Панель управления серверами и API
  • Дата-центры
  • Сеть
  • Тест скорости
  • Специальные предложения
  • Отдел продаж
  • Для реселлеров
  • Гранты для специалистов по Data Science
  • Гранты для научных проектов и стартапов
  • Документация и Частые вопросы
  • Новости
  • Блог
  • Оплата
  • Документы
  • Сообщите о нарушении
  • Looking Glass
  • 15.09.2022

    Настраиваем распределенную систему управления образами ISO с использованием BitTorrent

    server one

    Мы в HOSTKEY сдаем клиентам в аренду вычислительные мощности на площадках в Амстердаме, Нью-Йорке и Москве, при этом набор инструментов (в т. ч. список доступных образов ISO) должен быть одинаковым во всех локациях. Дистрибутивы могут потребоваться для ручной установки операционной системы на сервер, для выбора особой разметки и/или набора ПО, для восстановления системы, изменения разбивки загрузочного диска, либо если инсталляцию нужной системы мы еще не автоматизировали. Рассказываем, как проблема решается в нашей распределенной инфраструктуре с помощью протокола BitTorrent.

    HOSTKEY
    Арендуйте выделенные и виртуальные серверы с моментальным деплоем в надежных дата-центрах класса TIER III в Москве и Нидерландах. Принимаем оплату за услуги HOSTKEY в Нидерландах в рублях на счет российской компании. Оплата с помощью банковских карт, в том числе и картой МИР, банковского перевода и электронных денег.

    Проблема

    В современных серверах есть модули IPMI, позволяющие загрузить файл ISO с компьютера клиента через веб-интерфейс или Java-апплет, но в случае значительной удаленности и/или медленного клиентского канала установка операционной системы может затянуться на часы. Для ускорения процесса логично держать пул наиболее популярных образов в непосредственной близости от сервера, а поскольку большинство модулей IPMI поддерживают монтирование ISO, на каждой из трех площадок у нас есть такое хранилище. Команда на IPMI для монтирования конкретного файла отправляется из клиентской панели управления.

    Пример списка образов:

    Для поддерживаемых нашей HTML5-консолью серверов внутри контейнера доступен идентичный список файлов ISO.

    Еще есть виртуальные серверы, где загрузочный образ монтируется с ISO storage domain соответствующего кластера oVirt, и в итоге мы получаем минимум три хранилища только на одной площадке. Необходимо, чтобы списки образов везде были одинаковыми (так проще поддерживать их актуальность), а также нам нужна уверенность, что выбранный в панели конкретный файл существует и будет смонтирован. Даже если пожертвовать отказоустойчивостью и попытаться повесить все функции по раздаче ISO в пределах датацентра на один сервер, все равно их потребуется не менее трех (по числу локаций).

    Решение

    Первой на ум приходит идея простого копирования образов по расписанию с некоего эталонного источника, например, через RSYNC. Мы пошли немного другим путем и стали передавать данные по протоколу BitTorrent, организовав между серверами-хранилищами сеть P2P.

    Для использующегося в нашей инфраструктуре дистрибутива CentOS (да и под остальные популярные платформы) есть отличная программа Resilio Sync (бывш. BTSync). Процесс ее развертывания довольно прост: ставим на каждый сервер по экземпляру из пакета rpm и генерируем конфигурационный файл, а также секретный ключ для шифрования трафика между хостами (это мы делаем уже с помощью Ansible).

    Также возможна установка бинарного файла из архива:

    wget https://download-cdn.resilio.com/stable/linux-x64/resilio-sync_x64.tar.gz
    tar -xf resilio-sync_x64.tar.gz
    cp rslsync /usr/local/bin
    ln -s /usr/local/bin/rslsync /usr/local/bin/btsync
    btsync --dump-sample-config > btsync.config
    btsync --generate-secret

    Правим конфигурационные файлы под наши нужды и раскладываем их по серверам. Для каждого сервера задаем "device_name" и актуальный путь к директории с образами: веб-интерфейс для настройки общих директорий нам не нужен, ее можно сразу прописать в блоке shared_folder.

    Пример конфигурации для нашего случая:

    # cat btsync.config
    {
    	"device_name": "isoserver01.example.com",  // уникальное имя для каждого сервера
    	"listening_port" : 58889,
    	"pid_file" : "/var/run/resilio.pid",
    	"use_upnp" : false,
    	"disk_low_priority" : true,
    	"lan_encrypt_data" : true,
    	"lan_use_tcp" : true,
    	"folder_rescan_interval" : 60,
    	"download_limit" : 0,
    	"upload_limit" : 0,
    	"shared_folders" :
    	[
    	{
    		"secret" : "XXXXXXXXXXXXXXXXXXXXXXXXXXXXX",  // сгенерированный нами ключ
    		"dir" : "/PATH/TO/ISO/",  // путь к синхронизируемой директории
    		"use_relay_server" : false,  // relay-сервера нам не нужны
    		"use_tracker" : false,  // чтобы ничего не отправлялось в BitTorrent Inc
    		"use_dht" : false,  // аналогично
    		"search_lan" : false,  // тоже не нужно, ниже мы зададим хосты списком
    		"use_sync_trash" : true, // удалённые на другом сервер файлы будут попадать в «корзину»
    		"known_hosts" : // список хостов нашей сети P2P 
    		[
    			"isoserver01.example.com:58889",
    			"isoserver02.example.com:58889",
    			"isoserver03.example.com:58889"
    		]
    	}
    	]
    }

    Также необходимо открыть порт в настройках межсетевого экрана (пример для firewalld):

    firewall-cmd --zone=internal --add-port=58889/tcp --permanent
    firewall-cmd --reload

    Чтобы развернуть решение, остается только создать сервис, обеспечивающий автоматический запуск программы при старте ОС. Теперь достаточно добавить файл на любом из хостов (например, в локации, из которой поступил клиентский запрос на новый образ), и через короткое время он появится на остальных. Если файл удалить, на остальных хостах он попадет в поддиректорию .sync/Archive/, и при необходимости образ легко восстановить.

    Что в итоге?

    В результате реализации этого решения мы получили надежную рабочую систему управления файлами образов ISO, а также их доставки до клиентских серверов. Resilio Sync работает по протоколу BitTorrent, что снимает ограничения на размер файлов и значительно сокращает время их передачи. Данные при этом передаются в зашифрованном виде и хранятся только на наших инфраструктурных серверах, что повышает защищенность системы.

    Арендуйте выделенные и виртуальные серверы с моментальным деплоем в надежных дата-центрах класса TIER III в Москве и Нидерландах. Принимаем оплату за услуги HOSTKEY в Нидерландах в рублях на счет российской компании. Оплата с помощью банковских карт, в том числе и картой МИР, банковского перевода и электронных денег.

    Другие статьи

    28.11.2024

    OpenWebUI обновился. Что нового привнесла версия 0.4.5?

    OpenWebUI обновился до версии 0.4.5! Новые функции для RAG, групп пользователей, аутентификации, улучшенная производительность и многое другое. Узнайте, как обновиться и использовать его возможности на максимум.

    18.11.2024

    Настройка Nginx на сервере

    Как правильно установить и настроить Nginx на сервере для повышения производительности вашего сайта. Пошаговая инструкция поможет вам настроить Nginx быстро и без ошибок.

    18.11.2024

    Рейтинг быстрых VPS и VDS-серверов

    Топ-10 самых быстрых VPS и VDS-серверов: узнайте, какие серверы обеспечат максимальную производительность и скорость для ваших проектов.

    25.10.2024

    TS3 Manager: что происходит, когда додумываешь документацию

    Есть проблемы с подключением к TS3 Manager после установки на VPS? Управление сервером TeamSpeak через TS3 Manager не такое уж и простое, как кажется. Давайте решим проблемы вместе!

    07.10.2024

    Список всех кодов состояния HTTP-ответа сервера

    Что означают коды состояния ответа сервера, как они влияют на работу сайта и почему для быстрой диагностики и устранения ошибок важно понимать их значения.

    HOSTKEY Выделенные серверы в Европе, России и США Готовые решения и индивидуальные конфигурации серверов на базе процессоров AMD, Intel, карт GPU, Бесплатной защитой от DDoS-атак и безлимитный соединением на скорости 1 Гбит/с 30
    4.3 48 48
    Upload