ClickHouse¶

В этой статье

• ClickHouse. Основные возможности
• Особенности сборки
• Начало работы после развертывания ClickHouse
• Подключение к ClickHouse
• Основные операции в ClickHouse
• Заказ ClickHouse с помощью API

ClickHouse. Основные возможности¶

• Колоночное хранение данных: данные хранятся по столбцам, а не по строкам, что значительно ускоряет выполнение аналитических запросов и снижает объем обрабатываемых данных.
• Высокая производительность: оптимизирована для обработки больших массивов данных и способна выполнять запросы по миллиардам строк за счёт векторизованной обработки и эффективного использования CPU.
• Сжатие данных: мспользуются специализированные алгоритмы сжатия, которые позволяют значительно уменьшить объём хранимых данных (часто в несколько раз по сравнению с построчными СУБД), особенно при аналитических нагрузках.
• SQL-совместимость: поддержка расширенного SQL-синтаксиса с дополнительными функциями для аналитики, что упрощает миграцию существующих приложений.
• Распределенная обработка: возможность создания кластеров для горизонтального масштабирования и обработки данных на нескольких серверах.
• Репликация данных: встроенная поддержка репликации для обеспечения отказоустойчивости и высокой доступности данных.
• Поддержка множества форматов данных: возможность импорта и экспорта данных в форматах CSV, JSON, Parquet, Avro и других.
• Материализованные представления: автоматическое агрегирование данных в фоновом режиме для ускорения повторяющихся запросов.
• Интеграция с внешними источниками: поддержка прямого чтения данных из MySQL, PostgreSQL, MongoDB, Kafka, S3 и других систем.

Особенности сборки¶

• Установленное ПО:

  • ClickHouse Server >= 26.1.1
  • ClickHouse Client >= 26.1.1

• Особенности установки:

  • ПО установлено посредством официального скрипта от разработчиков;
  • Время установки: 5-10 минут;
  • База данных доступна для подключения по сети через различные SQL-клиенты;
  • По умолчанию используется пользователь default с паролем от учетной записи root.

Расположение конфигурационных файлов и данных:

• Основная конфигурация сервера: /etc/clickhouse-server/config.xml
• Настройки пользователей: /etc/clickhouse-server/users.xml
• Логи сервера:
  • /var/log/clickhouse-server/clickhouse-server.log
  • /var/log/clickhouse-server/clickhouse-server.err.log
• Данные: /var/lib/clickhouse/
• PID файл: /run/clickhouse-server/clickhouse-server.pid
• Системные лимиты: /etc/security/limits.d/clickhouse.conf

Доступные порты для подключения:

Начало работы после развертывания ClickHouse¶

После оплаты заказа на указанную при регистрации электронную почту придет уведомление о готовности сервера к работе. В нем будет указан IP-адрес VPS, а также логин и пароль для подключения. Управление оборудованием клиенты нашей компании осуществляют в панели управления серверами и API — Invapi.

Данные для авторизации:

• IP-адрес сервера: указан в письме и в панели управления;
• Логин: default;
• Пароль: совпадает с паролем от учетной записи root и приходит в письме на электронную почту.

Подключение к ClickHouse¶

Подключение через clickhouse-client¶

ClickHouse включает нативный консольный клиент для работы с базой данных.

1. Подключение с сервера (локально):

clickhouse-client

2. Подключение с удаленной машины:

clickhouse-client --host <IP-адрес> --port 9000 --user default --password <пароль>

3. Выполнение простого запроса:

SELECT version();

4. Просмотр списка баз данных:

SHOW DATABASES;

Подключение через DBeaver¶

DBeaver - это универсальный GUI-клиент для работы с различными базами данных, включая ClickHouse.

1. Установка DBeaver

Скачайте и установите DBeaver с официального сайта.

2. Создание нового подключения

• Запустите DBeaver
• Выберите Database >> New Database Connection (или нажмите Ctrl+Shift+N)

• В списке баз данных найдите и выберите ClickHouse

• Нажмите Next

3. Настройка параметров подключения

В окне настроек укажите следующие параметры:

Host: <IP-адрес вашего сервера>
Port: 8123
Database/Schema: (оставьте пустым или укажите default)
Username: default
Password: <пароль от root>

4. Загрузка JDBC драйвера

При первом подключении DBeaver предложит загрузить JDBC драйвер для ClickHouse:

• Нажмите Download в появившемся окне:

• Дождитесь завершения загрузки драйвера:

• Нажмите OK.

5. Тестирование подключения

• Нажмите Test Connection;
• Если всё настроено правильно, появится сообщение: Connected (XXX ms):

• В сообщении будут указаны:
• Server: ClickHouse X.X.X.XXX
• Driver: ClickHouse JDBC Driver X.X.X

6. Завершение настройки

• Нажмите Finish;
• Подключение появится в Database Navigator;
• Раскройте дерево подключения для просмотра баз данных, таблиц и других объектов.

Возможные проблемы:

Основные операции в ClickHouse¶

Создание базы данных¶

CREATE DATABASE IF NOT EXISTS my_database;

Создание таблицы¶

CREATE TABLE my_database.events
(
    event_date Date,
    event_time DateTime,
    user_id UInt32,
    event_type String,
    value Float64
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(event_date)
ORDER BY (event_date, user_id);

Вставка данных¶

INSERT INTO my_database.events VALUES
    ('2024-12-25', '2024-12-25 10:00:00', 1, 'click', 1.5),
    ('2024-12-25', '2024-12-25 10:05:00', 2, 'view', 2.3),
    ('2024-12-25', '2024-12-25 10:10:00', 1, 'purchase', 99.99);

Выборка данных¶

Простая выборка:

SELECT * FROM my_database.events LIMIT 10;

Агрегация данных:

SELECT 
    event_type,
    count() as events_count,
    avg(value) as avg_value
FROM my_database.events
WHERE event_date = '2024-12-25'
GROUP BY event_type;

Временные ряды:

SELECT 
    toStartOfHour(event_time) as hour,
    count() as events_per_hour
FROM my_database.events
WHERE event_date >= '2024-12-01'
GROUP BY hour
ORDER BY hour;

Импорт данных из CSV¶

Создание таблицы:

CREATE TABLE my_database.logs
(
    timestamp DateTime,
    level String,
    message String
)
ENGINE = MergeTree()
ORDER BY timestamp;

Импорт данных:

INSERT INTO my_database.logs
FROM INFILE '/path/to/file.csv'
FORMAT CSV;

Управление пользователями и правами¶

Создание пользователя:

CREATE USER analyst IDENTIFIED BY 'secure_password';

Выдача прав:

GRANT SELECT ON my_database.* TO analyst;

Просмотр пользователей:

SHOW USERS;

Просмотр прав:

SHOW GRANTS FOR analyst;

Управление сервисом¶

Запуск сервиса:

clickhouse start

Остановка сервиса:

clickhouse stop

Перезапуск сервиса:

clickhouse restart

Статус сервиса:

clickhouse status

Просмотр логов:

tail -f /var/log/clickhouse-server/clickhouse-server.log

Проверка активных портов¶

Проверить, какие порты слушает ClickHouse:

ss -tlnp | grep clickhouse

Или более детально:

ss -tlnp | grep $(pidof clickhouse-server)

Проверить настроенные порты в конфигурации:

cat /etc/clickhouse-server/config.xml | grep -E "port>" | head -20

Проверить конкретный порт:

ss -tlnp | grep :8123

Ожидаемый результат проверки портов:

LISTEN  *:8123  clickhouse-serv  (HTTP)
LISTEN  *:9000  clickhouse-serv  (Native TCP)
LISTEN  *:9004  clickhouse-serv  (MySQL)
LISTEN  *:9005  clickhouse-serv  (PostgreSQL)
LISTEN  *:9009  clickhouse-serv  (Interserver)

Заказ ClickHouse с помощью API¶

Для установки данного ПО с использованием API следуйте этой инструкции.