Интеграция Confluent Cloud с ClickHouse
Предварительные требования
Предполагается, что вы знакомы со следующим:
- ClickHouse Connector Sink
- Confluent Cloud
Официальный коннектор Kafka от ClickHouse для Confluent Cloud
Создание топика
Создать топик в Confluent Cloud довольно просто; подробные инструкции приведены здесь.
Важные замечания
- Имя топика Kafka должно совпадать с именем таблицы в ClickHouse. Настроить это соответствие можно с помощью трансформера (например,
ExtractTopic). - Большее число партиций не всегда означает более высокую производительность — следите за нашим будущим руководством с дополнительной информацией и рекомендациями по производительности.
Соберите параметры подключения
To connect to ClickHouse with HTTP(S) you need this information:
| Parameter(s) | Description |
|---|---|
HOST and PORT | Typically, the port is 8443 when using TLS or 8123 when not using TLS. |
DATABASE NAME | Out of the box, there is a database named default, use the name of the database that you want to connect to. |
USERNAME and PASSWORD | Out of the box, the username is default. Use the username appropriate for your use case. |
The details for your ClickHouse Cloud service are available in the ClickHouse Cloud console. Select a service and click Connect:
Choose HTTPS. Connection details are displayed in an example curl command.
If you are using self-managed ClickHouse, the connection details are set by your ClickHouse administrator.
Установка коннектора
Установите полностью управляемый ClickHouse Sink Connector в Confluent Cloud, следуя официальной документации.
Настройка коннектора
Во время настройки ClickHouse Sink Connector вам потребуется указать следующие параметры:
- имя хоста (hostname) сервера ClickHouse
- порт сервера ClickHouse (по умолчанию 8443)
- имя пользователя и пароль для сервера ClickHouse
- имя базы данных в ClickHouse, в которую будут записываться данные
- имя топика в Kafka, который будет использоваться для записи данных в ClickHouse
Интерфейс Confluent Cloud поддерживает расширенные параметры конфигурации для задания интервалов опроса, размеров пакетов и других параметров с целью оптимизации производительности.
