В этом руководстве мы пошагово рассмотрим процесс создания первого Kafka ClickPipe.Kafka ClickPipes можно развертывать и настраивать вручную через интерфейс ClickPipes, а также программно с помощью OpenAPI и Terraform.
1
Перейдите к источникам данных
В левом меню выберите кнопку
Data Sources и нажмите “Set up a ClickPipe”.2
Выберите источник данных
Выберите в списке источник данных Kafka.
3
Настройте источник данных
Заполните форму: укажите имя для ClickPipe, описание (необязательно), учетные данные и другие сведения о подключении.
4
Настройте реестр схем (необязательно)
Для топиков Avro и Protobuf требуется корректная схема. Подробнее о том, как настроить реестр схем, см. в разделе Реестры схем.Для Protobuf вы можете вместо этого оставить Schema registry отключённым и загрузить схему при выборе топика.
5
Настройте обратную частную конечную точку (необязательно)
Настройте обратную частную конечную точку, чтобы ClickPipes могли подключаться к вашему кластеру Kafka через AWS PrivateLink.
Подробнее см. в нашей документации по AWS PrivateLink.
6
Настройка SSH-туннелирования (необязательно)
Вы можете использовать SSH-туннелирование, если ваш брокер Kafka недоступен из интернета. Вместо прямого подключения ClickPipes устанавливает SSH-соединение с бастион-хостом (сервером в вашей сети, который имеет публичный доступ), а затем перенаправляет через него трафик к вашему брокеру Kafka в частной сети.
- Включите переключатель “SSH Tunnel”.
- Заполните сведения о SSH-подключении:
- SSH Host: имя хоста или IP-адрес вашего бастион-хоста — это общедоступный сервер, который служит шлюзом в вашу частную сеть.
- SSH Port: SSH-порт на бастион-хосте (по умолчанию
22). - SSH User: имя пользователя для аутентификации на бастион-хосте.
- Чтобы использовать аутентификацию по ключу, нажмите “Revoke and regenerate key pair”, чтобы сгенерировать новую пару ключей, и скопируйте созданный открытый ключ на ваш SSH-сервер в
~/.ssh/authorized_keys. - Нажмите “Verify Connection”, чтобы проверить подключение.
Убедитесь, что вы добавили ClickPipes IP addresses в правила брандмауэра для SSH-бастиона, чтобы ClickPipes могли установить SSH-туннель.
7
Выберите топик
Выберите топик. Если вы не используете реестр схем, выберите формат данных в разделе Schema format. Для
Protobuf загрузите файл .proto или сериализованный FileDescriptorSet (максимум 768 KiB).Затем интерфейс отобразит пример документа из этого топика.8
Настройте целевую таблицу
На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую. Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и настройки. Вверху страницы вы увидите предварительный просмотр изменений в таблице-образце в реальном времени.Вы также можете настроить дополнительные параметры с помощью доступных элементов управления
9
Настройка разрешений
ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:
Full access: полный доступ к кластеру. Это может быть полезно, если вы используете Materialized View или словарь с целевой таблицей.Only destination table: только с разрешениемINSERTдля целевой таблицы.
10
Завершение настройки
После нажатия на “Create ClickPipe” будет создан и запущен ваш ClickPipe. После этого он появится в разделе Data Sources.