Integração do Amazon Kinesis com o ClickHouse Cloud

Os ClickPipes do Kinesis podem ser implantados e gerenciados manualmente por meio da UI do ClickPipes, bem como programaticamente usando OpenAPI e Terraform. Você já se familiarizou com a introdução ao ClickPipes e configurou credenciais do IAM ou uma função do IAM. Siga o guia de acesso baseado em função do Kinesis para saber como configurar uma função que funcione com o ClickHouse Cloud.

​

Criando seu primeiro ClickPipe

1. Acesse o SQL Console do seu serviço do ClickHouse Cloud.

2. Selecione o botão Data Sources no menu à esquerda e clique em “Set up a ClickPipe”

3. Selecione sua fonte de dados.

4. Preencha o formulário informando um nome para o ClickPipe, uma descrição (opcional), sua função do IAM ou credenciais e outros detalhes da conexão.

5. Selecione o stream do Kinesis, o Data format e o offset inicial. Para Protobuf, envie um arquivo .proto ou um FileDescriptorSet serializado (máximo de 768 KiB). Não é necessário schema registry. A UI exibe dados de exemplo do stream selecionado. A opção Use Kinesis Enhanced Fan-Out está ativada por padrão. Consulte a documentação do Amazon Kinesis para mais detalhes.

6. Na próxima etapa, você pode escolher se deseja fazer a ingestão de dados em uma nova tabela do ClickHouse ou reutilizar uma já existente. Siga as instruções na tela para modificar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de exemplo na parte superior.

Você também pode personalizar as configurações avançadas usando os controles fornecidos

7. Como alternativa, você pode optar por fazer a ingestão dos seus dados em uma tabela existente do ClickHouse. Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

8. Por fim, você pode configurar permissões para o usuário interno do ClickPipes.

Permissões: o ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

• Full access: com acesso total ao cluster. Isso pode ser útil se você usar visão materializada ou Dicionário com a tabela de destino.
  • Only destination table: apenas com permissões de INSERT na tabela de destino.

9. Ao clicar em “Complete Setup”, o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

A tabela de resumo fornece controles para exibir dados de exemplo da origem ou da tabela de destino no ClickHouse Além disso, há controles para remover o ClickPipe e exibir um resumo do trabalho de ingestão.

10. Parabéns! Você configurou com sucesso seu primeiro ClickPipe. Se este for um ClickPipe de streaming, ele ficará em execução contínua, fazendo ingestão de dados em tempo real da sua fonte de dados remota. Caso contrário, ele fará a ingestão do lote e será concluído.

Os formatos suportados são:

• JSON
• Protobuf

O ClickPipes para Kinesis detecta e descompacta automaticamente registros compactados. Diferentemente do Kafka, em que a biblioteca cliente cuida da descompactação de forma transparente, o Kinesis entrega bytes brutos — o ClickPipes faz isso para você, sem exigir nenhuma configuração. Os seguintes codecs de compressão são suportados:

• gzip
• zstd
• lz4
• snappy (formato com frames)

A compressão é detectada automaticamente por meio dos bytes mágicos de cada registro. Se nenhuma assinatura de compressão conhecida for encontrada, o registro será tratado como sem compactação. O tipo de compressão detectado também é exibido durante a inferência de esquema, para que a prévia dos dados de amostra na UI mostre corretamente os dados descompactados. Os seguintes tipos de dados do ClickHouse são compatíveis no momento com o ClickPipes:

• Tipos numéricos básicos - [U]Int8/16/32/64, Float32/64 e BFloat16
• Tipos inteiros grandes - [U]Int128/256
• Tipos Decimal
• Boolean
• String
• FixedString
• Date, Date32
• DateTime, DateTime64 (apenas timezones UTC)
• Enum8/Enum16
• UUID
• IPv4
• IPv6
• todos os tipos LowCardinality do ClickHouse
• map com chaves e valores usando qualquer um dos tipos acima (incluindo Nullable)
• Tuple e Array com elementos usando qualquer um dos tipos acima (incluindo Nullable, com apenas um nível de profundidade)
• Tipos SimpleAggregateFunction (para destinations AggregatingMergeTree ou SummingMergeTree)

Você pode especificar manualmente um tipo Variant (como Variant(String, Int64, DateTime)) para qualquer campo JSON no stream de dados de origem. Devido à forma como o ClickPipes determina o subtipo correto de Variant a ser usado, apenas um tipo inteiro ou datetime pode ser usado na definição de Variant — por exemplo, Variant(Int64, UInt32) não é compatível. Campos JSON que são sempre um objeto JSON podem ser atribuídos a uma coluna de destino do tipo JSON. Você terá que alterar manualmente a coluna de destino para o tipo JSON desejado, incluindo quaisquer caminhos fixos ou ignorados. As colunas virtuais a seguir são compatíveis com o stream do Kinesis. Ao criar uma nova tabela de destino, é possível adicionar colunas virtuais usando o botão Add Column. O campo _raw_message pode ser usado nos casos em que apenas o registro JSON completo do Kinesis é necessário (como ao usar as funções JsonExtract* do ClickHouse para preencher uma visão materializada downstream). Para esses pipes, excluir todas as colunas “não virtuais” pode melhorar o desempenho do ClickPipes.

• DEFAULT não é suportado.
• Mensagens individuais são limitadas por padrão a 16 MB (sem compactação) ao usar o menor tamanho de réplica (XS) e a 32 MB (sem compactação) com réplicas maiores. Mensagens que excederem esse limite serão rejeitadas com erro. Se precisar de mensagens maiores, entre em contato com o suporte.

O ClickPipes insere dados no ClickHouse em lotes. Isso evita a criação de um número excessivo de partes no banco de dados, o que pode levar a problemas de desempenho no cluster. Os lotes são inseridos quando um dos seguintes critérios é atendido:

• O tamanho do lote atinge o tamanho máximo (100.000 linhas ou 32MB por 1GB de memória de réplica)
• O lote permanece aberto pelo tempo máximo permitido (5 segundos)

A latência (definida como o tempo entre o envio da mensagem do Kinesis para o stream e o momento em que ela fica disponível no ClickHouse) dependerá de vários fatores (por exemplo, a latência do Kinesis, a latência de rede e o tamanho/formato da mensagem). O envio em lotes descrito na seção acima também afeta a latência. Recomendamos sempre testar seu caso de uso específico para entender a latência esperada. Se você tiver requisitos específicos de baixa latência, entre em contato conosco. Um grande número de shards ativas pode reduzir o throughput do ClickPipe caso ele não esteja dimensionado para lidar com elas. O ClickPipes para Kinesis foi projetado para escalar tanto horizontal quanto verticalmente. Por padrão, criamos um grupo de consumidores com um único consumidor. Isso pode ser configurado durante a criação do ClickPipe ou, a qualquer momento, em Configurações -> Configurações avançadas -> Escalonamento. O ClickPipes oferece alta disponibilidade com uma arquitetura distribuída entre zonas de disponibilidade. Isso exige o escalonamento para pelo menos dois consumidores. Independentemente do número de consumidores em execução, a tolerância a falhas é garantida por design. Se um consumidor ou a infraestrutura subjacente falhar, o ClickPipe reiniciará automaticamente o consumidor e continuará processando as mensagens.

​

Autenticação

Para acessar streams do Amazon Kinesis, você pode usar credenciais do IAM ou uma função do IAM. Para mais detalhes sobre como configurar uma função do IAM, consulte este guia para obter informações sobre como configurar uma função compatível com o ClickHouse Cloud