azureBlobStorageCluster

Permite processar arquivos do Azure Blob Storage em paralelo com muitos nós em um cluster especificado.

Permite processar arquivos do Azure Blob Storage em paralelo com muitos nós em um cluster especificado. No initiator, cria uma conexão com todos os nós do cluster, expande os asteriscos no caminho do arquivo do S3 e distribui cada arquivo dinamicamente. No nó worker, consulta o initiator sobre a próxima tarefa a ser processada e a processa. Isso se repete até que todas as tarefas sejam concluídas. Esta função de tabela é semelhante à função s3Cluster.

​

Sintaxe

azureBlobStorageCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression, structure])

​

Argumentos

Argumento	Descrição
cluster_name	Nome de um cluster usado para montar um conjunto de endereços e parâmetros de conexão para servidores remotos e locais.
connection_string	storage_account_url — connection_string inclui o nome da conta e a chave (Criar uma string de conexão) ou você também pode fornecer aqui a URL da conta de armazenamento e o nome da conta e a chave da conta como parâmetros separados (consulte os parâmetros account_name e account_key)
container_name	Nome do contêiner
blobpath	Caminho do arquivo. Suporta os seguintes curingas no modo readonly: *, **, ?, {abc,def} e {N..M}, em que N, M — números, 'abc', 'def' — strings.
account_name	Se storage_account_url for usado, o nome da conta poderá ser especificado aqui
account_key	Se storage_account_url for usado, a chave da conta poderá ser especificada aqui
format	O formato do arquivo.
compression	Valores compatíveis: none, gzip/gz, deflate, brotli/br, xz/LZMA, zstd/zst, lz4, bz2, snappy. Por padrão, a compressão será detectada automaticamente pela extensão do arquivo. (o mesmo que definir como auto). Para snappy, o formato wire é selecionado pela configuração snappy_mode (basic por padrão).
structure	Estrutura da tabela. Formato 'column1_name column1_type, column2_name column2_type, ...'.

​

Valor retornado

Uma tabela com a estrutura especificada para leitura ou gravação de dados no arquivo especificado.

​

Exemplos

Assim como no motor de tabela AzureBlobStorage, é possível usar o emulador Azurite para desenvolvimento local do Armazenamento do Azure. Mais detalhes aqui. Abaixo, assumimos que o Azurite está disponível no hostname azurite1.

Selecione a contagem para o arquivo test_cluster_*.csv, usando todos os nós no cluster cluster_simple:

SELECT count(*) FROM azureBlobStorageCluster(
        'cluster_simple', 'http://azurite1:10000/devstoreaccount1', 'testcontainer', 'test_cluster_count.csv', 'devstoreaccount1',
        'Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==', 'CSV',
        'auto', 'key UInt64')

​

Usando Assinaturas de Acesso Compartilhado (SAS)

Consulte azureBlobStorage para exemplos.

​

Relacionado

• motor AzureBlobStorage
• função de tabela azureBlobStorage