azureBlobStorageCluster

Permite procesar archivos de Azure Blob Storage en paralelo con muchos nodos en un clúster especificado.

Permite procesar archivos de Azure Blob Storage en paralelo con muchos nodos de un clúster especificado. En el nodo iniciador, crea una conexión con todos los nodos del clúster, expande los asteriscos en la ruta del archivo de S3 y distribuye dinámicamente cada archivo. En el nodo worker, consulta al iniciador cuál es la siguiente tarea que debe procesar y la procesa. Esto se repite hasta que todas las tareas hayan finalizado. Esta función de tabla es similar a la función s3Cluster.

​

Sintaxis

azureBlobStorageCluster(cluster_name, connection_string|storage_account_url, container_name, blobpath, [account_name, account_key, format, compression, structure])

​

Argumentos

Argument	Description
cluster_name	Nombre de un clúster que se utiliza para crear un conjunto de direcciones y parámetros de conexión a servidores remotos y locales.
connection_string	storage_account_url` — connection_string incluye el nombre y la clave de la cuenta (Crear una cadena de conexión) o también puede proporcionar aquí la URL de la cuenta de almacenamiento, y el nombre y la clave de la cuenta como parámetros independientes (consulte los parámetros account_name y account_key)
container_name	Nombre del contenedor
blobpath	Ruta del archivo. Admite los siguientes comodines en modo de solo lectura: *, **, ?, {abc,def} y {N..M}, donde N, M — números; 'abc', 'def' — cadenas.
account_name	Si se usa storage_account_url, aquí se puede especificar el nombre de la cuenta
account_key	Si se usa storage_account_url, aquí se puede especificar la clave de la cuenta
format	El formato del archivo.
compression	Valores admitidos: none, gzip/gz, deflate, brotli/br, xz/LZMA, zstd/zst, lz4, bz2, snappy. De forma predeterminada, la compresión se detecta automáticamente por la extensión del archivo. (equivale a establecer auto). Para snappy, el formato de transmisión se selecciona mediante la configuración snappy_mode (basic de forma predeterminada).
structure	Estructura de la tabla. Formato: 'column1_name column1_type, column2_name column2_type, ...'.

​

Valor devuelto

Una tabla con la estructura especificada para leer o escribir datos en el archivo indicado.

​

Ejemplos

Al igual que con el motor de tabla AzureBlobStorage, se puede usar el emulador Azurite para el desarrollo local de Azure Storage. Más detalles aquí. A continuación, asumimos que Azurite está disponible en el nombre de host azurite1.

Seleccione el recuento del archivo test_cluster_*.csv usando todos los nodos del clúster cluster_simple:

SELECT count(*) FROM azureBlobStorageCluster(
        'cluster_simple', 'http://azurite1:10000/devstoreaccount1', 'testcontainer', 'test_cluster_count.csv', 'devstoreaccount1',
        'Eby8vdM02xNOcqFlqUwJPLlmEtlCDXJ1OUzFT50uSRZ6IFsuFq2UVErCz4I6tq/K1SZFPTOtr/KBHBeksoGMGw==', 'CSV',
        'auto', 'key UInt64')

​

Uso de firmas de acceso compartido (SAS)

Consulte azureBlobStorage para ver ejemplos.

​

Relacionado

• motor AzureBlobStorage
• función de tabla azureBlobStorage