العمل مع Parquet في ClickHouse

صفحة تشرح كيفية العمل مع Parquet في ClickHouse

يُعد Parquet تنسيق ملفات فعّالًا لتخزين البيانات بصيغة عمودية. يوفّر ClickHouse دعمًا لقراءة ملفات Parquet وكتابتها.

عند الإشارة إلى مسار ملف في استعلام، يعتمد الموضع الذي سيحاول ClickHouse القراءة منه على إصدار ClickHouse الذي تستخدمه.

إذا كنت تستخدم clickhouse-local، فستتم القراءة من موقع نسبي إلى المكان الذي شغّلت منه ClickHouse Local. إذا كنت تستخدم ClickHouse Server أو ClickHouse Cloud عبر clickhouse client، فستتم القراءة من موقع نسبي إلى الدليل /var/lib/clickhouse/user_files/ على الخادم.

​

الاستيراد من Parquet

قبل تحميل البيانات، يمكننا استخدام الدالة file() لاستعراض بنية ملف Parquet تجريبي:

DESCRIBE TABLE file('data.parquet', Parquet);

لقد استخدمنا Parquet كوسيطةٍ ثانية لكي يعرف ClickHouse تنسيق الملف. سيطبع هذا الأعمدة مع أنواعها:

┌─name─┬─type─────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ path │ Nullable(String) │              │                    │         │                  │                │
│ date │ Nullable(String) │              │                    │         │                  │                │
│ hits │ Nullable(Int64)  │              │                    │         │                  │                │
└──────┴──────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

يمكننا أيضًا استكشاف الملفات قبل استيراد البيانات فعليًا، باستخدام إمكانات SQL الكاملة:

SELECT *
FROM file('data.parquet', Parquet)
LIMIT 3;

┌─path──────────────────────┬─date───────┬─hits─┐
│ Akiba_Hebrew_Academy      │ 2017-08-01 │  241 │
│ Aegithina_tiphia          │ 2018-02-01 │   34 │
│ 1971-72_Utah_Stars_season │ 2016-10-01 │    1 │
└───────────────────────────┴────────────┴──────┘

يمكننا تجاوز تحديد التنسيق صراحةً لـ file() و INFILE/OUTFILE. في هذه الحالة، سيحدِّد ClickHouse التنسيق تلقائيًا استنادًا إلى امتداد الملف.

​

الاستيراد إلى جدول موجود

فلننشئ جدولًا سنستورد إليه بيانات Parquet:

CREATE TABLE sometable
(
    `path` String,
    `date` Date,
    `hits` UInt32
)
ENGINE = MergeTree
ORDER BY (date, path);

يمكننا الآن استيراد البيانات باستخدام الجملة FROM INFILE:

INSERT INTO sometable
FROM INFILE 'data.parquet' FORMAT Parquet;

SELECT *
FROM sometable
LIMIT 5;

┌─path──────────────────────────┬───────date─┬─hits─┐
│ 1988_in_philosophy            │ 2015-05-01 │   70 │
│ 2004_Green_Bay_Packers_season │ 2015-05-01 │  970 │
│ 24_hours_of_lemans            │ 2015-05-01 │   37 │
│ 25604_Karlin                  │ 2015-05-01 │   20 │
│ ASCII_ART                     │ 2015-05-01 │    9 │
└───────────────────────────────┴────────────┴──────┘

لاحظ كيف حوّل ClickHouse تلقائيًا السلاسل النصية في Parquet (في العمود date) إلى النوع Date. ويعود ذلك إلى أن ClickHouse يُجري تحويلًا تلقائيًا للنوع استنادًا إلى الأنواع الموجودة في الجدول الهدف.

​

إدراج ملف محلي في خادم بعيد

إذا كنت تريد إدراج ملف Parquet محلي في خادم ClickHouse بعيد، فيمكنك القيام بذلك بتمرير محتويات الملف إلى clickhouse-client، كما هو موضح أدناه:

clickhouse client -q "INSERT INTO sometable FORMAT Parquet" < data.parquet

​

إنشاء جداول جديدة من ملفات Parquet

بما أن ClickHouse يقرأ مخطط ملف Parquet، يمكننا إنشاء الجداول مباشرةً:

CREATE TABLE imported_from_parquet
ENGINE = MergeTree
ORDER BY tuple() AS
SELECT *
FROM file('data.parquet', Parquet)

سيؤدي ذلك تلقائيًا إلى إنشاء جدول وملئه من ملف Parquet معيّن:

DESCRIBE TABLE imported_from_parquet;

┌─name─┬─type─────────────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─┐
│ path │ Nullable(String) │              │                    │         │                  │                │
│ date │ Nullable(String) │              │                    │         │                  │                │
│ hits │ Nullable(Int64)  │              │                    │         │                  │                │
└──────┴──────────────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────┘

افتراضيًا، يتعامل ClickHouse بصرامة مع أسماء الأعمدة والأنواع والقيم. لكن في بعض الحالات، يمكن تخطي الأعمدة غير الموجودة أو القيم غير المدعومة أثناء الاستيراد. ويمكن التحكم في ذلك باستخدام إعدادات Parquet.

​

التصدير إلى تنسيق Parquet

عند استخدام INTO OUTFILE مع ClickHouse Cloud، ستحتاج إلى تشغيل الأوامر عبر clickhouse client على الجهاز الذي سيُكتب فيه الملف.

لتصدير أي جدول أو نتيجة استعلام إلى ملف Parquet، يمكن استخدام عبارة INTO OUTFILE:

SELECT *
FROM sometable
INTO OUTFILE 'export.parquet'
FORMAT Parquet

سينشئ ذلك الملف export.parquet في دليل العمل.

​

أنواع البيانات في ClickHouse وParquet

تتطابق أنواع البيانات في ClickHouse وParquet إلى حدٍّ كبير، لكنها تختلف قليلًا. على سبيل المثال، يصدِّر ClickHouse النوع DateTime بصيغة int64 في Parquet. وإذا استوردنا هذا مجددًا إلى ClickHouse، فسنرى أرقامًا (ملف time.parquet):

SELECT * FROM file('time.parquet', Parquet);

┌─n─┬───────time─┐
│ 0 │ 1673622611 │
│ 1 │ 1673622610 │
│ 2 │ 1673622609 │
│ 3 │ 1673622608 │
│ 4 │ 1673622607 │
└───┴────────────┘

في هذه الحالة، يمكن استخدام تحويل الأنواع:

SELECT
    n,
    toDateTime(time)                 <--- int to time
FROM file('time.parquet', Parquet);

┌─n─┬────toDateTime(time)─┐
│ 0 │ 2023-01-13 15:10:11 │
│ 1 │ 2023-01-13 15:10:10 │
│ 2 │ 2023-01-13 15:10:09 │
│ 3 │ 2023-01-13 15:10:08 │
│ 4 │ 2023-01-13 15:10:07 │
└───┴─────────────────────┘

​

للمزيد من القراءة

يوفّر ClickHouse دعمًا للعديد من التنسيقات، النصية والثنائية على حدّ سواء، لتلبية مختلف السيناريوهات والمنصات. اطّلع على المزيد من التنسيقات وطرق العمل معها في المقالات التالية:

• تنسيقات CSV وTSV
• Avro وArrow وORC
• تنسيقات JSON
• Regex وTemplate
• تنسيقات Native والثنائية
• تنسيقات SQL

واطّلع أيضًا على clickhouse-local - وهي أداة محمولة متكاملة الميزات للعمل على الملفات المحلية/البعيدة دون الحاجة إلى خادم ClickHouse.