تصدير JSON

كيفية تصدير بيانات JSON من ClickHouse

يمكن استخدام معظم تنسيقات JSON المستخدمة للاستيراد في التصدير أيضًا. والأكثر شيوعًا هو JSONEachRow:

SELECT * FROM sometable FORMAT JSONEachRow

{"path":"Bob_Dolman","month":"2016-11-01","hits":245}
{"path":"1-krona","month":"2017-01-01","hits":4}
{"path":"Ahmadabad-e_Kalij-e_Sofla","month":"2017-01-01","hits":3}

أو يمكننا استخدام JSONCompactEachRow لتوفير مساحة على القرص من خلال حذف أسماء الأعمدة:

SELECT * FROM sometable FORMAT JSONCompactEachRow

["Bob_Dolman", "2016-11-01", 245]
["1-krona", "2017-01-01", 4]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]

​

تجاوز أنواع البيانات وجعلها سلاسل نصية

يلتزم ClickHouse بأنواع البيانات ويُصدّر JSON وفقًا للمعايير. لكن في الحالات التي نحتاج فيها إلى ترميز جميع القيم على هيئة سلاسل نصية، يمكننا استخدام تنسيق JSONStringsEachRow:

SELECT * FROM sometable FORMAT JSONStringsEachRow

{"path":"Bob_Dolman","month":"2016-11-01","hits":"245"}
{"path":"1-krona","month":"2017-01-01","hits":"4"}
{"path":"Ahmadabad-e_Kalij-e_Sofla","month":"2017-01-01","hits":"3"}

الآن، يُشفَّر العمود الرقمي hits كسلسلة نصية. ويُدعَم التصدير كسلاسل نصية في جميع تنسيقات JSON*؛ ما عليك سوى الاطّلاع على التنسيقين JSONStrings\* وJSONCompactStrings\*:

SELECT * FROM sometable FORMAT JSONCompactStringsEachRow

["Bob_Dolman", "2016-11-01", "245"]
["1-krona", "2017-01-01", "4"]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", "3"]

​

تصدير البيانات الوصفية مع البيانات

يُصدِّر تنسيق JSON العام، الشائع في التطبيقات، ليس فقط البيانات الناتجة، بل أيضًا أنواع الأعمدة وإحصاءات الاستعلام:

SELECT * FROM sometable FORMAT JSON

{
        "meta":
        [
                {
                        "name": "path",
                        "type": "String"
                },
                ...
        ],

        "data":
        [
                {
                        "path": "Bob_Dolman",
                        "month": "2016-11-01",
                        "hits": 245
                },
                ...
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.000497457,
                "rows_read": 3,
                "bytes_read": 87
        }
}

سيطبع تنسيق JSONCompact البيانات الوصفية نفسها، لكنه سيستخدم شكلاً مضغوطًا للبيانات نفسها:

SELECT * FROM sometable FORMAT JSONCompact

{
        "meta":
        [
                {
                        "name": "path",
                        "type": "String"
                },
                ...
        ],

        "data":
        [
                ["Bob_Dolman", "2016-11-01", 245],
                ["1-krona", "2017-01-01", 4],
                ["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]
        ],

        "rows": 3,

        "statistics":
        {
                "elapsed": 0.00074981,
                "rows_read": 3,
                "bytes_read": 87
        }
}

ضع في اعتبارك استخدام الإصدارين JSONStrings أو JSONCompactStrings لترميز جميع القيم على هيئة سلاسل نصية.

​

طريقة مضغوطة لتصدير بيانات JSON وبنيتها

تتمثل إحدى الطرق الأكثر كفاءة لعرض البيانات وبنيتها في استخدام تنسيق JSONCompactEachRowWithNamesAndTypes:

SELECT * FROM sometable FORMAT JSONCompactEachRowWithNamesAndTypes

["path", "month", "hits"]
["String", "Date", "UInt32"]
["Bob_Dolman", "2016-11-01", 245]
["1-krona", "2017-01-01", 4]
["Ahmadabad-e_Kalij-e_Sofla", "2017-01-01", 3]

سيستخدم هذا تنسيق JSON مضغوطًا يسبقه صفّا ترويسة يتضمنان أسماء الأعمدة وأنواعها. ويمكن بعد ذلك استخدام هذا التنسيق لإدخال البيانات إلى مثيل ClickHouse آخر (أو تطبيقات أخرى).

​

تصدير JSON إلى ملف

لحفظ بيانات JSON المُصدَّرة في ملف، يمكن استخدام عبارة INTO OUTFILE:

SELECT * FROM sometable INTO OUTFILE 'out.json' FORMAT JSONEachRow

36838935 rows in set. Elapsed: 2.220 sec. Processed 36.84 million rows, 1.27 GB (16.60 million rows/s., 572.47 MB/s.)

استغرق ClickHouse ثانيتين فقط لتصدير ما يقرب من 37 مليون سجل إلى ملف JSON. ويمكننا أيضًا التصدير باستخدام عبارة COMPRESSION لتفعيل الضغط مباشرةً أثناء التصدير:

SELECT * FROM sometable INTO OUTFILE 'out.json.gz' FORMAT JSONEachRow

36838935 rows in set. Elapsed: 22.680 sec. Processed 36.84 million rows, 1.27 GB (1.62 million rows/s., 56.02 MB/s.)

يتطلب إنجازه وقتًا أطول، لكنه يُنتج ملفًا مضغوطًا أصغر بكثير:

2.2G    out.json
576M    out.json.gz