Polars

Polars هو مكتبة إطار بيانات في الذاكرة (in-memory DataFrame) مبنية على محرك استعلامات OLAP. فهو سريع وسهل الاستخدام ومفتوح المصدر.

بدءًا من الإصدار 1.2.0، يوفر Polars دعمًا أصليًا لنظام ملفات Hugging Face. وهذا يعني أن جميع مزايا مُحسِّن الاستعلامات في Polars (مثل دفع التنبؤات والإسقاط) تُطبَّق، ولن يقوم Polars بتحميل سوى البيانات الضرورية لإكمال الاستعلام. وهذا يسرّع عملية القراءة بشكل كبير، لا سيما في حالة مجموعات البيانات الكبيرة (انظر التحسينات)

يمكنك استخدام مسارات Hugging Face (hf://) للوصول إلى البيانات على Hub:

البدء

للبدء، يمكنك ببساطة تثبيت Polars في بيئتك باستخدام pip install:

pip install polars

بمجرد تثبيت Polars، يمكنك الاستعلام مباشرةً عن مجموعة بيانات بناءً على عنوان URL من Hugging Face. لا حاجة إلى أي تبعيات أخرى لهذا الغرض.

import polars as pl

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-00000-of-00004-2d5a1467fff1081b.parquet")

توفر Polars واجهتي برمجة تطبيقات: واجهة كسولة (scan_parquet) وواجهة فورية (read_parquet). ننصح باستخدام الواجهة الفورية للأحمال التفاعلية، والواجهة الكسولة للأداء، إذ تتيح تحسينًا أفضل للاستعلامات. لمزيد من المعلومات حول هذا الموضوع، راجع دليل مستخدم Polars.

يدعم Polars استخدام الأنماط (globbing) لتنزيل عدة ملفات دفعة واحدة إلى إطار بيانات (DataFrame) واحد.

pl.read_parquet("hf://datasets/roneneldan/TinyStories/data/train-*.parquet")

روابط Hugging Face

يمكن بناء رابط Hugging Face من اسم username واسم dataset على النحو التالي:

• hf://datasets/{username}/{dataset}/{path_to_file}

قد يتضمن المسار أنماط توسيع (globbing) مثل **/*.parquet للاستعلام عن جميع الملفات المطابقة للنمط. بالإضافة إلى ذلك، لأي صيغ ملفات غير مدعومة، يمكنك استخدام ملفات parquet المحوَّلة تلقائيًا التي يوفرها Hugging Face باستخدام @~parquet branch:

• hf://datasets/{my-username}/{my-dataset}@~parquet/{path_to_file}