أسماء الملفات والتقسيمات

للاستضافة ومشاركة مجموعة بياناتك، أنشئ مستودع مجموعة بيانات على Hugging Face Hub وارفع ملفات بياناتك.

ستوضح لك هذه الدليل كيفية تسمية ملفاتك ومجلداتك في مستودع مجموعة البيانات عند رفعها، وتمكين جميع ميزات مركز مجموعات البيانات مثل عارض مجموعات البيانات. راجع المجموعة المصاحبة من مجموعات البيانات النموذجية لمزيد من التفاصيل.

يتمتع مجموعة بيانات ذات بنية مدعومة وصيغ ملفات تلقائيًا بمشاهد مجموعة بيانات على صفحتها في Hub.

لاحظ أنه إذا لم يناسبك أيٌّ من الهياكل أدناه، يمكنك الحصول على مزيد من التحكم في كيفية تعريف التقسيمات والمجموعات الفرعية باستخدام الإعداد اليدوي.

حالة الاستخدام الأساسية

إذا لم يكن مجموعة بياناتك مقسمة إلى مجموعات تدريب/تحقق/اختبار، فإن أبسط بنية لمجموعة البيانات هي وجود ملف واحد: data.csv (يعمل هذا مع أي صيغة ملف مدعومة وأي اسم ملف).

ستحتوي مستودعك أيضًا على ملف README.md، وهو بطاقة مجموعة البيانات المعروضة في صفحة مجموعة بياناتك.

my_dataset_repository/
├── README.md
└── data.csv

التقسيمات

يمكن استخدام بعض الأنماط في مستودع مجموعة البيانات لتعيين ملفات معينة إلى مجموعات التدريب/التحقق/الاختبار.

اسم الملف

يمكنك تسمية ملفات البيانات الخاصة بك وفقًا لتقسيمات train وtest وvalidation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

إذا لم يكن لديك أي تقسيمات غير تقليدية، فيمكنك وضع اسم التقسيم في أي مكان داخل ملف البيانات. القاعدة الوحيدة هي أن يكون اسم التقسيم مفصولًا بأحرف غير حروف كلمة، مثل test-file.csv على سبيل المثال بدلاً من testfile.csv. تشمل الفواصل المدعومة الخطوط السفلية، والشرطات، والمسافات، والنقاط، والأرقام.

على سبيل المثال، جميع أسماء الملفات التالية مقبولة:

• تقسيم التدريب: train.csv، my_train_file.csv، train1.csv
• مجموعة التحقق: validation.csv, my_validation_file.csv, validation1.csv
• مجموعة الاختبار: test.csv، my_test_file.csv، test1.csv

اسم المجلد

يمكنك وضع ملفات البيانات في مجلدات مختلفة تُسمى train وtest وvalidation حيث يحتوي كل مجلد على ملفات البيانات الخاصة بتلك التقسيمة:

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   └── data.csv
    ├── test/
    │   └── more_data.csv
    └── validation/
        └── even_more_data.csv

كلمات مفتاحية

هناك عدة طرق للإشارة إلى تقسيمات التدريب/التحقق/الاختبار. يُطلق على تقسيمات التحقق أحيانًا اسم “dev” (التطوير)، وقد يُشار إلى تقسيمات الاختبار باسم “eval” (التقييم). تُؤيَّد أسماء التقسيمات الأخرى أيضًا، والكلمات المفتاحية التالية مكافئة:

• التدريب، التدريب
• التحقق، صالح، val، dev
• test, testing, eval, evaluation

لذلك، فإن البنية أدناه مستودع صالح:

my_dataset_repository/
├── README.md
└── data/
    ├── training.csv
    ├── eval.csv
    └── valid.csv

ملفات متعددة لكل تقسيم

يمكن أن تمتد التقسيمات عبر عدة ملفات، على سبيل المثال:

my_dataset_repository/
├── README.md
├── train_0.csv
├── train_1.csv
├── train_2.csv
├── train_3.csv
├── test_0.csv
└── test_1.csv

تأكد من أن جميع ملفات مجموعة train تحتوي على train في أسمائها (وكذلك الأمر بالنسبة لملفات الاختبار والتحقق). يمكنك حتى إضافة بادئة أو لاحقة إلى train في اسم الملف (مثل my_train_file_00001.csv على سبيل المثال).

للسهولة، يمكنك أيضًا وضع ملفات البيانات في مجلدات مختلفة. في هذه الحالة، يُستنتج اسم التقسيم من اسم المجلد.

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   ├── shard_0.csv
    │   ├── shard_1.csv
    │   ├── shard_2.csv
    │   └── shard_3.csv
    └── test/
        ├── shard_0.csv
        └── shard_1.csv

اسم التقسيم المخصص

إذا كانت تقسيمات مجموعة بياناتك تحمل أسماء مخصصة غير train أو test أو validation، فيمكنك تسمية ملفات البيانات الخاصة بك على النحو التالي: data/<split_name>-xxxxx-of-xxxxx.csv.

فيما يلي مثال يتضمن ثلاثة أقسام، train، وtest، وrandom:

my_dataset_repository/
├── README.md
└── data/
    ├── train-00000-of-00003.csv
    ├── train-00001-of-00003.csv
    ├── train-00002-of-00003.csv
    ├── test-00000-of-00001.csv
    ├── random-00000-of-00003.csv
    ├── random-00001-of-00003.csv
    └── random-00002-of-00003.csv