Fichiers de données Configuration

Il n'y a aucune contrainte sur la manière de structurer les dépôts de jeux de données.

Cependant, si vous souhaitez que le Dataset Viewer affiche certains fichiers de données, ou que votre jeu de données soit séparé en sous-ensembles d’entraînement/validation/test, vous devez structurer votre jeu de données en conséquence. Il suffit souvent de nommer vos fichiers de données selon le nom de leur sous-ensemble, par exemple train.csv et test.csv.

Qu'est-ce que les splits et les sous-ensembles ?

Les jeux de données de machine learning comportent généralement des splits et peuvent également inclure des subsets. Un jeu de données est généralement composé de splits (par exemple train et test) utilisés aux différentes étapes de l’entraînement et de l’évaluation d’un modèle. Un subset (également appelé configuration) est un sous-jeu de données contenu dans un jeu de données plus large. Les subsets sont particulièrement courants dans les jeux de données de parole multilingues, où il peut exister un subset distinct pour chaque langue. Si vous souhaitez en savoir plus sur les splits et les subsets, consultez le guide Splits and subsets !

Détection automatique des splits

Les splits sont détectés automatiquement en fonction des noms de fichiers et de répertoires. Par exemple, voici un jeu de données avec des splits train, test et validation :

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Pour structurer votre jeu de données en nommant vos fichiers ou répertoires de données selon les noms de leurs splits, consultez la documentation Noms de fichiers et splits et la collection d’exemples de jeux de données.

Configuration manuelle des divisions et des sous-ensembles

Vous pouvez choisir les fichiers de données à afficher dans le Dataset Viewer pour votre jeu de données à l’aide de YAML. Cela est utile si vous souhaitez spécifier manuellement dans quelle partition chaque fichier doit être placé.

Vous pouvez également définir plusieurs sous-ensembles pour votre jeu de données et passer des paramètres de construction du jeu de données (par exemple, le séparateur à utiliser pour les fichiers CSV).

Voici un exemple de configuration définissant un sous-ensemble appelé « benchmark » avec une partition test.

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

Consultez la documentation sur Configuration manuelle pour plus d'informations. Consultez également les jeux de données d'exemple.

Formats de fichiers pris en charge

Consultez la page de documentation Formats de fichiers pour obtenir la liste des formats pris en charge et les recommandations pour votre jeu de données. Si votre jeu de données utilise des fichiers CSV ou TSV, vous trouverez plus d'informations dans les jeux de données d'exemple.

Erreurs de limite de taille du Dataset Viewer ( TooBigContentError )

Si vous voyez Error code: TooBigContentError, le visualiseur de jeu de données n’a pas pu lire un aperçu dans ses limites. Les messages courants incluent Parquet error: Scan size limit exceeded et The size of the content of the first rows exceeds the maximum supported size.

Ce que vous pouvez faire :

• Pour les fichiers Parquet, utilisez des groupes de lignes plus petits et incluez un index de page (write_page_index=True) afin que le Viewer ne lise que ce dont il a besoin.
• Évitez les valeurs très volumineuses dans les premières lignes (chaînes de caractères très longues, gros blobs JSON, charges utiles base64). Déplacez les charges utiles volumineuses dans des fichiers séparés lorsque c’est possible.
• Divisez les fichiers très volumineux en shards ou splits plus petits, puis téléversez-les à nouveau.
• Si le problème persiste, consultez Configurer le Dataset Viewer et ouvrez une discussion sur la page de votre jeu de données avec le texte complet de l’erreur.

Jeux de données d'images, d'audio et de vidéo

Pour les jeux de données de classification d’images/audios/vidéos, vous pouvez également utiliser des répertoires pour nommer les classes d’images/audios/vidéos. Et si vos fichiers d’images/audios/vidéos ont des métadonnées (par ex. légendes, boîtes englobantes, transcriptions, etc.), vous pouvez placer des fichiers de métadonnées à côté d’eux.

Nous mettons à votre disposition deux guides que vous pouvez consulter :

• Comment créer un jeu de données d'images (jeux de données d'exemple)
• Comment créer un jeu de données audio (jeux de données d'exemple)
• Comment créer un jeu de données vidéo