Charger un jeu de données depuis le Hub

Trouver des jeux de données de haute qualité, reproductibles et accessibles peut s’avérer difficile. L’un des principaux objectifs de 🤗 Datasets est de fournir une méthode simple pour charger un jeu de données de n’importe quel format ou type. La façon la plus simple de commencer est de découvrir un jeu de données existant sur le Hugging Face Hub – une collection communautaire de jeux de données pour des tâches en NLP, vision par ordinateur et audio – puis d’utiliser 🤗 Datasets pour le télécharger et le générer.

Ce tutoriel utilise les jeux de données rotten_tomatoes et MInDS-14, mais vous êtes libre de charger le jeu de données de votre choix et de suivre le guide. Rendez-vous maintenant sur le Hub et trouvez un jeu de données adapté à votre tâche !

Charger un jeu de données

Avant de prendre le temps de télécharger un jeu de données, il est souvent utile d’obtenir rapidement des informations générales à son sujet. Les informations d’un jeu de données sont stockées dans DatasetInfo et peuvent inclure des éléments tels que la description du jeu de données, les fonctionnalités et la taille du jeu de données.

Utilisez la fonction load_dataset_builder() pour charger un constructeur de jeu de données et inspecter les attributs d’un jeu de données sans vous engager à le télécharger :

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Si le jeu de données vous convient, chargez-le avec load_dataset() :

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Splits

Un split est un sous-ensemble spécifique d’un jeu de données, comme train et test. Listez les noms des splits d’un jeu de données avec la fonction get_dataset_split_names() :

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Vous pouvez ensuite charger un split spécifique avec le paramètre split. Le chargement d'un split de jeu de données renvoie un objet Dataset :

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

Si vous ne spécifiez pas de split, 🤗 Datasets renvoie un objet DatasetDict à la place :

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Configurations

Certains jeux de données contiennent plusieurs sous-jeux de données. Par exemple, le jeu de données MInDS-14 comporte plusieurs sous-jeux de données, chacun contenant des données audio dans une langue différente. Ces sous-jeux de données sont appelés configurations ou sous-ensembles, et vous devez en sélectionner explicitement un lors du chargement du jeu de données. Si vous ne fournissez pas le nom d’une configuration, 🤗 Datasets lèvera une ValueError et vous rappellera de choisir une configuration.

Utilisez la fonction get_dataset_config_names() pour récupérer la liste de toutes les configurations possibles disponibles pour votre jeu de données :

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Chargez ensuite la configuration souhaitée :

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")