Partage

Le Hub de Hugging Face est une plateforme permettant de partager, de découvrir et d’utiliser des modèles de toutes sortes et de toutes tailles. Nous vous recommandons vivement de partager votre modèle sur le Hub afin de faire progresser le machine learning open source pour tous !

Ce guide vous montre comment partager un modèle sur le Hub depuis Transformers.

Configuration

Pour partager un modèle sur le Hub, vous avez besoin d'un compte Hugging Face. Créez un User Access Token (stocké par défaut dans le cache) et connectez-vous à votre compte depuis la ligne de commande ou un notebook.

hf auth login

from huggingface_hub import notebook_login

notebook_login()

Fonctionnalités du dépôt

Chaque dépôt de modèle propose la gestion des versions, l’historique des commits et la visualisation des différences.

Le versionnement est basé sur Git et Git Large File Storage (LFS), et il permet les révisions, un moyen de spécifier une version de modèle par un hachage de commit, une étiquette ou une branche.

Par exemple, utilisez le paramètre revision dans from_pretrained() pour charger une version spécifique d'un modèle à partir d'un hachage de commit.

model = AutoModel.from_pretrained(
    "julien-c/EsperBERTo-small", revision="4c77982"
)

Charger depuis une branche ou une étiquette fixe chaque fichier de cet appel sur un commit, puis récupère tous les fichiers depuis ce commit.

Ce pin n’est valable que pour l’appel en cours. Pour garantir la reproductibilité d’une exécution à l’autre, transmettez un hachage de commit explicite ou une étiquette que vous considérez comme fixe. Ne comptez pas sur main ou une autre branche évolutive pour rester figée entre les exécutions.

Les dépôts de modèles prennent également en charge le gating pour contrôler qui peut accéder à un modèle. Le gating est couramment utilisé pour permettre à un groupe restreint d'utilisateurs de prévisualiser un modèle de recherche avant sa mise en ligne publique.

Un dépôt de modèles inclut également un widget d'inférence permettant aux utilisateurs d'interagir directement avec un modèle sur le Hub.

Consultez la documentation Models du Hub pour plus d’informations.

Téléchargement d'un modèle

Plusieurs méthodes permettent de téléverser un modèle sur le Hub, selon vos préférences de flux de travail. Vous pouvez pousser un modèle avec Trainer, appeler push_to_hub() directement sur un modèle, ou utiliser l’interface web du Hub.

Trainer

Trainer peut envoyer un modèle directement sur le Hub après l'entraînement. Définissez push_to_hub=True dans TrainingArguments et transmettez-le à Trainer. Une fois l'entraînement terminé, appelez push_to_hub() pour téléverser le modèle.

push_to_hub() ajoute automatiquement des informations utiles, telles que les hyperparamètres d’entraînement et les résultats, à la carte du modèle.

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(output_dir="my-awesome-model", push_to_hub=True)
trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=small_train_dataset,
    eval_dataset=small_eval_dataset,
    compute_metrics=compute_metrics,
)
trainer.push_to_hub()

Pour téléverser le modèle dans un dépôt privé, définissez hub_private_repo=True dans TrainingArguments. Si le dépôt n’a pas encore été créé (par exemple, lorsque push_to_hub=False dans TrainingArguments), vous pouvez également passer private=True à push_to_hub() à la place. L’argument private n’est pris en compte que lors de la création du dépôt, il ne modifie donc pas la visibilité d’un dépôt existant.

trainer.push_to_hub(private=True)

PushToHubMixin

PushToHubMixin fournit la fonctionnalité permettant de pousser un modèle ou un tokeniseur vers le Hub.

Appelnez push_to_hub() directement sur un modèle pour le téléverser sur le Hub. Il crée un dépôt sous votre espace de noms avec le nom du modèle spécifié dans push_to_hub().

model.push_to_hub("my-awesome-model")

D'autres objets, comme un tokenizer, sont également poussés sur le Hub de la même manière.

tokenizer.push_to_hub("my-awesome-model")

Votre profil Hugging Face doit maintenant afficher le dépôt de modèle nouvellement créé. Accédez à l’onglet Files pour voir tous les fichiers téléversés.

Reportez-vous au guide Téléverser des fichiers sur le Hub pour plus d’informations sur la poussée de fichiers vers le Hub.

Interface web du Hub

L'interface web du Hub est une approche sans code pour téléverser un modèle.

1. Créez un nouveau dépôt en sélectionnant Nouveau modèle.

Ajoutez quelques informations sur votre modèle :

• Sélectionnez le propriétaire du dépôt. Il peut s'agir de vous-même ou de l'une des organisations auxquelles vous appartenez.
• Choisissez un nom pour votre modèle, qui servira également de nom de dépôt.
• Choisissez si votre modèle est public ou privé.
• Définissez l'utilisation de la licence.

2. Cliquez sur Créer un modèle pour créer le dépôt du modèle.

3. Sélectionnez l’onglet Fichiers et cliquez sur le bouton Ajouter un fichier pour glisser-déposer un fichier dans votre dépôt. Ajoutez un message de commit et cliquez sur Commit changes to main pour engager le fichier.

Fiche du modèle

Les fiches de modèle informent les utilisateurs sur les performances, les limites, les biais potentiels et les considérations éthiques d'un modèle. Il est vivement recommandé d'ajouter une fiche de modèle à votre dépôt !

Une carte de modèle est un fichier README.md dans votre dépôt. Ajoutez ce fichier en procédant ainsi :

• créer et téléverser manuellement un fichier README.md
• en cliquant sur le bouton Modifier la carte du modèle dans le dépôt

Consultez la fiche modèle de Llama 3.1 pour un exemple de ce qu’il faut inclure dans une fiche modèle.

En savoir plus sur les autres métadonnées de carte de modèle (émissions de carbone, licence, lien vers l'article, etc.) disponibles dans le guide Model Cards.