Historique et présentation de Xet

En août 2024, Hugging Face a acquis XetHub, une débutante au stade de la graine, basée à Seattle, afin de remplacer Git LFS sur le Hub.

Comme Git LFS, un dépôt adossé à Xet utilise S3 comme stockage distant, avec un fichier .gitattributes à la racine du dépôt pour identifier les fichiers qui doivent être stockés à distance.

Un fichier pointeur Git LFS fournit des métadonnées pour localiser le contenu réel du fichier dans le stockage distant :

• SHA256 : Fournit un identifiant unique pour le fichier volumineux réel. Cet identifiant est généré en calculant l’empreinte SHA-256 du contenu du fichier.
• Taille du pointeur : La taille du fichier pointeur stocké dans le dépôt Git.
• Taille du fichier distant : Indique la taille du fichier volumineux réel, en octets. Ces métadonnées sont utiles à la fois pour la vérification et pour la gestion des opérations de stockage et de transfert.

Un pointeur Xet inclut par conception toutes ces informations. Reportez-vous à la section sur la compatibilité ascendante avec Git LFS, avec l’ajout d’un champ Xet backed hash pour référencer le fichier dans le stockage Xet.

Contrairement à Git LFS, qui déduplique au niveau du fichier, les dépôts activés pour Xet dédupliquent au niveau des octets. Lorsqu’un fichier stocké via Xet est mis à jour, seules les données modifiées sont téléversées vers le stockage distant, ce qui réduit considérablement les transferts réseau. Pour de nombreux flux de travail, comme les mises à jour incrémentales de points de contrôle de modèles ou l’ajout/insertion de nouvelles données dans un jeu de données, cela améliore la vitesse d’itération pour vous et vos collaborateurs. Pour en savoir plus sur la déduplication dans le stockage Xet, consultez Déduplication.

Update on GitHub