Xetの履歴と概要

2024年8月、Hugging FaceはXetHubを買収しました。XetHubはシアトルを拠点とするシード段階のスタートアップであり、Hub上のGit LFSを置き換えるために買収されました。

Git LFSと同様に、XetバックエンドのリポジトリはS3をリモートストレージとして利用し、リポジトリのルートにある.gitattributesファイルによって、リモートに保存すべきファイルを識別します。

Git LFS ポインターファイルは、リモートストレージ上の実際のファイル内容の位置を特定するためのメタデータを提供します:

• SHA256: 実際の大きなファイルに対する一意の識別子を提供します。この識別子は、ファイルの内容の SHA-256 ハッシュを計算することによって生成されます。
• ポインタサイズ: Gitリポジトリに保存されるポインタファイルのサイズ。
• リモートファイルのサイズ: 実際の大きなファイルのサイズ（バイト単位）を示します。このメタデータは、検証目的およびストレージと転送操作の管理の両方に役立ちます。

Xet ポインターは、設計上、これらの情報をすべて含んでいます。Xet backed hash フィールドを追加して Xet ストレージ内のファイルを参照できるようにした上で、Git LFS への後方互換性に関するセクションを参照してください。

ファイルレベルで重複排除を行うGit LFSとは異なり、Xet対応のリポジトリはバイトレベルで重複排除を行います。Xetストレージで管理されているファイルが更新されると、変更されたデータのみがリモートストレージにアップロードされるため、ネットワーク転送量を大幅に削減できます。モデルチェックポイントの増分更新や、データセットへの新しいデータの追記/挿入といった多くのワークフローにおいて、これにより自分自身やコラボレーターのイテレーション速度が向上します。Xetストレージにおける重複排除の詳細については、Deduplicationを参照してください。

Update on GitHub