Hub documentation
Telemetri
Telemetri
Sejak versi 1.7.0, paket Python hf_xet dan crate Rust hf-xet mengirim laporan singkat ke Hub setelah setiap unggahan dan unduhan. Kami menggunakan laporan ini untuk melihat seberapa sering transfer gagal dan seberapa cepatnya di berbagai versi hf_xet, sistem operasi, dan jaringan, sehingga kami dapat menemukan dan memperbaiki masalah.
Git Xet 0.2.1 dan versi sebelumnya tidak mengirim telemetri.
Yang dikumpulkan
Setiap laporan menjelaskan satu transfer. Unggahan beberapa file dalam satu commit adalah satu transfer, dan demikian pula unduhan beberapa file sekaligus.
| Data | Detail |
|---|---|
| Jenis dan hasil transfer | Upload atau download, dan apakah berhasil, gagal, atau dibatalkan. Untuk kegagalan, kategori error umum seperti network, timeout, atau server_error. |
| Waktu | Berapa lama waktu yang dibutuhkan untuk transfer. Untuk unggahan, juga mencakup waktu yang dihabiskan untuk memecah dan mengunggah data serta waktu yang dihabiskan untuk menyelesaikan commit. |
| Ukuran | Jumlah file, ukuran total file, dan jumlah byte yang dikirim melalui jaringan. |
| Deduplikasi | Untuk unggahan, berapa banyak data yang sudah tersimpan di Hub dan dilewati, berapa banyak yang baru, dan seberapa baik data baru tersebut dikompresi. |
| Jalur unggah | Mulai dari hf_xet 1.8.0, untuk unggahan, berapa banyak blok yang dikirim langsung ke S3 dan berapa banyak melalui layanan penyimpanan Xet, beserta ukuran dan waktu unggahannya. Selain itu, berapa banyak unggahan langsung yang kembali ke layanan penyimpanan Xet, dan berapa banyak di antaranya karena S3 tidak dapat dijangkau. |
| Kecepatan | Rata-rata throughput dan jumlah tertinggi permintaan paralel yang digunakan. |
| Klien | versi hf_xet, sistem operasi, arsitektur CPU, jumlah CPU, dan string user agent. Ini adalah user agent yang sama yang dikirimkan oleh huggingface_hub dengan setiap permintaan ke Hub, beserta nama dan versi pustaka pemanggil (seperti transformers) serta versi huggingface_hub, Python, dan PyTorch. |
| ID | ID acak untuk transfer, ID acak untuk sesi hf_xet, dan nama host dari server penyimpanan Xet yang menangani transfer tersebut. |
Laporan tidak menyertakan nama file, jalur file, isi file, hash file, nama repositori, atau nama pengguna Anda.
Laporan dikirim ke server penyimpanan Xet dengan token akses yang sama seperti transfer. Ketika server menyimpan laporan, ia menambahkan alamat IP Anda, akun Hub yang dimiliki token tersebut (atau “anonim” jika Anda tidak masuk), repositori tempat token diterbitkan, dan apakah token tersebut mengizinkan akses baca atau tulis.
Ketika laporan dikirim
hf_xet mengirim satu laporan ketika unggahan atau unduhan selesai, baik berhasil maupun tidak. Transfer yang berjalan lebih dari 5 menit juga mengirim laporan kemajuan setiap 5 menit hingga selesai.
Laporan berukuran sekitar 1 KB. Laporan dikirim bersamaan dengan transfer dan tidak memperlambatnya. Jika laporan tidak dapat dikirim, laporan tersebut dibuang dan tidak dicoba ulang. Setelah transfer selesai, hf_xet menunggu hingga 2 detik untuk laporan terakhir agar terkirim, sehingga laporan tidak hilang jika program Anda langsung keluar.
Opt-out
Telemetry diaktifkan secara default. Untuk mematikannya, atur HF_HUB_DISABLE_TELEMETRY=1:
export HF_HUB_DISABLE_TELEMETRY=1Ini adalah variabel yang sama yang menonaktifkan telemetri di huggingface_hub dan pustaka Python Hugging Face lainnya. Lihat HF_HUB_DISABLE_TELEMETRY di dokumentasi huggingface_hub.
hf_xet juga mematikan telemetri ketika DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE, atau TRANSFORMERS_OFFLINE diatur ke 1, true, yes, atau on.
Untuk menonaktifkan telemetri hanya untuk hf_xet, atur HF_XET_TELEMETRY_ENABLED=0.
| Variabel Lingkungan | Default | Deskripsi |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | Setel ke 1 untuk menonaktifkan telemetri di hf_xet dan pustaka Python Hugging Face lainnya. |
HF_XET_TELEMETRY_ENABLED | true | Setel ke 0 untuk mematikan telemetri hf_xet saja. Menyetelnya ke 1 tidak menimpa variabel opt-out di atas. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | Berapa lama transfer berjalan sebelum mulai mengirim laporan kemajuan. 0 menonaktifkan laporan kemajuan. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | Waktu antara laporan kemajuan. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | Berapa lama hf_xet menunggu laporan terakhir setelah transfer selesai. 0 berarti tidak menunggu. |