Hub documentation

Telemetri

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Telemetri

Sejak versi 1.7.0, paket Python hf_xet dan crate Rust hf-xet mengirim laporan singkat ke Hub setelah setiap unggahan dan unduhan. Kami menggunakan laporan ini untuk melihat seberapa sering transfer gagal dan seberapa cepatnya di berbagai versi hf_xet, sistem operasi, dan jaringan, sehingga kami dapat menemukan dan memperbaiki masalah.

Git Xet 0.2.1 dan versi sebelumnya tidak mengirim telemetri.

Yang dikumpulkan

Setiap laporan menjelaskan satu transfer. Unggahan beberapa file dalam satu commit adalah satu transfer, dan demikian pula unduhan beberapa file sekaligus.

DataDetail
Jenis dan hasil transferUpload atau download, dan apakah berhasil, gagal, atau dibatalkan. Untuk kegagalan, kategori error umum seperti network, timeout, atau server_error.
WaktuBerapa lama waktu yang dibutuhkan untuk transfer. Untuk unggahan, juga mencakup waktu yang dihabiskan untuk memecah dan mengunggah data serta waktu yang dihabiskan untuk menyelesaikan commit.
UkuranJumlah file, ukuran total file, dan jumlah byte yang dikirim melalui jaringan.
DeduplikasiUntuk unggahan, berapa banyak data yang sudah tersimpan di Hub dan dilewati, berapa banyak yang baru, dan seberapa baik data baru tersebut dikompresi.
Jalur unggahMulai dari hf_xet 1.8.0, untuk unggahan, berapa banyak blok yang dikirim langsung ke S3 dan berapa banyak melalui layanan penyimpanan Xet, beserta ukuran dan waktu unggahannya. Selain itu, berapa banyak unggahan langsung yang kembali ke layanan penyimpanan Xet, dan berapa banyak di antaranya karena S3 tidak dapat dijangkau.
KecepatanRata-rata throughput dan jumlah tertinggi permintaan paralel yang digunakan.
Klienversi hf_xet, sistem operasi, arsitektur CPU, jumlah CPU, dan string user agent. Ini adalah user agent yang sama yang dikirimkan oleh huggingface_hub dengan setiap permintaan ke Hub, beserta nama dan versi pustaka pemanggil (seperti transformers) serta versi huggingface_hub, Python, dan PyTorch.
IDID acak untuk transfer, ID acak untuk sesi hf_xet, dan nama host dari server penyimpanan Xet yang menangani transfer tersebut.

Laporan tidak menyertakan nama file, jalur file, isi file, hash file, nama repositori, atau nama pengguna Anda.

Laporan dikirim ke server penyimpanan Xet dengan token akses yang sama seperti transfer. Ketika server menyimpan laporan, ia menambahkan alamat IP Anda, akun Hub yang dimiliki token tersebut (atau “anonim” jika Anda tidak masuk), repositori tempat token diterbitkan, dan apakah token tersebut mengizinkan akses baca atau tulis.

Ketika laporan dikirim

hf_xet mengirim satu laporan ketika unggahan atau unduhan selesai, baik berhasil maupun tidak. Transfer yang berjalan lebih dari 5 menit juga mengirim laporan kemajuan setiap 5 menit hingga selesai.

Laporan berukuran sekitar 1 KB. Laporan dikirim bersamaan dengan transfer dan tidak memperlambatnya. Jika laporan tidak dapat dikirim, laporan tersebut dibuang dan tidak dicoba ulang. Setelah transfer selesai, hf_xet menunggu hingga 2 detik untuk laporan terakhir agar terkirim, sehingga laporan tidak hilang jika program Anda langsung keluar.

Opt-out

Telemetry diaktifkan secara default. Untuk mematikannya, atur HF_HUB_DISABLE_TELEMETRY=1:

export HF_HUB_DISABLE_TELEMETRY=1

Ini adalah variabel yang sama yang menonaktifkan telemetri di huggingface_hub dan pustaka Python Hugging Face lainnya. Lihat HF_HUB_DISABLE_TELEMETRY di dokumentasi huggingface_hub.

hf_xet juga mematikan telemetri ketika DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE, atau TRANSFORMERS_OFFLINE diatur ke 1, true, yes, atau on.

Untuk menonaktifkan telemetri hanya untuk hf_xet, atur HF_XET_TELEMETRY_ENABLED=0.

Variabel LingkunganDefaultDeskripsi
HF_HUB_DISABLE_TELEMETRYunsetSetel ke 1 untuk menonaktifkan telemetri di hf_xet dan pustaka Python Hugging Face lainnya.
HF_XET_TELEMETRY_ENABLEDtrueSetel ke 0 untuk mematikan telemetri hf_xet saja. Menyetelnya ke 1 tidak menimpa variabel opt-out di atas.
HF_XET_TELEMETRY_HEARTBEAT_AFTER300sBerapa lama transfer berjalan sebelum mulai mengirim laporan kemajuan. 0 menonaktifkan laporan kemajuan.
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL300sWaktu antara laporan kemajuan.
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT2sBerapa lama hf_xet menunggu laporan terakhir setelah transfer selesai. 0 berarti tidak menunggu.
Update on GitHub