Hub documentation
Telemetry
Telemetry
Bắt đầu từ phiên bản 1.7.0, gói Python hf_xet và crate Rust hf-xet gửi một báo cáo ngắn đến Hub sau mỗi lần tải lên và tải xuống. Chúng tôi sử dụng các báo cáo này để xem tần suất các lần chuyển dữ liệu thất bại và tốc độ của chúng trên các phiên bản hf_xet, hệ điều hành và mạng khác nhau, để có thể tìm và khắc phục các vấn đề.
Git Xet 0.2.1 và các phiên bản trước đó không gửi dữ liệu đo lường (telemetry).
Những gì được thu thập
Mỗi báo cáo mô tả một lần chuyển dữ liệu. Việc tải lên nhiều tệp trong một commit là một lần chuyển dữ liệu, và việc tải xuống nhiều tệp cùng lúc cũng vậy.
| Dữ liệu | Chi tiết |
|---|---|
| Loại và kết quả chuyển | Tải lên hoặc tải xuống, và việc đó đã thành công, thất bại hay bị hủy. Đối với các trường hợp thất bại, một danh mục lỗi chung như network, timeout hoặc server_error. |
| Thời điểm | Thời gian thực hiện việc chuyển dữ liệu. Đối với các thao tác tải lên, bao gồm cả thời gian dành cho việc chia nhỏ và tải lên dữ liệu, cũng như thời gian dành cho việc hoàn tất commit. |
| Kích thước | Số lượng tệp, tổng kích thước của các tệp và số lượng byte được gửi qua mạng. |
| Loại bỏ trùng lặp | Đối với các thao tác tải lên, khối lượng dữ liệu đã được lưu trữ trên Hub và bị bỏ qua, khối lượng dữ liệu mới, và mức độ nén của dữ liệu mới. |
| Tốc độ | Thông lượng trung bình và số lượng yêu cầu song song cao nhất được sử dụng. |
| Client | Phiên bản của hf_xet, hệ điều hành, kiến trúc CPU, số lượng CPU và chuỗi user agent. Đây là cùng một user agent mà huggingface_hub gửi kèm với mọi yêu cầu đến Hub, bao gồm tên và phiên bản của thư viện gọi (chẳng hạn như transformers) cùng các phiên bản của huggingface_hub, Python và PyTorch. |
| ID | Một ID ngẫu nhiên cho việc chuyển, một ID ngẫu nhiên cho phiên hf_xet, và tên máy chủ của máy chủ lưu trữ Xet đã xử lý việc chuyển. |
Báo cáo không bao gồm tên tệp, đường dẫn tệp, nội dung tệp, băm tệp, tên kho lưu trữ hoặc tên người dùng của bạn.
Các báo cáo được gửi đến máy chủ lưu trữ Xet với cùng token truy cập như quá trình chuyển dữ liệu. Khi máy chủ lưu trữ một báo cáo, nó sẽ thêm địa chỉ IP của bạn, tài khoản Hub mà token thuộc về (hoặc “anonymous” nếu bạn chưa đăng nhập), kho lưu trữ mà token được cấp cho, và việc token cho phép truy cập đọc hay ghi.
Khi các báo cáo được gửi đi
hf_xet gửi một báo cáo khi quá trình tải lên hoặc tải xuống hoàn tất, bất kể thành công hay không. Một phiên truyền tải kéo dài hơn 5 phút cũng sẽ gửi báo cáo tiến độ mỗi 5 phút cho đến khi kết thúc.
Báo cáo có kích thước khoảng 1 KB. Chúng được gửi cùng với quá trình chuyển dữ liệu và không làm chậm quá trình này. Nếu một báo cáo không thể được gửi, nó sẽ bị bỏ qua và không được thử lại. Khi quá trình chuyển dữ liệu hoàn tất, hf_xet sẽ chờ tối đa 2 giây để báo cáo cuối cùng được gửi đi, nhằm tránh mất báo cáo nếu chương trình của bạn kết thúc ngay lập tức.
Từ chối
Telemetry được bật theo mặc định. Để tắt nó, hãy đặt HF_HUB_DISABLE_TELEMETRY=1:
export HF_HUB_DISABLE_TELEMETRY=1Đây là cùng một biến dùng để tắt telemetry trong huggingface_hub và các thư viện Python khác của Hugging Face. Xem HF_HUB_DISABLE_TELEMETRY trong tài liệu của huggingface_hub.
hf_xet cũng tắt telemetry khi DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE hoặc TRANSFORMERS_OFFLINE được đặt thành 1, true, yes hoặc on.
Để tắt telemetry chỉ cho hf_xet, hãy đặt HF_XET_TELEMETRY_ENABLED=0.
| Biến môi trường | Mặc định | Mô tả |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | Đặt thành 1 để tắt telemetry trong hf_xet và các thư viện Python khác của Hugging Face. |
HF_XET_TELEMETRY_ENABLED | true | Đặt thành 0 để chỉ tắt telemetry của hf_xet. Đặt thành 1 sẽ không ghi đè lên các biến opt-out ở trên. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | Thời gian một thao tác chuyển dữ liệu chạy trước khi bắt đầu gửi các báo cáo tiến độ. 0 sẽ tắt các báo cáo tiến độ. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | Thời gian giữa các báo cáo tiến độ. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | Thời gian hf_xet chờ báo cáo cuối cùng sau khi chuyển tiếp hoàn tất. 0 có nghĩa là không chờ. |