Hub documentation
Телеметрия
Телеметрия
Начиная с версии 1.7.0, пакет Python hf_xet и crate Rust hf-xet отправляют краткий отчёт в Hub после каждой загрузки и выгрузки. Мы используем эти отчёты, чтобы отслеживать частоту сбоев при передаче данных и их скорость в разных версиях hf_xet, операционных системах и сетях, что позволяет нам находить и устранять проблемы.
Git Xet 0.2.1 и более ранние версии не отправляют телеметрию.
Что собирается
Каждый отчёт описывает одну передачу. Загрузка нескольких файлов в одном коммите — это одна передача, как и скачивание нескольких файлов сразу.
| Данные | Детали |
|---|---|
| Тип и результат передачи | Загрузка или скачивание, а также результат: успех, ошибка или отмена. В случае ошибки — общая категория, например network, timeout или server_error. |
| Время | Время, занявшее на передачу. Для загрузок также указывается время, затраченное на разбиение данных на части и их загрузку, а также время, занявшее на завершение коммита. |
| Размер | Количество файлов, общий размер файлов и количество байтов, переданных по сети. |
| Устранение дубликатов | При загрузке: сколько данных уже было сохранено на Hub и пропущено, сколько было новым и насколько хорошо сжимались новые данные. |
| Скорость | Средняя пропускная способность и максимальное количество параллельных запросов. |
| Клиент | hf_xet версия, операционная система, архитектура CPU, количество CPU и строка user agent. Это тот же самый user agent, который huggingface_hub отправляет с каждым запросом к Hub, с названием и версией вызывающей библиотеки (например, transformers) и версиями huggingface_hub, Python и PyTorch. |
| Идентификаторы | Случайный ID для передачи, случайный ID для сессии hf_xet и имя хоста сервера хранения Xet, который обработал передачу. |
Отчёты не содержат имён файлов, путей к файлам, содержимого файлов, хешей файлов, имён репозиториев или вашего имени пользователя.
Отчёты отправляются на сервер хранения Xet с тем же токеном доступа, что и при передаче данных. При сохранении отчёта сервер добавляет ваш IP-адрес, учётную запись Hub, которой принадлежит токен (или «anonymous», если вы не вошли в систему), репозиторий, для которого был выпущен токен, а также то, предоставляет ли токен доступ на чтение или запись.
Когда отправляются отчеты
hf_xet отправляет один отчёт по завершении загрузки или скачивания, независимо от того, была ли операция успешной. Если передача длится более 5 минут, отчёт о прогрессе отправляется каждые 5 минут до её завершения.
Отчёты занимают около 1 КБ. Они отправляются вместе с передачей данных и не замедляют её. Если отчёт не удаётся отправить, он отбрасывается и не повторяется. После завершения передачи hf_xet ожидает до 2 секунд, пока последний отчёт будет отправлен, чтобы он не потерялся, если ваша программа завершится сразу.
Отказ от участия
Телеметрия включена по умолчанию. Чтобы отключить её, установите HF_HUB_DISABLE_TELEMETRY=1:
export HF_HUB_DISABLE_TELEMETRY=1Это та же переменная, которая отключает телеметрию в huggingface_hub и других библиотеках Hugging Face на Python. См. HF_HUB_DISABLE_TELEMETRY в документации huggingface_hub.
hf_xet также отключает телеметрию, если DO_NOT_TRACK, DISABLE_TELEMETRY, HF_HUB_OFFLINE или TRANSFORMERS_OFFLINE установлены в значение 1, true, yes или on.
Чтобы отключить телеметрию только для hf_xet, установите HF_XET_TELEMETRY_ENABLED=0.
| Переменная окружения | По умолчанию | Описание |
|---|---|---|
HF_HUB_DISABLE_TELEMETRY | unset | Установите значение 1, чтобы отключить телеметрию в hf_xet и других библиотеках Hugging Face на Python. |
HF_XET_TELEMETRY_ENABLED | true | Установите значение 0, чтобы отключить только телеметрию hf_xet. Установка значения 1 не переопределяет перечисленные выше переменные для отказа от сбора данных. |
HF_XET_TELEMETRY_HEARTBEAT_AFTER | 300s | Время, в течение которого передача выполняется до начала отправки отчетов о прогрессе. 0 отключает отчеты о прогрессе. |
HF_XET_TELEMETRY_HEARTBEAT_INTERVAL | 300s | Интервал между отчетами о прогрессе. |
HF_XET_TELEMETRY_FINAL_FLUSH_TIMEOUT | 2s | Время ожидания hf_xet последнего отчёта после завершения передачи. Значение 0 означает, что ожидание не выполняется. |