Статистика загрузок датасетов

Как учитываются загрузки для наборов данных?

Подсчёт количества загрузок датасетов — задача не из простых, поскольку один репозиторий датасета может содержать множество файлов из разных подмножеств и разбиений (например, train/validation/test), а в одном разбиении может быть много файлов. Чтобы решить эту проблему и избежать многократного учёта загрузок одного и того же пользователя, мы считаем все файлы, загруженные пользователем (на основе его IP-адреса) в течение 5-минутного окна в данном репозитории, как одну загрузку датасета. Этот подсчёт происходит автоматически на наших серверах при загрузке файлов (через запросы GET или HEAD), без необходимости собирать какую-либо информацию о пользователях или выполнять дополнительные вызовы.

До сентября 2024

Ранее Hub предоставлял статистику загрузок только для датасетов, доступных через библиотеку datasets. Для определения количества загрузок Hub учитывал каждый вызов load_dataset в Python, исключая CI-инструменты Hugging Face на GitHub. От пользователя не отправлялась никакая информация, и для этого не делались дополнительные вызовы. Подсчет выполнялся на стороне сервера при обслуживании файлов для загрузки. Это означало, что:

• Количество загрузок было одинаковым независимо от того, хранятся ли данные непосредственно в репозитории Hub или в репозитории есть скрипт для загрузки данных из внешнего источника.
• Если пользователь вручную загрузил данные с помощью таких инструментов, как wget, или через пользовательский интерфейс (UI) Hub, эти загрузки не учитывались в общем количестве загрузок.

Что делать, если мне нужны более детальные данные о загрузке для моих наборов данных?

Если вам нужны более детальные данные о загрузке, например, чтобы:

• различать файлы данных и метаданные,
• исключить загрузки из конвейеров CI/CD,
• или дедуплицировать пользователей (т.е. подсчитать уникальных скачивающих),

затем Publisher Analytics, а в особенности функция granular logs, может предоставлять анонимизированные журналы доступа на уровне запросов для всех моделей и наборов данных, опубликованных вашей организацией.

Они предоставляются в виде сырых журналов, поскольку большинство организаций захочет применить собственные пользовательские правила.

Update on GitHub