Dataset Cards

Dataset Cards란 무엇인가요?

각 데이터셋은 저장소의 README.md 파일로 문서화될 수 있습니다. 이 파일은 dataset card라고 불리며, Hugging Face Hub는 해당 파일의 내용을 데이터셋의 메인 페이지에 렌더링합니다. 사용자가 데이터를 책임감 있게 사용할 수 있도록 안내하기 위해, 데이터셋 내에 잠재적으로 존재할 수 있는 편향에 대한 정보를 포함하는 것이 좋습니다. 일반적으로 dataset card는 사용자가 데이터셋의 내용을 이해하고 데이터셋이 어떻게 사용되어야 하는지에 대한 맥락을 파악하는 데 도움을 줍니다.

카드에 데이터셋 메타데이터를 추가할 수도 있습니다. 메타데이터는 데이터셋의 라이선스, 언어, 크기 등 중요한 정보를 설명합니다. 또한 Hub에서 데이터셋을 발견하는 데 도움이 되는 태그와 데이터 파일 구성 옵션을 포함합니다. 태그는 README.md 파일 상단의 YAML 메타데이터 섹션에서 정의됩니다.

Dataset 카드 메타데이터

데이터셋 저장소는 README.md를 데이터셋 카드로 렌더링합니다. Hub에서 카드가 어떻게 표시되는지 제어하려면 README 파일에 YAML 섹션을 만들어 메타데이터를 정의해야 합니다. 먼저 맨 위에 --- 세 개를 추가하고, 관련 메타데이터를 모두 포함하며, 아래 예시처럼 --- 세 개로 섹션을 닫습니다.

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

데이터 카드에 추가하는 메타데이터는 Hub에서 특정 상호작용을 가능하게 합니다. 예를 들어:

• https://huggingface.co/datasets에서 사용자가 데이터셋을 필터링하고 탐색할 수 있도록 합니다.
• 이 표의 오른쪽 열에 나열된 키워드를 사용하여 라이선스를 선택하면, 해당 라이선스가 데이터셋 페이지에 표시됩니다.

Hub의 데이터셋 저장소에서 README.md 파일을 만들 때, 주요 메타데이터를 입력하려면 Metadata UI를 사용하세요:

메타데이터 필드를 확인하려면 Dataset Card 사양을 참조하세요.

Dataset card 작성 가이드

데이터셋 카드 생성에 대한 단계별 가이드는 데이터셋 카드 생성 가이드를 참고하세요.

ELI5 dataset card와 같은 기존 dataset card를 읽어보는 것은 일반적인 관례에 익숙해지는 좋은 방법입니다.

종이 연결하기

데이터셋 카드에 Paper 페이지 링크(HF 또는 Arxiv 초록/PDF)가 포함된 경우, Hub는 arXiv ID를 추출하여 arxiv:<PAPER ID> 형식으로 데이터셋 태그에 포함합니다. 해당 태그를 클릭하면 다음을 수행할 수 있습니다:

• Paper 페이지를 방문하세요
• 같은 논문을 인용하는 Hub의 다른 모델로 필터링합니다.

논문 페이지에 대해 자세히 알아보려면 여기를 참조하세요.

데이터셋 모달리티 강제 설정

Hub는 데이터셋에 포함된 파일(오디오, 비디오, 지리 공간 등)을 기반으로 데이터셋의 모달리티를 자동으로 감지합니다. 특정 모달리티를 지정하려면 데이터셋 카드 메타데이터에 태그를 추가할 수 있습니다: 3d, audio, geospatial, image, tabular, text, timeseries, video.

예를 들어, 모달리티를 audio로 고정하려면 데이터셋 카드 메타데이터에 다음을 추가하세요:

tags:
- audio

데이터셋에 라이브러리를 연결

데이터셋 페이지에는 해당 데이터셋을 네이티브로 로드할 수 있는 라이브러리와 도구가 자동으로 표시되지만, 다른 특정 라이브러리를 표시하려면 데이터셋 카드 메타데이터에 태그를 추가할 수 있습니다. 지원되는 태그에는 agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers, webdataset가 있습니다. 전체 목록을 보거나 새로운 라이브러리를 제안하려면 지원 라이브러리 목록을 참조하세요.

예를 들어, argilla 라이브러리를 데이터셋 카드에 연결하려면 데이터셋 카드 메타데이터에 다음을 추가하세요:

tags:
- argilla

RL 환경 데이터셋 선언

An RL environment is an ordinary dataset repository whose files can be consumed by one or more environment frameworks. Add the rl-environment tag to make the dataset discoverable with the RL Environments filter, then add a tag for each supported framework. The framework tags also add their generated commands to Use this dataset.

예를 들어, Verifiers로도 로드할 수 있는 Harbor 작업 디렉터리를 포함하는 데이터셋은 이 Dataset Card YAML을 사용합니다:

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

지원되는 환경 프레임워크 태그는 다음과 같습니다:

이 태그들은 호환성을 설명하고 로딩 명령을 생성합니다. 새로운 저장소 유형을 생성하거나 Hub가 환경을 실행하도록 만드는 것은 아닙니다.