Hub documentation
Data Designer
๋จ์ผ ๋ก๊ทธ์ธ(SSO) ๊ฐ์ฌ ๋ก๊ทธ ์คํ ๋ฆฌ์ง ๋ฆฌ์ ๋น๊ณต๊ฐ ๋ฐ์ดํฐ์
์ฉ Data Studio ๋ฆฌ์์ค ๊ทธ๋ฃน(์ก์ธ์ค ์ ์ด) ๊ณ ๊ธ ์ปดํจํธ ์ต์
๊ณ ๊ธ ๋ณด์ ํ ํฐ ๊ด๋ฆฌ ์๋น์ค ๊ณ์ ๋ฐํ์ ๋ถ์ ๊ฒ์ดํ
๊ทธ๋ฃน ์ปฌ๋ ์
๋คํธ์ํฌ ๋ณด์ ๋ค์ด๋ก๋ ๋ถ์ ์๋ ์ ํ ๋ธ๋ก๊ทธ ๊ธ
PRO ํ๋ ๋ฆฌํฌ์งํ ๋ฆฌ ๋ ํฌ์งํ ๋ฆฌ ์์ํ๊ธฐ ์ ์ฅ์ ์ค์ ์ ์ฅ ์ฉ๋ ์ ํ ์คํ ๋ฆฌ์ง ๋ฐฑ์๋(Xet) ๋ก์ปฌ ์บ์ Pull Requests & Discussions ์๋ฆผ ์ปฌ๋ ์
Webhooks GitHub Actions ๋
ธํธ๋ถ ๋ค์ ๋จ๊ณ ๋ผ์ด์ ์ค
๋ชจ๋ธ ๋ชจ๋ธ ํ๋ธ ๋ชจ๋ธ ์นด๋ ํ๊ฐ ๊ฒฐ๊ณผ ๋ฆฌ๋๋ณด๋ ๋ฐ์ดํฐ ๊ฒ์ดํธ๋ ๋ชจ๋ธ ๋ชจ๋ธ ์
๋ก๋ ๋ชจ๋ธ ๋ค์ด๋ก๋ ํตํฉ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๋ชจ๋ธ ์์ ฏ ๋ชจ๋ธ ์ถ๋ก ๋ชจ๋ธ ๋ค์ด๋ก๋ ํต๊ณ ๋ชจ๋ธ ๋ฆด๋ฆฌ์ค ์ฒดํฌ๋ฆฌ์คํธ ํ๋์จ์ด ๋ก์ปฌ ์ฑ ์์ฃผ ๋ฌป๋ ์ง๋ฌธ ๊ณ ๊ธ ์ฃผ์
๋ฐ์ดํฐ์
Datasets ๊ฐ์ Dataset Cards ๊ฒ์ดํธ๋ ๋ฐ์ดํฐ์
๋ฐ์ดํฐ์
์
๋ก๋ ๋ฐ์ดํฐ์
์
๋ก๋ (LLM์ฉ) ๋ฐ์ดํฐ์
๋ค์ด๋ก๋ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ์
ํตํฉ ๋ผ์ด๋ธ๋ฌ๋ฆฌ
Spaces Argilla Daft Dask ๋ฐ์ดํฐ์
Data Designer Distilabel DuckDB Embedding Atlas fenic FiftyOne Lance Pandas Polars Spark WebDataset
Data Studio Agent Traces ๋ฐ์ดํฐ์
๋ค์ด๋ก๋ ํต๊ณ Spaces ๊ฐ์ Spaces GPU ์
๊ทธ๋ ์ด๋ Spaces ZeroGPU Spaces Dev Mode Spaces ๋์คํฌ ์ฌ์ฉ๋ ๋ฐ ์ ์ฅ์ Spaces ์ฌ์ฉ์ ์ง์ ๋๋ฉ์ธ MCP ์๋ฒ๋ก ์ฌ์ฉ ๊ฐ๋ฅํ Spaces Spaces๋ฅผ ์์ด์ ํธ ๋๊ตฌ๋ก API ์๋ํฌ์ธํธ๋ก ์ฌ์ฉํ๋ Spaces Gradio Spaces Streamlit Spaces Static HTML Spaces Docker Spaces Space ์๋ฒ ๋ํ๊ธฐ Docker๋ก Spaces ์คํ Spaces ๊ตฌ์ฑ ์ฐธ์กฐ HF๋ก ๋ก๊ทธ์ธ ๋ฒํผ ์ฃผ์ Spaces Spaces ๋ณ๊ฒฝ ์ด๋ ฅ ๊ณ ๊ธ ์ฃผ์
Storage Buckets new ์ปจํ
์ด๋ ์ด๋ฏธ์ง new Jobs Jobs ๊ฐ์ ๋น ๋ฅธ ์์ Pricing and Billing ์์
๊ด๋ฆฌ ๊ตฌ์ฑ Docker ์ด๋ฏธ์ง ์ฌ์ฉ ๋ชจ๋ธ ์๋น ๋ชจ๋ธ ํ์ต ์์ ๋ฐ ํํ ๋ฆฌ์ผ ๋๊ท๋ชจ ๋ฐ์ดํฐ์
์ฒ๋ฆฌ Schedule Jobs Webhook ์๋ํ ์ฐธ๊ณ
์์ด์ ํธ ์์ด์ ํธ ๊ฐ์ AI ์์ด์ ํธ๋ฅผ ์ํ Hugging Face CLI Hugging Face MCP ์๋ฒ Hugging Face Agent Skills HF SDK๋ฅผ ์ฌ์ฉํ์ฌ ์์ด์ ํธ ๊ตฌ์ถํ๊ธฐ llama.cpp๋ฅผ ํ์ฉํ ๋ก์ปฌ ์์ด์ ํธ ์์ด์ ํธ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ธ์
์ถ์ ํ์
๊ธฐํ Data Designer
Data Designer๋ LLM์ ํ์ฉํ์ฌ ๊ณ ํ์ง ํฉ์ฑ ๋ฐ์ดํฐ์ ์ ์์ฑํ๋ NVIDIA NeMo์ ํ๋ ์์ํฌ์ ๋๋ค. ํต๊ณ ์ํ๋ฌ, LLM, ๋๋ ๊ธฐ์กด ์๋ ๋ฐ์ดํฐ์ ์ ์ฌ์ฉํ์ฌ ๋ค์ํ ๋ฐ์ดํฐ๋ฅผ ์์ฑํ ์ ์์ต๋๋ค.
ํ์ ์กฐ๊ฑด
pip install data-designer
Hub์์ ์๋๋ก ์ฌ์ฉํ ๋ฐ์ดํฐ์ ๋ค์ด๋ก๋
HuggingFaceSeedSource๋ฅผ ์ฌ์ฉํ์ฌ Hub์์ ๋ฐ์ดํฐ๋ฅผ ์ง์ ๋ก๋ํ์ฌ ์์ฑ์ฉ ์๋ ๋ฐ์ดํฐ๋ก ์ฌ์ฉํ์ธ์.
import data_designer.config as dd
from data_designer.interface import DataDesigner
data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()
# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
token="hf_...", # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)
# Reference seed columns in prompts
config_builder.add_column(
dd.LLMTextColumnConfig(
name="physician_notes",
model_alias="openai-gpt-5",
prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
)
)
preview = data_designer.preview(config_builder, num_records=5)์์ฑ๋ ๋ฐ์ดํฐ์ ์ Hub์ ํธ์
๋ด์ฅ๋ push_to_hub ๋ฉ์๋๋ฅผ ์ฌ์ฉํ์ฌ ์์ฑ๋ ๋ฐ์ดํฐ์
์ Hub์ ์
๋ก๋ํฉ๋๋ค.
# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")
# Push to Hub
url = results.push_to_hub(
repo_id="username/my-synthetic-dataset",
description="Synthetic dataset generated with Data Designer.",
tags=["medical", "notes"],
private=False,
)๋ฆฌ์์ค
- ๋ฐ์ดํฐ ๋์์ด๋ ๋ฌธ์
- GitHub ์ ์ฅ์
- ์๋ ๋ฐ์ดํฐ์ ๊ฐ์ด๋
- Inference Providers์ Data Designer ์ฌ์ฉ ๊ฐ์ด๋