Sử dụng Mô hình AI cục bộ

Bạn có thể chạy các mô hình AI từ Hub ngay trên máy của mình. Điều này có nghĩa là bạn có thể tận dụng những lợi thế sau:

• Quyền riêng tư: Bạn sẽ không gửi dữ liệu của mình đến máy chủ từ xa.
• Tốc độ: Phần cứng của bạn là yếu tố giới hạn, không phải tốc độ máy chủ hoặc kết nối.
• Điều khiển: Bạn có thể cấu hình các mô hình theo ý muốn.
• Chi phí: Bạn có thể chạy các mô hình cục bộ mà không phải trả phí cho nhà cung cấp API.

Cách sử dụng ứng dụng cục bộ

Ứng dụng cục bộ là những ứng dụng có thể chạy các mô hình Hugging Face trực tiếp trên máy của bạn. Để bắt đầu:

1. Bật ứng dụng cục bộ trong cài đặt Ứng dụng cục bộ của bạn.

2. Chọn một model được hỗ trợ từ Hub bằng cách tìm kiếm. Bạn có thể lọc theo app trong nhóm Apps của phần Other trong thanh sidebar bộ lọc, ví dụ các model tương thích với llama.cpp:

3. Chọn ứng dụng cục bộ từ menu thả xuống “Sử dụng mô hình này” trên trang mô hình.

4. Sao chép và chạy lệnh được cung cấp trong terminal của bạn.

Ứng dụng cục bộ được hỗ trợ

Các ứng dụng cục bộ được hỗ trợ được liệt kê trong cài đặt Ứng dụng cục bộ của bạn.

Trên trang mô hình, menu thả xuống “Use this model” chỉ hiển thị một ứng dụng khi mô hình tương thích với ứng dụng đó (ví dụ: mô hình GGUF cho llama.cpp hoặc Ollama).

Các ứng dụng sau hiện có trên Hub:

Ứng dụng	Website	Các mô hình tương thích
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
Tháng 1	jan.ai	GGUF
Atomic Chat	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, các mô hình Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Các mô hình tạo văn bản, GGUF, AWQ, GPTQ và mô hình từ ảnh-văn-bản sang văn bản của Transformers
SGLang	docs.sglang.io	Các mô hình text-generation và image-text-to-text của Transformers, AWQ, GPTQ
MLX LM	github.com/ml-explore/mlx-lm	Các mô hình tạo văn bản MLX
Trình chạy mô hình Docker	docs.docker.com/ai/model-runner	Mô hình tương thích với GGUF, vLLM
Lemonade	lemonade-server.ai	GGUF, các mô hình AMD Ryzen AI
Pi	github.com/earendil-works/pi	Mô hình chat GGUF và MLX có khả năng gọi công cụ
Trình đại diện Hermes	hermes-agent.nousresearch.com	Mô hình chat GGUF và MLX có khả năng gọi công cụ
OpenClaw	github.com/openclaw/openclaw	Mô hình chat GGUF và MLX có khả năng gọi công cụ
Draw Things	drawthings.ai	Mô hình text-to-image và LoRA của Diffusers
DiffusionBee	diffusionbee.com	Mô hình text-to-image của Diffusers
JoyFusion	joyfusion.app	Các mô hình text-to-image của Core ML được gắn thẻ joyfusion

👨‍💻 Để sử dụng các ứng dụng cục bộ này, hãy sao chép các đoạn mã từ thẻ mô hình như ở trên.

👷 Nếu bạn đang xây dựng một ứng dụng cục bộ, bạn có thể tìm hiểu về việc tích hợp với Hub trong hướng dẫn này.

Llama

Llama là ứng dụng macOS và Windows bản địa để chạy các mô hình GGUF cục bộ.

Ưu điểm:

• Ứng dụng native nhẹ nằm trên menu bar hoặc taskbar của bạn
• Cài đặt mô hình GGUF từ Hub chỉ với một cú nhấp
• Trò chuyện cục bộ, riêng tư với các mô hình đã cài đặt
• Lấy các mô hình được đề xuất cho máy tính của bạn
• Dễ dàng tích hợp với các tác nhân như Pi, Hermes, OpenClaw

Để sử dụng Llama, hãy truy cập thẻ mô hình của một mô hình GGUF và nhấp vào “Use this model”. Llama sẽ mở ra và hướng dẫn bạn cài đặt mô hình.

Llama hiện có sẵn cho cả macOS và Windows.

Llama.cpp

Llama.cpp là một thư viện C/C++ hiệu năng cao để chạy các LLM cục bộ với suy luận được tối ưu hóa trên nhiều phần cứng khác nhau, bao gồm CPU, CUDA và Metal.

Ưu điểm:

• Hiệu suất cực kỳ nhanh cho các mô hình dựa trên CPU trên nhiều dòng CPU
• Sử dụng ít tài nguyên
• Nhiều tùy chọn giao diện (CLI, máy chủ tương thích OpenAI với giao diện web)
• Tối ưu hóa phần cứng cho CPU và GPU

Để sử dụng Llama.cpp, hãy truy cập thẻ mô hình và nhấp vào “Use this model” rồi sao chép lệnh. Đoạn mã bao gồm việc cài đặt llama.cpp (lệnh cài đặt trên macOS và Linux, WinGet trên Windows, hoặc biên dịch từ mã nguồn) và chạy mô hình:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Đọc trang tài liệu llama.cpp + HF chuyên dụng của chúng tôi.

LM Studio

Đọc trang tài liệu LM Studio chuyên dụng của chúng tôi

LM Studio là một ứng dụng desktop cung cấp cách dễ dàng để tải xuống, chạy và thử nghiệm các LLM cục bộ.

Ưu điểm:

• Giao diện đồ họa trực quan
• Trình duyệt model tích hợp
• Công cụ và API dành cho nhà phát triển
• Miễn phí cho mục đích cá nhân và thương mại

Truy cập vào thẻ mô hình của một mô hình GGUF hoặc MLX và nhấp vào “Use this model”. LM Studio sẽ mở ra và bạn có thể bắt đầu trò chuyện qua giao diện.

Tháng 1

Jan là một giải pháp thay thế ChatGPT mã nguồn mở, chạy hoàn toàn ngoại tuyến với giao diện thân thiện với người dùng.

Ưu điểm:

• Giao diện người dùng thân thiện
• Trò chuyện với tài liệu và tệp
• Máy chủ API tương thích với OpenAI, cho phép bạn chạy các mô hình và sử dụng chúng từ các ứng dụng khác

Để sử dụng Jan, hãy điều hướng đến thẻ mô hình của một mô hình GGUF và nhấp vào “Use this model”. Jan sẽ mở ra và bạn có thể bắt đầu trò chuyện thông qua giao diện.

Atomic Chat

Atomic Chat là ứng dụng chat trên máy tính để chạy các mô hình cục bộ.

Ưu điểm:

• Giao diện trò chuyện đồ họa
• Hỗ trợ cả các mô hình GGUF và MLX

Để sử dụng Atomic Chat, hãy điều hướng đến thẻ mô hình của một mô hình GGUF hoặc MLX và nhấp vào “Use this model”. Atomic Chat sẽ mở ra với mô hình sẵn sàng để tải xuống.

Unsloth Desktop

Unsloth Desktop là ứng dụng desktop từ Unsloth để chạy các mô hình cục bộ.

Ưu điểm:

• Giao diện đồ họa
• Hoạt động với các mô hình GGUF và các mô hình từ hệ sinh thái Unsloth

Để sử dụng Unsloth Desktop, hãy truy cập thẻ mô hình của một mô hình GGUF hoặc Unsloth và nhấp vào “Use this model”. Unsloth Desktop sẽ mở mô hình, bao gồm cả tệp GGUF bạn đã chọn nếu bạn chọn tệp đó từ danh sách tệp của mô hình.

Ollama

Ollama là một ứng dụng cho phép bạn chạy các mô hình ngôn ngữ lớn cục bộ trên máy tính của mình với giao diện dòng lệnh đơn giản. Nó có sẵn cho các mô hình GGUF.

Ưu điểm:

• Cài đặt và thiết lập dễ dàng
• Tích hợp trực tiếp với Hugging Face Hub

Để sử dụng Ollama, hãy truy cập thẻ mô hình và nhấp vào “Use this model” rồi sao chép lệnh.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM là một bộ máy suy luận và phục vụ thông lượng cao cho LLM, có máy chủ API tương thích với OpenAI.

Ưu điểm:

• Thông lượng cao, được tối ưu hóa cho GPU
• Hỗ trợ các mô hình Transformers, GGUF và mô hình lượng tử hóa (AWQ, GPTQ)
• Máy chủ API tương thích với OpenAI

vLLM có sẵn cho các mô hình text-generation và image-text-to-text. Điều hướng đến model card, nhấp vào “Use this model” và sao chép các lệnh:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

Đoạn mã cũng cho thấy cách chạy mô hình với Docker Model Runner.

SGLang

SGLang là một framework phục vụ nhanh cho các mô hình LLM và mô hình ngôn ngữ thị giác.

Ưu điểm:

• Cung cấp hiệu suất cao trên GPU
• Hỗ trợ Transformers và các mô hình lượng tử hóa (AWQ, GPTQ)
• Máy chủ API tương thích với OpenAI

SGLang có sẵn cho các mô hình text-generation và image-text-to-text. Điều hướng đến model card, nhấp vào “Use this model” và sao chép các lệnh:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

Máy chủ cung cấp API tương thích OpenAI trên cổng 30000. Đoạn mã cũng bao gồm lệnh Docker sử dụng ảnh lmsysorg/sglang.

MLX LM

MLX LM chạy các LLM trên Apple silicon bằng cách sử dụng framework MLX của Apple.

Ưu điểm:

• Được tối ưu cho Apple silicon
• Trò chuyện tương tác và tạo văn bản từ dòng lệnh
• Máy chủ tương thích OpenAI

MLX LM có sẵn cho các mô hình tạo văn bản MLX. Điều hướng đến thẻ mô hình, nhấp vào “Use this model” và sao chép các lệnh:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner cho phép bạn tải và chạy các mô hình bằng CLI của Docker.

Ưu điểm:

• Sử dụng công cụ Docker quen thuộc
• Hỗ trợ các mô hình GGUF và các mô hình tương thích với vLLM

Điều hướng đến thẻ mô hình, nhấp vào “Use this model” và sao chép lệnh:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lemonade

Lemonade là một máy chủ LLM cục bộ, được tối ưu cho phần cứng AMD.

Ưu điểm:

• Hỗ trợ các mô hình GGUF
• Chạy các mô hình được xây dựng cho NPU của AMD Ryzen AI (các mô hình được gắn thẻ ryzenai-npu hoặc ryzenai-hybrid)

Sau khi tải xuống Lemonade, điều hướng đến thẻ mô hình, nhấp vào “Use this model” và sao chép các lệnh:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi là một tác nhân lập trình chạy trong terminal của bạn.

Pi có sẵn cho các mô hình chat GGUF và MLX có chat template hỗ trợ tool calling. Đoạn mã đầu tiên khởi động một server OpenAI-compatible cục bộ (llama serve cho các mô hình GGUF, mlx_lm.server cho các mô hình MLX), sau đó cấu hình Pi để sử dụng nó:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent là một AI agent của Nous Research, có thể chạy với các mô hình cục bộ.

Hermes Agent có sẵn cho các mô hình chat GGUF và MLX có chat template hỗ trợ tool calling. Đoạn mã đầu tiên khởi động một server OpenAI-compatible cục bộ (llama serve cho các mô hình GGUF, mlx_lm.server cho các mô hình MLX), sau đó cấu hình Hermes Agent để sử dụng nó:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw là một tác nhân AI cá nhân mã nguồn mở có thể chạy với các mô hình cục bộ.

OpenClaw có sẵn cho các mô hình chat GGUF và MLX có chat template hỗ trợ tool calling. Đoạn mã đầu tiên khởi động một server tương thích OpenAI cục bộ (llama serve cho các mô hình GGUF, mlx_lm.server cho các mô hình MLX), sau đó cấu hình OpenClaw để sử dụng nó:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things là ứng dụng tạo hình ảnh cục bộ trên các thiết bị Apple.

Ưu điểm:

• Chạy các mô hình từ văn bản sang hình ảnh hoàn toàn trên thiết bị
• Có thể nhập cả các mô hình cơ sở và LoRA

Để sử dụng Draw Things, hãy truy cập thẻ mô hình của một mô hình text-to-image Diffusers hoặc LoRA và nhấp vào “Use this model”. Draw Things sẽ mở ra và nhập mô hình.

Draw Things chỉ có sẵn trên macOS.

DiffusionBee

DiffusionBee là ứng dụng desktop để tạo ảnh cục bộ bằng các mô hình Stable Diffusion.

Ưu điểm:

• Giao diện đồ họa đơn giản
• Không cần thiết lập hay dòng lệnh

Để sử dụng DiffusionBee, hãy truy cập thẻ mô hình của một mô hình text-to-image trong Diffusers và nhấp vào “Use this model”. DiffusionBee sẽ mở và nhập mô hình.

DiffusionBee chỉ có sẵn trên macOS.

JoyFusion

JoyFusion là một ứng dụng để tạo ảnh cục bộ bằng các mô hình Core ML trên các thiết bị Apple.

Để sử dụng JoyFusion, hãy truy cập thẻ mô hình của một mô hình text-to-image Core ML được gắn thẻ joyfusion và nhấp vào “Use this model”. JoyFusion sẽ mở và nhập mô hình.

JoyFusion chỉ có sẵn trên macOS.