TRL documentation
Mẫu trò chuyện
Mẫu trò chuyện
Một mẫu trò chuyện là một đoạn mã Jinja2 định dạng các tin nhắn thành chuỗi mà mô hình đã được huấn luyện. Ví dụ:
>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
>>> tokenizer.chat_template
"{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}"
>>> tokenizer.apply_chat_template([{"role": "user", "content": "Hi!"}], tokenize=False)
'<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nHi!<|im_end|>\n'Trong hầu hết các trường hợp, bạn không cần phải lo lắng về chat templates: các model được phát hành kèm theo template của chúng cùng với tokenizer, và TRL sẽ áp dụng nó cho bạn. Toàn bộ quy trình này là minh bạch. Tuy nhiên, một số công thức TRL dựa vào các tính năng mà hầu hết các template được phát hành không bao gồm:
- SFT với
assistant_only_loss=Truecần các dấu{% generation %}/{% endgeneration %}bao quanh đầu ra của trợ lý, để mặt nạ loss có thể nhắm vào các token của trợ lý. - GRPO với các cuộc gọi công cụ yêu cầu template phải giữ nguyên phần đầu: việc thêm một thông điệp công cụ không được làm thay đổi cách các thông điệp trước đó được hiển thị.
TRL cung cấp các template đã vá nằm trong trl/chat_templates/ cho các họ phổ biến (Qwen, Llama, DeepSeek-V3, GPT-OSS, …) và tự động thay thế chúng cho các model được hỗ trợ. Đối với bất kỳ model nào khác, bạn sẽ cần tự vá template của nó. Phần còn lại của trang này liệt kê những gì được đóng gói sẵn.
Các họ model được hỗ trợ
TRL lưu trữ các bản sao tham chiếu của các template gốc để có thể xác định các model được hỗ trợ khi khởi tạo và thay thế bằng template huấn luyện khi cần. Các họ model sau được nhận diện: Cohere, Cohere2, DeepSeek-V3 (bao gồm DeepSeek-R1, DeepSeek-R1-0528 và DeepSeek-V3-0324), DeepSeek-R1-Distill, DiffusionGemma, Gemma, Gemma3, Gemma4 (bao gồm Gemma-4-12B, Gemma-4-26B-A4B và Gemma-4-31B), GLM-4-MoE (4.5, 4.6, 4.7), GLM-5, GLM-5.1, GLM-5.2, GLM-5.3, GLM-5.3-Flash, GPT-OSS, Idefics3, LFM2, LFM2.5 (bao gồm LFM2.5-1.2B-Instruct, LFM2.5-2.6B và LFM2.5-24B-A2B), LFM2.5-VL (bao gồm LFM2.5-VL-450M), Llama 3 / 3.1 / 3.2, Llava-Next, Mistral Large 4, Mistral Medium 3.5, Muse Glimmer, Muse Spark Open, Nemotron 3 (Nano, Super, Ultra), Nemotron 3.5 Lightning, Phi-3, Phi-3.5, Qwen2-VL, Qwen2.5 (bao gồm các checkpoint gốc), Qwen2.5-VL, Qwen3 (bao gồm các biến thể Instruct-2507 và Thinking-2507), Qwen3-Coder (bao gồm Qwen3-Coder-Next), Qwen3-VL, Qwen3.5, Qwen3.6, Qwen3.8, SmolVLM (bao gồm SmolVLM2).
Các mẫu huấn luyện
Các mẫu đã vá để khắc phục các vấn đề cụ thể khi huấn luyện. Được thay thế khi khởi tạo nếu công cụ được bật (GRPO) hoặc khi assistant_only_loss=True (SFT).
cohere_training.jinja
Bản vá cho mẫu Cohere. Chênh lệch so với cohere.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
cohere2_training.jinja
Bản vá cho mẫu Cohere2. Chênh lệch so với cohere2.jinja:
Di chuyển <|END_OF_TURN_TOKEN|> ở cuối từ sau {% endif %} phân vai vào từng nhánh vai trò, và bọc nhánh trợ lý (<|START_RESPONSE|>...<|END_RESPONSE|><|END_OF_TURN_TOKEN|>) bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
deepseek_r1_distill_training.jinja
Bản vá cho template DeepSeek-R1-Distill. So sánh với deepseek_r1_distill.jinja:
- Xóa thao tác tách
'</think>'trên nội dung trợ lý. Bản gốc sẽ loại bỏ mọi thứ cho đến và bao gồm cả</think>, điều này sẽ âm thầm xóa phần suy luận khỏi mục tiêu huấn luyện. - Bọc đầu ra thông điệp trợ lý với các dấu
{% generation %}/{% endgeneration %}cho tổn thất chỉ trợ lý trong SFT. Các<|Assistant|>và<|tool▁outputs▁end|>mở một lượt trợ lý nằm bên ngoài các dấu, vì prompt đã kết thúc bằng chúng.
deepseekv3_training.jinja
Bản vá cho mẫu DeepSeek-V3. Chênh lệch so với deepseekv3.jinja:
- Sử dụng
| tojsontrêntool['function']['arguments']đểargumentscó thể được truyền dưới dạngdict(định dạng được tài liệu hóa theo tài liệu transformers). Mẫu gốc sử dụng nối chuỗi thô, điều này gây lỗi khi đầu vào là dict. - Xóa thao tác tách
'</think>'trên nội dung của trợ lý, để khối suy luận luôn được hiển thị. Bản gốc sẽ loại bỏ mọi thứ cho đến và bao gồm cả</think>, điều này sẽ âm thầm xóa bỏ phần suy luận khỏi mục tiêu huấn luyện. - Bọc đầu ra thông điệp trợ lý với các dấu
{% generation %}/{% endgeneration %}cho tổn thất chỉ trợ lý trong SFT. Các<|Assistant|>và<|tool▁outputs▁end|>mở một lượt trợ lý nằm bên ngoài các dấu, vì prompt đã kết thúc bằng chúng.
deepseekv3_v2_training.jinja
Bản vá cho template DeepSeek-R1-0528. Chênh lệch so với deepseekv3_v2.jinja:
- Sử dụng
| tojsontrêntool['function']['arguments']đểargumentscó thể được truyền dưới dạngdict, như trongdeepseekv3_training.jinja. - Xóa thao tác tách
'</think>'trên nội dung của trợ lý, để khối suy luận luôn được hiển thị. Bản gốc sẽ loại bỏ mọi thứ cho đến và bao gồm cả</think>, điều này sẽ âm thầm xóa bỏ phần suy luận khỏi mục tiêu huấn luyện. - Bọc đầu ra thông điệp trợ lý với các dấu
{% generation %}/{% endgeneration %}cho tổn thất chỉ trợ lý trong SFT.<|tool▁outputs▁end|>mở đầu lượt trợ lý sau các đầu ra công cụ nằm bên ngoài các dấu, vì prompt đã kết thúc bằng nó.
deepseekv3_v3_training.jinja
Bản vá cho template DeepSeek-V3 (được sử dụng bởi deepseek-ai/DeepSeek-V3). Cùng một diff như deepseek_r1_distill_training.jinja, áp dụng cho deepseekv3_v3.jinja: các marker {% generation %} / {% endgeneration %} bao quanh đầu ra của thông điệp assistant để tính loss chỉ cho assistant trong SFT, với <|Assistant|> và <|tool▁outputs▁end|> mở một lượt assistant được đặt ở bên ngoài chúng.
deepseekv3_v4_training.jinja
Bản vá cho template DeepSeek-V3-0324 (được sử dụng bởi deepseek-ai/DeepSeek-V3-0324). Cùng một diff như deepseekv3_v2_training.jinja, áp dụng cho deepseekv3_v4.jinja: | tojson trên các đối số của tool-call, và các dấu {% generation %} / {% endgeneration %} bao quanh đầu ra của assistant.
diffusion_gemma_training.jinja
Bản vá cho mẫu DiffusionGemma. So sánh với diffusion_gemma.jinja:
Bọc các phần của lượt mà mô hình phát ra (kênh suy nghĩ, các cuộc gọi công cụ, nội dung và phần đóng <turn|>) bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT. Phản hồi công cụ được nhúng trong lượt đến từ môi trường và nằm ngoài khối generation.
gemma_training.jinja
Mẫu Gemma đã vá (được dùng chung bởi Gemma và Gemma2, vốn có các mẫu chat giống hệt nhau). So sánh với gemma.jinja:
Tách đầu ra của trợ lý thống nhất để phần tiêu đề <start_of_turn>model\n (một tín hiệu gợi ý, không do mô hình tạo ra) nằm ngoài khối sinh, và bọc nội dung trợ lý bằng các dấu {% generation %} / {% endgeneration %} cho tổn thất chỉ dành cho trợ lý trong SFT.
gemma3_training.jinja
Bản vá cho template Gemma 3. Cùng một diff với gemma_training.jinja (chia tách dòng output thống nhất thành các nhánh riêng theo vai trò để tín hiệu prompt <start_of_turn>model\n nằm ngoài khối generation, và bọc nội dung assistant bằng {% generation %} / {% endgeneration %}), áp dụng cho template cơ sở của Gemma 3 hỗ trợ tin nhắn hệ thống và các khối nội dung đa phương tiện.
glm4moe_training.jinja
Bản vá cho mẫu GLM-4-MoE. So sánh với glm4moe.jinja:
Đóng mỗi lượt của assistant bên trong khối sinh bằng dấu hiệu vai mở ra lượt tiếp theo (<|observation|> sau các cuộc gọi công cụ, nếu không thì <|user|> hoặc <|system|>). Mẫu gốc của GLM không có token kết thúc lượt: một lượt được kết thúc bởi dấu hiệu vai của tin nhắn tiếp theo, và GLM khai báo <|user|> và <|observation|> là các token kết thúc chuỗi, do đó mẫu huấn luyện thêm dấu hiệu vào lượt của assistant để giữ token dừng trong mặt nạ loss, và tin nhắn tiếp theo sẽ không còn hiển thị dấu hiệu của riêng nó nữa.
Bọc đầu ra của thông điệp trợ lý (bao gồm khối suy nghĩ và các cuộc gọi công cụ) bằng các dấu {% generation %} / {% endgeneration %} để tính loss chỉ cho phần trợ lý trong SFT. Khi enable_thinking=False, khối suy nghĩ nằm ngoài các dấu này, vì prompt sinh đã kết thúc bằng \n<think></think> rỗng.
qwen3_training.jinja
Mẫu Qwen3 đã vá. Khác biệt so với qwen3.jinja:
Luôn bao gồm khối suy nghĩ bất kể vị trí của tin nhắn. Bản gốc có điều kiện bỏ qua nó dựa trên loop.last, điều này làm thay đổi cách hiển thị của trợ lý khi một tin nhắn công cụ được thêm vào, làm hỏng việc bảo toàn tiền tố:
- {%- if loop.index0 > ns.last_query_index %}
- {%- if loop.last or (not loop.last and reasoning_content) %}
- {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
- {%- else %}
- {{- '<|im_start|>' + message.role + '\n' + content }}
- {%- endif %}
- {%- else %}
- {{- '<|im_start|>' + message.role + '\n' + content }}
- {%- endif %}
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}Bọc đầu ra của thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT. Phần của khối suy nghĩ mà prompt sinh đã điền sẵn (<think>\n\n</think>\n\n với enable_thinking=False) nằm bên ngoài các dấu đánh dấu, vì prompt đã kết thúc bằng phần đó. Các mẫu huấn luyện Qwen3 khác cũng làm tương tự với những gì prompt sinh của chúng điền sẵn, chẳng hạn như <think>\n.
qwen3_v2_training.jinja
Bản vá cho template Qwen3 gốc (được phát hành cùng các checkpoint Qwen3 trước tháng 5 năm 2025, và vẫn được phát hành cùng các checkpoint Qwen3 base). Cùng một diff như qwen3_training.jinja, được áp dụng lên qwen3_v2.jinja.
qwen3_vl_training.jinja
Bản vá cho template Qwen3-VL. Chênh lệch so với qwen3_vl.jinja:
Bọc đầu ra của thông điệp trợ lý (cả content và tool_calls) bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
gptoss_training.jinja
Mẫu GPT-OSS đã vá. Khác biệt so với gptoss.jinja:
Bọc đầu ra của thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT. <|start|>assistant mở đầu lượt hội thoại vẫn nằm bên ngoài các marker, vì prompt sinh đã kết thúc bằng nó.
idefics3_training.jinja
Mẫu Idefics3 đã vá. Khác biệt so với idefics3.jinja:
Tách thông điệp của trợ lý ra thành một nhánh riêng để các dấu {% generation %} / {% endgeneration %} bao quanh nội dung của trợ lý. Điều này cho phép return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT.
lfm2_training.jinja
Mẫu LFM2 đã vá. Khác biệt so với lfm2.jinja:
Tách dòng đầu ra thông điệp thống nhất thành các nhánh riêng theo vai trò, để tín hiệu nhắc <|im_start|>assistant\n nằm bên ngoài khối sinh (không được mô hình sinh ra), trong khi nội dung của trợ lý và <|im_end|>\n (mà mô hình phải học để tạo ra và để dừng lại) nằm bên trong. Bọc nội dung trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT.
lfm2_v2_training.jinja
Mẫu LFM2 đã vá, bản sửa đổi sau. Khác biệt so với lfm2_v2.jinja:
Bọc đầu ra của trợ lý bằng {% generation %} / {% endgeneration %}, trong cả nhánh hiển thị tool_calls và nhánh nội dung thuần, để return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT. Mẹo nhắc <|im_start|>assistant\n nằm bên ngoài khối generation, trong khi nội dung, các cuộc gọi công cụ và <|im_end|>\n nằm bên trong.
llama3_training.jinja
Mẫu Llama 3 đã vá. Khác biệt so với llama3.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
llava_next_training.jinja
Bản vá cho mẫu Llava-Next. Khác biệt so với llava_next.jinja:
- Bọc đầu ra thông điệp trợ lý với các dấu
{% generation %}/{% endgeneration %}cho tổn thất chỉ trợ lý trong SFT. - Giữ khoảng trắng sau
</s>nằm ngoài khối sinh. Tokenizer sẽ gộp nó vào token đầu tiên của lượt tiếp theo (▁[), nếu không thì token đó sẽ bị che như là đầu ra của trợ lý và che khuất token dừng</s>ở cuối vùng bị che.
mistral_large_4_training.jinja
Đã vá template Mistral Large 4. Khác biệt so với mistral_large_4.jinja: cùng thay đổi như mistral_medium_3_5_training.jinja, bọc lượt trả lời của trợ lý (nội dung, các cuộc gọi công cụ và token kết thúc lượt) bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
mistral_medium_3_5_training.jinja
Bản vá cho template Mistral Medium 3.5. Khác biệt so với mistral_medium_3_5.jinja: bản gốc đã giữ nguyên phần tiền tố, nên thay đổi duy nhất là bọc lượt trả lời của trợ lý (nội dung, các cuộc gọi công cụ và token kết thúc lượt) bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT.
muse_glimmer_training.jinja
Bản template Muse Glimmer đã vá. Khác biệt so với muse_glimmer.jinja: bọc toàn bộ nhánh assistant — mọi kênh ATEM của lượt — bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho assistant trong SFT. <|start|>assistant mở đầu lượt vẫn nằm ngoài các marker, vì prompt generation đã kết thúc bằng nó.
muse_spark_training.jinja
Đã vá template Muse Spark Open. Khác biệt so với muse_spark.jinja: các dấu {% generation %} trong bản gốc cũng bao gồm <|start|>assistant mở đầu lượt, vốn đã được prompt sinh kết thúc. Template huấn luyện phát ra nó trước các dấu, để return_assistant_tokens_mask=True không huấn luyện nó. Văn bản hiển thị không thay đổi.
nemotron_3_nano_training.jinja
Bản vá cho template Nemotron Nano. Chênh lệch so với nemotron_3_nano.jinja: bản gốc đã giữ nguyên phần prefix, nên thay đổi ở đây là bọc phần đầu ra của thông điệp assistant bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ tính trên phần assistant trong SFT. Phần của khối thinking mà prompt generation đã điền sẵn (<think>\n, hoặc <think></think> khi enable_thinking=False) được giữ bên ngoài các marker, vì prompt đã kết thúc bằng phần đó.
nemotron_3_super_training.jinja
Bản vá cho template Nemotron Super. Khác biệt so với nemotron_3_super.jinja: giống với nemotron_3_nano_training.jinja — bản gốc đã giữ nguyên phần prefix, nên thay đổi là bọc phần đầu ra của thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT. Phần của khối suy nghĩ mà prompt sinh đã điền sẵn (<think>\n, hoặc <think></think> khi enable_thinking=False) nằm ngoài các dấu đánh dấu, vì prompt đã kết thúc bằng phần đó.
nemotron_3_ultra_training.jinja
Bản vá cho template Nemotron Ultra. Khác biệt so với nemotron_3_ultra.jinja: giống với nemotron_3_nano_training.jinja — bản gốc đã giữ nguyên phần prefix, nên thay đổi là bọc phần đầu ra của thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT. Phần của khối suy nghĩ mà prompt sinh đã điền sẵn (<think>\n, hoặc <think></think> khi enable_thinking=False) nằm ngoài các dấu đánh dấu, vì prompt đã kết thúc bằng phần đó.
nemotron_3_5_lightning_training.jinja
Bản vá cho template Nemotron 3.5 Lightning. Khác biệt so với nemotron_3_5_lightning.jinja: giống với nemotron_3_nano_training.jinja — bản gốc đã giữ nguyên phần tiền tố, nên thay đổi là bọc đầu ra của thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT. Phần của khối suy nghĩ mà prompt sinh đã điền sẵn (<think>\n, hoặc <think></think> với enable_thinking=False) nằm bên ngoài các dấu đánh dấu, vì prompt đã kết thúc bằng phần đó.
phi3_training.jinja
Phi-3 template đã vá. Khác biệt so với phi3.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
phi3_5_training.jinja
Bản vá cho mẫu Phi-3.5. Sự khác biệt so với phi3_5.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
qwen2_5_training.jinja
Mẫu Qwen2.5 đã vá. Khác biệt so với qwen2_5.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
qwen2_5_base_training.jinja
Bản vá cho mẫu cơ sở Qwen2.5 (được sử dụng bởi các checkpoint cơ sở, chẳng hạn như Qwen2.5-0.5B, trong đó mẫu chỉ khác với mẫu instruct ở prompt hệ thống mặc định). Cùng một diff như qwen2_5_training.jinja, được áp dụng cho qwen2_5_base.jinja.
qwen2_5_vl_training.jinja
Bản vá cho template Qwen2.5-VL (cũng được dùng cho Qwen2-VL, vốn có template giống hệt nhau từng byte). So sánh với qwen2_5_vl.jinja:
Tách thông điệp của trợ lý ra thành một nhánh riêng để các dấu {% generation %} / {% endgeneration %} bao quanh nội dung của trợ lý. Điều này cho phép return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT.
qwen3_instruct_2507_training.jinja
Bản vá cho template Qwen3-Instruct-2507 (được sử dụng bởi các model như Qwen3-4B-Instruct-2507, vốn đi kèm một biến thể Qwen3 đơn giản hơn, không có phân tích reasoning_content / <think>, theo dõi multi_step_tool hay cờ enable_thinking). So sánh với qwen3_instruct_2507.jinja:
Bọc đầu ra thông điệp trợ lý bằng {% generation %} / {% endgeneration %} để return_assistant_tokens_mask=True tạo ra các mask chính xác cho loss chỉ dành cho trợ lý trong SFT.
qwen3_thinking_2507_training.jinja
Bản vá cho template Qwen3-Thinking-2507 (được sử dụng bởi các model như Qwen3-4B-Thinking-2507, vốn pre-fill <think>\n trong prompt sinh). Khác biệt so với qwen3_thinking_2507.jinja: cùng bộ thay đổi như qwen3_training.jinja, loại bỏ điều kiện loop.index0 > ns.last_query_index để khối thinking luôn được phát ra (giữ nguyên prefix) và bọc đầu ra của assistant với các marker {% generation %} / {% endgeneration %} cho loss chỉ tính trên phần assistant trong SFT.
qwen3_5_think_training.jinja / qwen3_5_nothink_training.jinja
Các mẫu Qwen3.5 đã vá với logic dùng chung cho cả hai phiên bản (chúng chỉ khác nhau ở giá trị mặc định của cờ enable_thinking):
qwen3_5_think_training.jinjamặc định bật chế độ suy nghĩ, được sử dụng bởi Qwen3.5-4B và các mô hình lớn hơn.qwen3_5_nothink_training.jinjamặc định là tắt chế độ suy nghĩ, được sử dụng bởi Qwen3.5-2B và các mô hình nhỏ hơn.
Khác biệt so với qwen3_5_think.jinja / qwen3_5_nothink.jinja: giống với qwen3_training.jinja (bỏ điều kiện loop.index0 > ns.last_query_index để khối suy nghĩ luôn được xuất ra, bọc đầu ra của trợ lý trong {% generation %} / {% endgeneration %}).
qwen3_6_training.jinja
Bản vá cho template Qwen3.6. Khác biệt so với qwen3_6.jinja: giống với qwen3_training.jinja (bỏ điều kiện loop.index0 > ns.last_query_index để khối thinking luôn được xuất ra, bọc đầu ra của assistant trong {% generation %} / {% endgeneration %}).
qwen3_8_training.jinja
Bản vá cho template Qwen3.8. Khác biệt so với qwen3_8.jinja: bỏ điều kiện preserve_thinking / loop.index0 > ns.last_query_index để khối thinking luôn được xuất ra — nhờ đó việc bảo toàn tiền tố vẫn được đảm bảo ngay cả khi người gọi truyền preserve_thinking=False — và bọc đầu ra của assistant bằng các dấu {% generation %} / {% endgeneration %} để tính loss chỉ cho phần assistant trong SFT, với phần của khối thinking được prompt generation điền trước nằm bên ngoài các dấu này.
smolvlm_training.jinja
Mẫu SmolVLM đã vá (cũng được dùng cho SmolVLM2, vốn đi kèm một mẫu giống hệt nhau từng byte). So sánh với smolvlm.jinja:
Tách thông điệp của trợ lý ra thành một nhánh riêng để các dấu {% generation %} / {% endgeneration %} bao quanh nội dung của trợ lý. Điều này cho phép return_assistant_tokens_mask=True tạo ra các mặt nạ chính xác cho tổn thất chỉ dành cho trợ lý trong SFT.
Công cụ tiện ích liên quan
Xem Chat Template Utilities để biết các hàm trợ giúp (clone_chat_template(), is_chat_template_prefix_preserving, get_training_chat_template()) hoạt động trên các mẫu này.