TRL documentation

채팅 템플릿

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

채팅 템플릿

채팅 템플릿은 모델이 학습된 문자열로 메시지를 포맷팅하는 Jinja2 스니펫입니다. 예를 들어:

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
>>> tokenizer.chat_template
"{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}"
>>> tokenizer.apply_chat_template([{"role": "user", "content": "Hi!"}], tokenize=False)
'<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nHi!<|im_end|>\n'

대부분의 경우 채팅 템플릿에 대해 걱정할 필요가 없습니다. 모델은 토크나이저와 함께 템플릿을 제공하며, TRL이 이를 자동으로 적용합니다. 전체 과정이 투명하게 처리됩니다. 하지만 일부 TRL 레시피는 대부분의 제공 템플릿에 포함되지 않는 기능에 의존합니다:

  • SFT with assistant_only_loss=True에는 어시스턴트 출력 주위에 {% generation %} / {% endgeneration %} 마커가 필요하며, 이를 통해 손실 마스크가 어시스턴트 토큰만 대상으로 할 수 있습니다.
  • GRPO with tool calls는 템플릿이 prefix-preserving이어야 합니다: tool message를 추가해도 이전 메시지들의 렌더링 방식이 변경되어서는 안 됩니다.

TRL은 Qwen, Llama, DeepSeek-V3, GPT-OSS 등 일반적인 모델 계열에 대해 trl/chat_templates/ 아래에서 패치된 템플릿을 제공하며, 지원되는 모델의 경우 이를 자동으로 교체합니다. 다른 모델의 경우 템플릿을 직접 패치해야 합니다. 이 페이지의 나머지 부분은 번들에 포함된 내용을 정리해 둡니다.

지원되는 모델 계열

TRL은 초기화 시 지원되는 모델을 식별하고 필요 시 학습 템플릿으로 교체할 수 있도록 원래 템플릿의 참조 사본을 저장합니다. 다음 계열이 인식됩니다: Cohere, Cohere2, DeepSeek-V3 (DeepSeek-R1, DeepSeek-R1-0528 및 DeepSeek-V3-0324 포함), DeepSeek-R1-Distill, DiffusionGemma, Gemma, Gemma3, Gemma4 (Gemma-4-12B, Gemma-4-26B-A4B 및 Gemma-4-31B 포함), GLM-4-MoE (4.5, 4.6, 4.7), GLM-5, GLM-5.1, GLM-5.2, GLM-5.3, GLM-5.3-Flash, GPT-OSS, Idefics3, LFM2, LFM2.5 (LFM2.5-1.2B-Instruct, LFM2.5-2.6B 및 LFM2.5-24B-A2B 포함), LFM2.5-VL (LFM2.5-VL-450M 포함), Llama 3 / 3.1 / 3.2, Llava-Next, Mistral Large 4, Mistral Medium 3.5, Muse Glimmer, Muse Spark Open, Nemotron 3 (Nano, Super, Ultra), Nemotron 3.5 Lightning, Phi-3, Phi-3.5, Qwen2-VL, Qwen2.5 (기본 체크포인트 포함), Qwen2.5-VL, Qwen3 (Instruct-2507 및 Thinking-2507 변형 포함), Qwen3-Coder (Qwen3-Coder-Next 포함), Qwen3-VL, Qwen3.5, Qwen3.6, Qwen3.8, SmolVLM (SmolVLM2 포함).

학습 템플릿

학습 관련 문제를 수정하는 패치된 템플릿입니다. 도구가 활성화된 경우(GRPO) 또는 assistant_only_loss=True인 경우(SFT)에 초기화 시 교체됩니다.

cohere_training.jinja

Patched Cohere 템플릿. cohere.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

cohere2_training.jinja

Patched Cohere2 템플릿. cohere2.jinja와의 차이점:

역할 분기 {% endif %} 뒤에 있는 <|END_OF_TURN_TOKEN|>를 각 역할 분기로 이동하고, 어시스턴트 분기(<|START_RESPONSE|>...<|END_RESPONSE|><|END_OF_TURN_TOKEN|>)를 {% generation %} / {% endgeneration %}로 감싸서 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 합니다.

deepseek_r1_distill_training.jinja

패치된 DeepSeek-R1-Distill 템플릿. deepseek_r1_distill.jinja와의 차이점:

  • '</think>' 기준으로 어시스턴트 콘텐츠의 분리를 제거합니다. 원래 구현은 </think>까지의 모든 내용을 삭제하므로, 학습 대상에서 추론 과정이 조용히 제거되는 문제가 있었습니다.
  • SFT assistant-only loss를 위해 assistant 메시지 출력을 {% generation %} / {% endgeneration %} 마커로 감쌉니다. assistant 턴을 여는 <|Assistant|>와 <|tool▁outputs▁end|>는 프롬프트가 이미 이들로 끝나므로 마커 바깥에 유지됩니다.

deepseekv3_training.jinja

패치된 DeepSeek-V3 템플릿. deepseekv3.jinja와의 차이점:

  • tool['function']['arguments']에 | tojson을 적용하여 arguments를 dict로 전달할 수 있도록 합니다(transformers 문서에 명시된 형식). 기존 템플릿은 원시 문자열 연결을 사용하므로 dict 입력에서 오류가 발생합니다.
  • '</think>' 기준으로 어시스턴트 콘텐츠가 분리되는 문제를 제거하여 추론 블록이 항상 렌더링되도록 합니다. 기존 방식은 </think>를 포함하여 그 앞의 모든 내용을 삭제하므로, 학습 대상에서 추론 내용이 조용히 제거되었습니다.
  • SFT assistant-only loss를 위해 assistant 메시지 출력을 {% generation %} / {% endgeneration %} 마커로 감쌉니다. assistant 턴을 여는 <|Assistant|>와 <|tool▁outputs▁end|>는 프롬프트가 이미 이들로 끝나므로 마커 바깥에 유지됩니다.

deepseekv3_v2_training.jinja

패치된 DeepSeek-R1-0528 템플릿. deepseekv3_v2.jinja와의 차이점:

  • deepseekv3_training.jinja와 마찬가지로 arguments를 dict로 전달할 수 있도록 tool['function']['arguments']에 | tojson을 사용합니다.
  • '</think>' 기준으로 어시스턴트 콘텐츠가 분리되는 문제를 제거하여 추론 블록이 항상 렌더링되도록 합니다. 기존 방식은 </think>를 포함하여 그 앞의 모든 내용을 삭제하므로, 학습 대상에서 추론 내용이 조용히 제거되었습니다.
  • SFT assistant-only loss를 위해 assistant 메시지 출력을 {% generation %} / {% endgeneration %} 마커로 감쌉니다. 도구 출력 이후 assistant 턴을 여는 <|tool▁outputs▁end|>는 프롬프트가 이미 해당 토큰으로 끝나므로 마커 바깥에 유지됩니다.

deepseekv3_v3_training.jinja

deepseek-ai/DeepSeek-V3에서 사용하는 패치된 DeepSeek-V3 템플릿입니다. deepseek_r1_distill_training.jinja와 동일한 diff가 deepseekv3_v3.jinja에 적용되었습니다: SFT assistant-only loss를 위해 assistant 메시지 출력 주위에 {% generation %} / {% endgeneration %} 마커를 배치하고, assistant 턴을 여는 <|Assistant|>와 <|tool▁outputs▁end|>는 이 마커 바깥에 두었습니다.

deepseekv3_v4_training.jinja

deepseek-ai/DeepSeek-V3-0324에서 사용하는 패치된 DeepSeek-V3-0324 템플릿입니다. deepseekv3_v2_training.jinja와 동일한 diff를 deepseekv3_v4.jinja에 적용한 것입니다: tool-call 인자에 | tojson을 적용하고, 어시스턴트 출력 주위에 {% generation %} / {% endgeneration %} 마커를 배치합니다.

diffusion_gemma_training.jinja

패치된 DiffusionGemma 템플릿. diffusion_gemma.jinja와의 차이점:

{% generation %} / {% endgeneration %}로 모델이 출력하는 턴의 각 부분(생각 채널, 도구 호출, 콘텐츠, 닫는 <turn|>)을 감싸서 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 합니다. 턴에 포함된 도구 응답은 환경에서 제공되며 generation 블록 외부에 유지됩니다.

gemma_training.jinja

Gemma 템플릿 패치 버전(Gemma와 Gemma2가 동일한 채팅 템플릿을 제공하므로 공유). gemma.jinja와의 차이점:

통합된 어시스턴트 출력을 분할하여 <start_of_turn>model\n 헤더(모델이 생성하지 않는 프롬프트 큐)를 생성 블록 외부에 배치하고, SFT 어시스턴트 전용 손실을 위해 어시스턴트 콘텐츠를 {% generation %} / {% endgeneration %} 마커로 감쌉니다.

gemma3_training.jinja

Gemma 3 템플릿을 패치했습니다. gemma_training.jinja와 동일한 diff(통합 출력 라인을 역할별 분기로 분리하여 <start_of_turn>model\n 프롬프트 큐를 생성 블록 외부에 배치하고, 어시스턴트 콘텐츠를 {% generation %} / {% endgeneration %}으로 감싸기)을, 시스템 메시지와 멀티모달 콘텐츠 블록을 지원하는 Gemma 3 기본 템플릿에 적용했습니다.

glm4moe_training.jinja

패치된 GLM-4-MoE 템플릿. glm4moe.jinja와의 차이점:

생성 블록 안의 각 어시스턴트 턴은 다음 턴을 여는 역할 마커로 닫습니다(도구 호출 후에는 <|observation|>, 그 외에는 <|user|> 또는 <|system|>). GLM의 원래 템플릿에는 턴 종료 토큰이 없습니다. 턴은 다음 메시지의 역할 마커로 종료되며, GLM은 <|user|>와 <|observation|>를 시퀀스 종료 토큰으로 선언합니다. 따라서 학습 템플릿은 어시스턴트 턴에 마커를 추가하여 스톱 토큰이 손실 마스크에 포함되도록 하고, 이후 메시지는 자체 마커를 더 이상 렌더링하지 않습니다.

SFT assistant-only loss를 위해 assistant 메시지 출력(생각 블록 및 도구 호출 포함)을 {% generation %} / {% endgeneration %} 마커로 감싸세요. enable_thinking=False인 경우, 생성 프롬프트가 이미 빈 \n<think></think>로 끝나므로 생각 블록은 마커 바깥에 유지됩니다.

qwen3_training.jinja

패치된 Qwen3 템플릿. qwen3.jinja와의 차이점:

메시지 위치와 관계없이 항상 thinking 블록을 포함해야 합니다. 원본은 loop.last에 따라 조건부로 이를 생략하는데, 이로 인해 도구 메시지가 추가될 때 어시스턴트 렌더링이 변경되어 prefix-preservation이 깨집니다:

- {%- if loop.index0 > ns.last_query_index %}
-     {%- if loop.last or (not loop.last and reasoning_content) %}
-         {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
-     {%- else %}
-         {{- '<|im_start|>' + message.role + '\n' + content }}
-     {%- endif %}
- {%- else %}
-     {{- '<|im_start|>' + message.role + '\n' + content }}
- {%- endif %}
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}

return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록, 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸야 합니다. enable_thinking=False인 경우 생성 프롬프트가 미리 채우는 사고 블록의 부분(<think>\n\n</think>\n\n)은 프롬프트가 이미 해당 부분으로 끝나므로 마커 바깥에 유지됩니다. 다른 Qwen3 학습 템플릿도 <think>\n처럼 자체 생성 프롬프트가 미리 채우는 부분을 동일한 방식으로 처리합니다.

qwen3_v2_training.jinja

원본 Qwen3 템플릿에 패치를 적용한 버전(2025년 5월 이전 Qwen3 체크포인트에 포함되었으며, 현재도 Qwen3 베이스 체크포인트에 포함되어 있음). qwen3_training.jinja와 동일한 diff를 qwen3_v2.jinja에 적용했습니다.

qwen3_vl_training.jinja

패치된 Qwen3-VL 템플릿. qwen3_vl.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력(both content과 tool_calls)을 {% generation %} / {% endgeneration %}로 감싸야 합니다.

gptoss_training.jinja

패치된 GPT-OSS 템플릿. gptoss.jinja와의 차이점:

{% generation %} / {% endgeneration %}으로 어시스턴트 메시지 출력을 감싸서 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 합니다. 턴을 여는 <|start|>assistant는 생성 프롬프트가 이미 해당 토큰으로 끝나므로 마커 바깥에 유지됩니다.

idefics3_training.jinja

패치된 Idefics3 템플릿. idefics3.jinja와의 차이점:

{% generation %} / {% endgeneration %} 마커가 어시스턴트 콘텐츠를 감싸도록 어시스턴트 메시지를 별도의 브랜치로 분리합니다. 이를 통해 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실을 위해 올바른 마스크를 생성할 수 있습니다.

lfm2_training.jinja

패치된 LFM2 템플릿. lfm2.jinja와의 차이점:

통합된 메시지 출력 라인을 역할별 분기로 나누어 <|im_start|>assistant\n 프롬프트 큐를 생성 블록 외부에 배치합니다(모델이 생성하지 않는 부분). 반면 어시스턴트의 콘텐츠와 <|im_end|>\n(모델이 생성하고 여기서 생성을 중단하도록 학습해야 하는 부분)는 생성 블록 내부에 배치합니다. 어시스턴트 콘텐츠를 {% generation %} / {% endgeneration %}로 감싸 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 합니다.

lfm2_v2_training.jinja

패치된 LFM2 템플릿, 후속 개정판. lfm2_v2.jinja와의 차이점:

{% generation %} / {% endgeneration %}로 어시스턴트 출력을 감싸야 합니다. tool_calls을 렌더링하는 분기뿐 아니라 일반 콘텐츠 분기에서도 적용해야 하며, 이렇게 하면 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성합니다. <|im_start|>assistant\n 프롬프트 큐는 생성 블록 밖에 유지되고, 콘텐츠, 도구 호출 및 <|im_end|>\n은 블록 안에 위치합니다.

llama3_training.jinja

패치된 Llama 3 템플릿. llama3.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

llava_next_training.jinja

패치된 Llava-Next 템플릿. llava_next.jinja와의 차이점:

  • SFT assistant-only loss를 위해 assistant 메시지 출력을 {% generation %} / {% endgeneration %} 마커로 감쌉니다.
  • </s> 뒤에 오는 공백을 생성 블록 외부에 유지합니다. 토크나이저는 이 공백을 다음 턴의 첫 번째 토큰(▁[)과 병합하는데, 그렇지 않으면 해당 토큰이 어시스턴트 출력으로 마스킹되어 마스킹된 스팬 끝의 </s> 스톱 토큰이 가려집니다.

mistral_large_4_training.jinja

Mistral Large 4 템플릿을 패치했습니다. mistral_large_4.jinja와의 차이점: mistral_medium_3_5_training.jinja와 동일한 변경 사항으로, 어시스턴트 턴(콘텐츠, 도구 호출 및 턴 종료 토큰)을 {% generation %} / {% endgeneration %}으로 감싸서 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 했습니다.

mistral_medium_3_5_training.jinja

Patched Mistral Medium 3.5 템플릿. mistral_medium_3_5.jinja와의 차이점: 원본은 이미 prefix-preserving 구조이므로, 유일한 변경 사항은 return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록 어시스턴트 턴(콘텐츠, 도구 호출 및 턴 종료 토큰)을 {% generation %} / {% endgeneration %}로 감싸는 것입니다.

muse_glimmer_training.jinja

Patched Muse Glimmer 템플릿. muse_glimmer.jinja와의 차이점: 턴의 모든 ATEM 채널을 포함하여 어시스턴트 브랜치 전체를 {% generation %} / {% endgeneration %}로 감싸서 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 합니다. 턴을 여는 <|start|>assistant는 생성 프롬프트가 이미 해당 토큰으로 끝나므로 마커 바깥에 유지됩니다.

muse_spark_training.jinja

Muse Spark Open 템플릿을 패치했습니다. muse_spark.jinja와의 차이점: 원본의 {% generation %} 마커는 턴을 여는 <|start|>assistant도 포함하지만, 생성 프롬프트는 이미 이 토큰으로 끝납니다. 학습 템플릿은 마커 전에 이 토큰을 출력하여 return_assistant_tokens_mask=True가 이 토큰을 학습하지 않도록 합니다. 렌더링된 텍스트는 변경되지 않습니다.

nemotron_3_nano_training.jinja

Patched Nemotron Nano 템플릿. nemotron_3_nano.jinja와의 차이점: 원본은 이미 prefix-preserving 상태이므로, 변경 사항은 return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸는 것입니다. 생성 프롬프트가 미리 채우는 thinking 블록의 부분(<think>\n 또는 enable_thinking=False인 경우 <think></think>)은 프롬프트가 이미 해당 부분으로 끝나므로 마커 바깥에 유지됩니다.

nemotron_3_super_training.jinja

Patched Nemotron Super 템플릿. nemotron_3_super.jinja와의 차이: nemotron_3_nano_training.jinja와 동일합니다. 기존 템플릿이 이미 prefix-preserving 구조이므로, 변경 사항은 return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록 assistant 메시지 출력을 {% generation %} / {% endgeneration %}으로 감싸는 것입니다. generation 프롬프트가 미리 채워 넣는 thinking 블록의 부분(<think>\n 또는 enable_thinking=False인 경우 <think></think>)는 프롬프트가 이미 해당 부분으로 끝나므로 마커 바깥에 유지됩니다.

nemotron_3_ultra_training.jinja

Patched Nemotron Ultra 템플릿. nemotron_3_ultra.jinja와의 차이: nemotron_3_nano_training.jinja와 동일합니다. 원본이 이미 prefix-preserving이므로, 변경 사항은 return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록 assistant 메시지 출력을 {% generation %} / {% endgeneration %}으로 감싸는 것입니다. generation 프롬프트가 미리 채우는 thinking 블록의 부분(<think>\n 또는 enable_thinking=False인 경우 <think></think>)은 프롬프트가 이미 해당 부분으로 끝나므로 마커 바깥에 유지됩니다.

nemotron_3_5_lightning_training.jinja

Patched Nemotron 3.5 Lightning 템플릿. nemotron_3_5_lightning.jinja와의 차이점: nemotron_3_nano_training.jinja와 동일합니다. 원본이 이미 prefix-preserving 상태이므로, 변경 사항은 return_assistant_tokens_mask=True가 SFT assistant-only loss에 대해 올바른 마스크를 생성하도록 assistant 메시지 출력을 {% generation %} / {% endgeneration %}으로 감싸는 것입니다. generation 프롬프트가 미리 채워 넣는 thinking 블록의 부분(<think>\n 또는 enable_thinking=False인 경우 <think></think>)는 프롬프트가 이미 해당 부분으로 끝나므로 마커 바깥에 유지됩니다.

phi3_training.jinja

패치된 Phi-3 템플릿. phi3.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

phi3_5_training.jinja

패치된 Phi-3.5 템플릿. phi3_5.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

qwen2_5_training.jinja

패치된 Qwen2.5 템플릿. qwen2_5.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

qwen2_5_base_training.jinja

Qwen2.5-0.5B와 같은 base 체크포인트에서 사용하는 패치된 Qwen2.5 base 템플릿(기본 시스템 프롬프트만 instruct 템플릿과 다름). qwen2_5_training.jinja와 동일한 diff를 qwen2_5_base.jinja에 적용한 것입니다.

qwen2_5_vl_training.jinja

패치된 Qwen2.5-VL 템플릿(Qwen2-VL에도 사용되며, 바이트 단위로 동일한 템플릿을 제공합니다). qwen2_5_vl.jinja와의 차이점:

{% generation %} / {% endgeneration %} 마커가 어시스턴트 콘텐츠를 감싸도록 어시스턴트 메시지를 별도의 브랜치로 분리합니다. 이를 통해 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성할 수 있습니다.

qwen3_instruct_2507_training.jinja

Qwen3-4B-Instruct-2507와 같은 모델에서 사용하는 패치된 Qwen3-Instruct-2507 템플릿입니다. 해당 모델은 reasoning_content / <think> 파싱, multi_step_tool 추적, enable_thinking 플래그가 없는 더 단순한 Qwen3 변형을 제공합니다. qwen3_instruct_2507.jinja와의 차이점:

return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실에 대해 올바른 마스크를 생성하도록 어시스턴트 메시지 출력을 {% generation %} / {% endgeneration %}로 감싸세요.

qwen3_thinking_2507_training.jinja

Qwen3-4B-Thinking-2507와 같은 모델이 생성 프롬프트에서 <think>\n을 미리 채우는 데 사용되는) 패치된 Qwen3-Thinking-2507 템플릿입니다. qwen3_thinking_2507.jinja와의 차이점: qwen3_training.jinja와 동일한 변경 사항 집합으로, loop.index0 > ns.last_query_index 조건문을 제거하여 항상 사고 블록을 출력하고(접두어 보존), SFT 어시스턴트 전용 손실을 위해 어시스턴트 출력을 {% generation %} / {% endgeneration %} 마커로 감쌉니다.

qwen3_5_think_training.jinja / qwen3_5_nothink_training.jinja

두 가지 버전의 기본값인 enable_thinking 플래그 값만 다를 뿐, 공통 로직을 공유하는 패치된 Qwen3.5 템플릿:

  • qwen3_5_think_training.jinja는 기본적으로 thinking이 활성화된 상태로, Qwen3.5-4B 및 더 큰 모델에서 사용됩니다.
  • qwen3_5_nothink_training.jinja는 기본적으로 thinking을 비활성화하며, Qwen3.5-2B 및 더 작은 모델에서 사용됩니다.

qwen3_5_think.jinja / qwen3_5_nothink.jinja와의 차이: qwen3_training.jinja와 동일합니다(loop.index0 > ns.last_query_index 조건문을 제거하여 thinking 블록이 항상 출력되도록 하고, assistant 출력을 {% generation %} / {% endgeneration %}로 감쌉니다).

qwen3_6_training.jinja

Qwen3.6 템플릿을 패치했습니다. qwen3_6.jinja와의 차이점: qwen3_training.jinja와 동일합니다(loop.index0 > ns.last_query_index 조건문을 제거하여 thinking 블록이 항상 출력되도록 하고, 어시스턴트 출력을 {% generation %} / {% endgeneration %}로 감쌉니다).

qwen3_8_training.jinja

Qwen3.8 템플릿을 패치했습니다. qwen3_8.jinja와의 차이점: preserve_thinking / loop.index0 > ns.last_query_index 조건문을 제거하여 thinking 블록이 항상 출력되도록 했습니다. 이렇게 하면 호출자가 preserve_thinking=False를 전달하는 경우에도 prefix-preservation이 유지됩니다. 또한 SFT assistant-only loss를 위해 assistant 출력을 {% generation %} / {% endgeneration %} 마커로 감쌌으며, generation prompt가 미리 채우는 thinking 블록의 해당 부분은 이 마커 바깥에 두었습니다.

smolvlm_training.jinja

패치된 SmolVLM 템플릿(SmolVLM2에도 사용되며, 바이트 단위로 동일한 템플릿을 제공합니다). smolvlm.jinja와의 차이점:

{% generation %} / {% endgeneration %} 마커가 어시스턴트 콘텐츠를 감싸도록 어시스턴트 메시지를 별도의 브랜치로 분리합니다. 이를 통해 return_assistant_tokens_mask=True가 SFT 어시스턴트 전용 손실을 위해 올바른 마스크를 생성할 수 있습니다.

관련 유틸리티

이러한 템플릿을 조작하는 헬퍼 함수(clone_chat_template(), is_chat_template_prefix_preserving, get_training_chat_template())에 대해서는 Chat Template Utilities를 참조하세요.

Update on GitHub