TRL documentation

Template Chat

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Template Chat

Chat template adalah potongan Jinja2 yang memformat pesan menjadi string yang digunakan untuk melatih model. Sebagai contoh:

>>> from transformers import AutoTokenizer
>>> tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
>>> tokenizer.chat_template
"{% for message in messages %}{% if loop.first and messages[0]['role'] != 'system' %}{{ '<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n' }}{% endif %}{{'<|im_start|>' + message['role'] + '\n' + message['content'] + '<|im_end|>' + '\n'}}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant\n' }}{% endif %}"
>>> tokenizer.apply_chat_template([{"role": "user", "content": "Hi!"}], tokenize=False)
'<|im_start|>system\nYou are a helpful assistant.<|im_end|>\n<|im_start|>user\nHi!<|im_end|>\n'

Dalam kebanyakan kasus, Anda tidak perlu khawatir tentang template chat: model menyertakan template-nya bersama tokenizer, dan TRL menerapkannya untuk Anda. Seluruh prosesnya transparan. Namun, beberapa resep TRL bergantung pada fitur yang tidak disertakan oleh sebagian besar template bawaan:

  • SFT dengan assistant_only_loss=True membutuhkan penanda {% generation %} / {% endgeneration %} di sekitar output asisten, sehingga mask loss dapat menargetkan hanya token asisten.
  • GRPO dengan panggilan alat membutuhkan template yang mempertahankan prefiks: menambahkan pesan alat tidak boleh mengubah cara pesan sebelumnya dirender.

TRL menyertakan template yang sudah diperbaiki di bawah trl/chat_templates/ untuk keluarga model umum (Qwen, Llama, DeepSeek-V3, GPT-OSS, …) dan menggantinya secara otomatis untuk model yang didukung. Untuk model lain, Anda perlu memperbaiki template-nya sendiri. Sisa halaman ini mengatalogkan apa yang disertakan.

Keluarga model yang didukung

TRL menyimpan salinan referensi dari template asli sehingga dapat mengidentifikasi model yang didukung saat inisialisasi dan mengganti dengan template pelatihan saat diperlukan. Keluarga berikut dikenali: Cohere, Cohere2, DeepSeek-V3 (termasuk DeepSeek-R1, DeepSeek-R1-0528, dan DeepSeek-V3-0324), DeepSeek-R1-Distill, DiffusionGemma, Gemma, Gemma3, Gemma4 (termasuk Gemma-4-12B, Gemma-4-26B-A4B, dan Gemma-4-31B), GLM-4-MoE (4.5, 4.6, 4.7), GLM-5, GLM-5.1, GLM-5.2, GLM-5.3, GLM-5.3-Flash, GPT-OSS, Idefics3, LFM2, LFM2.5 (termasuk LFM2.5-1.2B-Instruct, LFM2.5-2.6B, dan LFM2.5-24B-A2B), LFM2.5-VL (termasuk LFM2.5-VL-450M), Llama 3 / 3.1 / 3.2, Llava-Next, Mistral Large 4, Mistral Medium 3.5, Muse Glimmer, Muse Spark Open, Nemotron 3 (Nano, Super, Ultra), Nemotron 3.5 Lightning, Phi-3, Phi-3.5, Qwen2-VL, Qwen2.5 (termasuk checkpoint dasar), Qwen2.5-VL, Qwen3 (termasuk varian Instruct-2507 dan Thinking-2507), Qwen3-Coder (termasuk Qwen3-Coder-Next), Qwen3-VL, Qwen3.5, Qwen3.6, Qwen3.8, SmolVLM (termasuk SmolVLM2).

Template pelatihan

Template yang telah diperbaiki untuk mengatasi masalah spesifik pelatihan. Diganti saat inisialisasi ketika tools diaktifkan (GRPO) atau ketika assistant_only_loss=True (SFT).

cohere_training.jinja

Template Cohere yang telah diperbaiki. Diff terhadap cohere.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

cohere2_training.jinja

Template Cohere2 yang telah diperbaiki. Perbedaan dengan cohere2.jinja:

Pindahkan <|END_OF_TURN_TOKEN|> yang berada di akhir dari setelah {% endif %} ke dalam setiap cabang peran, dan bungkus cabang asisten (<|START_RESPONSE|>...<|END_RESPONSE|><|END_OF_TURN_TOKEN|>) dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss asisten-only pada SFT.

deepseek_r1_distill_training.jinja

Template DeepSeek-R1-Distill yang telah diperbaiki. Perbedaan dengan deepseek_r1_distill.jinja:

  • Menghapus pemisahan '</think>' pada konten asisten. Versi asli membuang semua konten hingga dan termasuk </think>, yang akan secara diam-diam menghapus penalaran dari target pelatihan.
  • Membungkus output pesan asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss khusus asisten SFT. <|Assistant|> dan <|tool▁outputs▁end|> yang membuka giliran asisten tetap berada di luar penanda, karena prompt sudah diakhiri dengan keduanya.

deepseekv3_training.jinja

Template DeepSeek-V3 yang telah diperbaiki. Perbedaan dengan deepseekv3.jinja:

  • Menggunakan | tojson pada tool['function']['arguments'] sehingga arguments dapat diteruskan sebagai dict (format yang terdokumentasi sesuai transformers docs). Template asli menggunakan konkatenasi string mentah, yang menyebabkan error pada input dict.
  • Menghapus pemisahan '</think>' pada konten asisten, sehingga blok penalaran selalu dirender. Versi asli membuang semua konten hingga dan termasuk </think>, yang akan secara diam-diam menghapus penalaran dari target pelatihan.
  • Membungkus output pesan asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss khusus asisten SFT. <|Assistant|> dan <|tool▁outputs▁end|> yang membuka giliran asisten tetap berada di luar penanda, karena prompt sudah diakhiri dengan keduanya.

deepseekv3_v2_training.jinja

Template DeepSeek-R1-0528 yang telah diperbaiki. Perbedaan dengan deepseekv3_v2.jinja:

  • Menggunakan | tojson pada tool['function']['arguments'] sehingga arguments dapat diteruskan sebagai dict, seperti pada deepseekv3_training.jinja.
  • Menghapus pemisahan '</think>' pada konten asisten, sehingga blok penalaran selalu dirender. Versi asli membuang semua konten hingga dan termasuk </think>, yang akan secara diam-diam menghapus penalaran dari target pelatihan.
  • Membungkus output pesan asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss khusus asisten SFT. <|tool▁outputs▁end|> yang membuka giliran asisten setelah output tool tetap berada di luar penanda, karena prompt sudah diakhiri dengannya.

deepseekv3_v3_training.jinja

Template DeepSeek-V3 yang telah diperbaiki (digunakan oleh deepseek-ai/DeepSeek-V3). Diff yang sama dengan deepseek_r1_distill_training.jinja, diterapkan pada deepseekv3_v3.jinja: penanda {% generation %} / {% endgeneration %} di sekitar output pesan asisten untuk loss asisten-only SFT, dengan <|Assistant|> dan <|tool▁outputs▁end|> yang membuka giliran asisten dibiarkan di luar penanda tersebut.

deepseekv3_v4_training.jinja

Template DeepSeek-V3-0324 yang telah diperbaiki (digunakan oleh deepseek-ai/DeepSeek-V3-0324). Diff yang sama dengan deepseekv3_v2_training.jinja, diterapkan pada deepseekv3_v4.jinja: | tojson pada argumen tool-call, dan penanda {% generation %} / {% endgeneration %} di sekitar output asisten.

diffusion_gemma_training.jinja

Template DiffusionGemma yang telah diperbaiki. Perbedaan dengan diffusion_gemma.jinja:

Bungkus bagian dari giliran model yang dihasilkan oleh model (kanal berpikir, pemanggilan alat, konten, dan penutup <turn|>) dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten. Respons alat yang tertanam dalam giliran berasal dari lingkungan dan tetap berada di luar blok generation.

gemma_training.jinja

Template Gemma yang telah diperbaiki (dibagikan oleh Gemma dan Gemma2, yang menyediakan template chat yang identik). Perbedaan dengan gemma.jinja:

Pisahkan output asisten terpadu sehingga header <start_of_turn>model\n (sebuah isyarat prompt, bukan dihasilkan oleh model) berada di luar blok generasi, dan bungkus konten asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss asisten-only SFT.

gemma3_training.jinja

Template Gemma 3 yang telah diperbaiki. Diff yang sama dengan gemma_training.jinja (memecah baris output terpadu menjadi cabang khusus peran agar prompt cue <start_of_turn>model\n berada di luar blok generasi, dan membungkus konten asisten dengan {% generation %} / {% endgeneration %}), diterapkan pada template dasar Gemma 3 yang mendukung pesan sistem dan blok konten multimodal.

glm4moe_training.jinja

Template GLM-4-MoE yang telah diperbaiki. Perbedaan dengan glm4moe.jinja:

Tutup setiap giliran asisten di dalam blok generasi dengan penanda peran yang membuka giliran berikutnya (<|observation|> setelah pemanggilan alat, selain itu <|user|> atau <|system|>). Templat asli GLM tidak memiliki token akhir giliran: sebuah giliran diakhiri oleh penanda peran pesan berikutnya, dan GLM mendeklarasikan <|user|> dan <|observation|> sebagai token akhir-sekuens, sehingga tempel pelatihan menambahkan penanda tersebut ke giliran asisten untuk menjaga token stop tetap berada di dalam masker loss, dan pesan berikutnya tidak lagi merender penandanya sendiri.

Bungkus output pesan asisten (termasuk blok berpikir dan panggilan alat) dengan penanda {% generation %} / {% endgeneration %} untuk loss khusus asisten SFT. Dengan enable_thinking=False, blok berpikir tetap berada di luar penanda, karena prompt generasi sudah diakhiri dengan \n<think></think> yang kosong.

qwen3_training.jinja

Template Qwen3 yang telah diperbaiki. Perbedaan dengan qwen3.jinja:

Selalu sertakan blok berpikir terlepas dari posisi pesan. Versi asli mengabaikannya secara kondisional berdasarkan loop.last, yang mengubah perenderan asisten ketika pesan alat ditambahkan, sehingga merusak pelestarian prefiks:

- {%- if loop.index0 > ns.last_query_index %}
-     {%- if loop.last or (not loop.last and reasoning_content) %}
-         {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}
-     {%- else %}
-         {{- '<|im_start|>' + message.role + '\n' + content }}
-     {%- endif %}
- {%- else %}
-     {{- '<|im_start|>' + message.role + '\n' + content }}
- {%- endif %}
+ {{- '<|im_start|>' + message.role + '\n<think>\n' + reasoning_content.strip('\n') + '\n</think>\n\n' + content.lstrip('\n') }}

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten pada SFT. Bagian dari blok berpikir yang di-pre-fill oleh prompt generasi (<think>\n\n</think>\n\n dengan enable_thinking=False) tetap berada di luar penanda, karena prompt sudah diakhiri dengan bagian tersebut. Template pelatihan Qwen3 lainnya melakukan hal yang sama dengan apa yang di-pre-fill oleh prompt generasi mereka sendiri, seperti <think>\n.

qwen3_v2_training.jinja

Template Qwen3 asli yang telah diperbaiki (diberikan oleh checkpoint Qwen3 sebelum Mei 2025, dan masih oleh checkpoint Qwen3 base). Diff yang sama dengan qwen3_training.jinja, diterapkan pada qwen3_v2.jinja.

qwen3_vl_training.jinja

Template Qwen3-VL yang telah diperbaiki. Perbedaan dengan qwen3_vl.jinja:

Bungkus output pesan asisten (baik content maupun tool_calls) dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten.

gptoss_training.jinja

Template GPT-OSS yang telah diperbaiki. Perbedaan dengan gptoss.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten pada SFT. <|start|>assistant yang membuka giliran tetap berada di luar penanda, karena prompt generasi sudah diakhiri dengannya.

idefics3_training.jinja

Template Idefics3 yang telah diperbaiki. Perbedaan dengan idefics3.jinja:

Pisahkan pesan asisten ke cabang tersendiri agar penanda {% generation %} / {% endgeneration %} membungkus konten asisten. Hal ini memungkinkan return_assistant_tokens_mask=True untuk menghasilkan mask yang benar untuk loss khusus asisten pada SFT.

lfm2_training.jinja

Template LFM2 yang telah diperbaiki. Perbedaan dengan lfm2.jinja:

Pisahkan baris output pesan terpadu menjadi cabang khusus peran, sehingga isyarat prompt <|im_start|>assistant\n berada di luar blok generasi (tidak dihasilkan oleh model), sementara konten asisten dan <|im_end|>\n (yang harus dipelajari model untuk dihasilkan dan dihentikan di sana) berada di dalam. Bungkus konten asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

lfm2_v2_training.jinja

Template LFM2 yang telah diperbaiki, revisi kemudian. Diff terhadap lfm2_v2.jinja:

Bungkus output asisten dengan {% generation %} / {% endgeneration %}, di kedua cabang yang merender tool_calls dan cabang konten polos, sehingga return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten. Petunjuk prompt <|im_start|>assistant\n tetap berada di luar blok generation, sementara konten, panggilan tool, dan <|im_end|>\n berada di dalamnya.

llama3_training.jinja

Template Llama 3 yang telah diperbaiki. Perbedaan dengan llama3.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

llava_next_training.jinja

Template Llava-Next yang telah diperbaiki. Perbedaan dengan llava_next.jinja:

  • Membungkus output pesan asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss khusus asisten SFT.
  • Menjaga ruang yang mengikuti </s> di luar blok generasi. Tokenizer menggabungkannya ke dalam token pertama giliran berikutnya (▁[), yang jika tidak akan dimasker sebagai output asisten dan menyembunyikan token stop </s> dari akhir span yang dimasker.

mistral_large_4_training.jinja

Template Mistral Large 4 yang telah diperbaiki. Perbedaan dengan mistral_large_4.jinja: perubahan yang sama dengan mistral_medium_3_5_training.jinja, yaitu membungkus giliran asisten (konten, panggilan alat, dan token akhir giliran) dengan {% generation %} / {% endgeneration %} sehingga return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten.

mistral_medium_3_5_training.jinja

Template Mistral Medium 3.5 yang telah diperbaiki. Perbedaan dengan mistral_medium_3_5.jinja: template asli sudah bersifat prefix-preserving, sehingga satu-satunya perubahan adalah membungkus giliran asisten (konten, pemanggilan tool, dan token akhir giliran) dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten.

muse_glimmer_training.jinja

Template Muse Glimmer yang telah diperbaiki. Perbedaan dengan muse_glimmer.jinja: bungkus seluruh cabang asisten — setiap kanal ATEM dari giliran — dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten pada SFT. <|start|>assistant yang membuka giliran tetap berada di luar penanda, karena prompt generasi sudah diakhiri dengannya.

muse_spark_training.jinja

Template Muse Spark Open yang telah diperbaiki. Perbedaan dengan muse_spark.jinja: penanda {% generation %} pada template asli juga mencakup <|start|>assistant yang membuka giliran, padahal prompt generasi sudah diakhiri dengan penanda tersebut. Template pelatihan mengeluarkannya sebelum penanda, sehingga return_assistant_tokens_mask=True tidak melatihnya. Teks yang dirender tidak berubah.

nemotron_3_nano_training.jinja

Template Nemotron Nano yang telah diperbaiki. Perbedaan dengan nemotron_3_nano.jinja: template asli sudah bersifat prefix-preserving, sehingga perubahannya adalah membungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss asisten-only pada SFT. Bagian dari blok thinking yang di-pre-fill oleh prompt generation (<think>\n, atau <think></think> dengan enable_thinking=False) tetap berada di luar marker, karena prompt sudah diakhiri dengan bagian tersebut.

nemotron_3_super_training.jinja

Template Nemotron Super yang telah diperbaiki. Perbedaan dengan nemotron_3_super.jinja: sama seperti nemotron_3_nano_training.jinja — template asli sudah mempertahankan prefix, sehingga perubahannya adalah membungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss SFT khusus asisten. Bagian dari blok berpikir yang di-prefill oleh prompt generasi (<think>\n, atau <think></think> dengan enable_thinking=False) tetap berada di luar penanda, karena prompt sudah diakhiri dengan bagian tersebut.

nemotron_3_ultra_training.jinja

Template Nemotron Ultra yang telah diperbaiki. Perbedaan dengan nemotron_3_ultra.jinja: sama seperti nemotron_3_nano_training.jinja — template asli sudah mempertahankan prefix, sehingga perubahannya adalah membungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten pada SFT. Bagian dari blok berpikir yang sudah diisi sebelumnya oleh prompt generasi (<think>\n, atau <think></think> dengan enable_thinking=False) tetap berada di luar penanda, karena prompt sudah diakhiri dengan bagian tersebut.

nemotron_3_5_lightning_training.jinja

Template Nemotron 3.5 Lightning yang telah diperbaiki. Perbedaan dengan nemotron_3_5_lightning.jinja: sama seperti nemotron_3_nano_training.jinja — template asli sudah bersifat prefix-preserving, sehingga perubahannya adalah membungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss asisten-only pada SFT. Bagian dari blok thinking yang di-pre-fill oleh prompt generation (<think>\n, atau <think></think> dengan enable_thinking=False) tetap berada di luar marker, karena prompt sudah diakhiri dengan bagian tersebut.

phi3_training.jinja

Template Phi-3 yang telah diperbaiki. Perbedaan dengan phi3.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

phi3_5_training.jinja

Template Phi-3.5 yang telah diperbaiki. Perbedaan dengan phi3_5.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

qwen2_5_training.jinja

Template Qwen2.5 yang telah diperbaiki. Perbedaan dengan qwen2_5.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

qwen2_5_base_training.jinja

Template dasar Qwen2.5 yang telah diperbaiki (digunakan oleh checkpoint dasar, seperti Qwen2.5-0.5B, yang templatnya hanya berbeda dari templat instruct pada prompt sistem defaultnya). Diff yang sama dengan qwen2_5_training.jinja, diterapkan pada qwen2_5_base.jinja.

qwen2_5_vl_training.jinja

Template Qwen2.5-VL yang telah diperbaiki (juga digunakan untuk Qwen2-VL, yang menyediakan template yang identik secara byte). Perbedaan dengan qwen2_5_vl.jinja:

Pisahkan pesan asisten ke cabang tersendiri agar penanda {% generation %} / {% endgeneration %} membungkus konten asisten. Hal ini memungkinkan return_assistant_tokens_mask=True untuk menghasilkan mask yang benar untuk loss khusus asisten pada SFT.

qwen3_instruct_2507_training.jinja

Template Qwen3-Instruct-2507 yang telah diperbaiki (digunakan oleh model seperti Qwen3-4B-Instruct-2507, yang menyediakan varian Qwen3 yang lebih sederhana tanpa parsing reasoning_content / <think>, pelacakan multi_step_tool, atau flag enable_thinking). Perbedaan dengan qwen3_instruct_2507.jinja:

Bungkus output pesan asisten dengan {% generation %} / {% endgeneration %} agar return_assistant_tokens_mask=True menghasilkan mask yang benar untuk loss khusus asisten SFT.

qwen3_thinking_2507_training.jinja

Template Qwen3-Thinking-2507 yang telah diperbaiki (digunakan oleh model seperti Qwen3-4B-Thinking-2507, yang mengisi <think>\n di prompt generasi). Perbedaan dengan qwen3_thinking_2507.jinja: set perubahan yang sama dengan qwen3_training.jinja, yang menghilangkan kondisional loop.index0 > ns.last_query_index sehingga blok thinking selalu dikeluarkan (preservasi prefiks) dan membungkus output asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss asisten-only SFT.

qwen3_5_think_training.jinja / qwen3_5_nothink_training.jinja

Template Qwen3.5 yang telah diperbaiki dengan logika bersama di kedua varian (hanya berbeda pada nilai default dari flag enable_thinking):

  • qwen3_5_think_training.jinja secara default mengaktifkan mode berpikir, digunakan oleh Qwen3.5-4B dan model yang lebih besar.
  • qwen3_5_nothink_training.jinja secara default menonaktifkan thinking, digunakan oleh Qwen3.5-2B dan model yang lebih kecil.

Diff vs qwen3_5_think.jinja / qwen3_5_nothink.jinja: sama seperti qwen3_training.jinja (buang kondisional loop.index0 > ns.last_query_index agar blok thinking selalu dicetak, bungkus output asisten dengan {% generation %} / {% endgeneration %}).

qwen3_6_training.jinja

Template Qwen3.6 yang telah diperbaiki. Perbedaan dengan qwen3_6.jinja: sama seperti qwen3_training.jinja (buang kondisional loop.index0 > ns.last_query_index agar blok thinking selalu dikeluarkan, bungkus output asisten dengan {% generation %} / {% endgeneration %}).

qwen3_8_training.jinja

Template Qwen3.8 yang telah diperbaiki. Perbedaan dengan qwen3_8.jinja: hapus kondisional preserve_thinking / loop.index0 > ns.last_query_index sehingga blok thinking selalu dicetak — preservasi prefix tetap berlaku bahkan ketika pemanggil meneruskan preserve_thinking=False — dan bungkus output asisten dengan penanda {% generation %} / {% endgeneration %} untuk loss asisten-only pada SFT, dengan bagian dari blok thinking yang di-pre-fill oleh prompt generation dibiarkan di luar penanda tersebut.

smolvlm_training.jinja

Template SmolVLM yang telah diperbaiki (juga digunakan untuk SmolVLM2, yang menyediakan template yang identik secara byte). Perbedaan dengan smolvlm.jinja:

Pisahkan pesan asisten ke cabang tersendiri agar penanda {% generation %} / {% endgeneration %} membungkus konten asisten. Hal ini memungkinkan return_assistant_tokens_mask=True untuk menghasilkan mask yang benar untuk loss khusus asisten pada SFT.

Utilitas terkait

Lihat Utilitas Template Chat untuk fungsi bantu (clone_chat_template(), is_chat_template_prefix_preserving, get_training_chat_template()) yang beroperasi pada template ini.

Update on GitHub