نُشر هذا النموذج في أوراق HF في 2022-10-20 وسُهم به في Hugging Face Transformers في 2023-06-20.

FLAN-T5

نظرة عامة

تم إصدار FLAN-T5 في ورقة Scaling Instruction-Finetuned Language Models - وهو نسخة محسّنة من T5 تم ضبطها على مزيج من المهام.

يمكن استخدام أوزان FLAN-T5 مباشرةً دون الحاجة إلى ضبط النموذج:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']

يتضمّن FLAN-T5 نفس التحسينات الموجودة في إصدار T5 1.1 (انظر هنا للحصول على التفاصيل الكاملة لتحسينات النموذج.)

أصدرت Google المتغيرات التالية:

• google/flan-t5-small

• google/flan-t5-base

• google/flan-t5-large

• google/flan-t5-xl

• google/flan-t5-xxl.

يمكن العثور على نقاط التفتيش الأصلية هنا.

راجع صفحة توثيق T5 للاطلاع على جميع مراجع واجهة البرمجة (API) وأمثلة الأكواد ودفاتر الملاحظات. لمزيد من التفاصيل حول تدريب وتقييم FLAN-T5، راجع بطاقة النموذج.