Model ini dipublikasikan di HF papers pada 2022-05-10 dan disumbangkan ke Hugging Face Transformers pada 2023-06-20.

UL2

Ikhtisar

Model T5 diperkenalkan dalam Unifying Language Learning Paradigms oleh Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

Abstrak dari makalah tersebut adalah sebagai berikut:

Model terlatih sebelumnya umumnya dirancang untuk kelas masalah tertentu. Hingga saat ini, tampaknya belum ada konsensus mengenai arsitektur dan konfigurasi pra-pelatihan yang tepat. Kertas ini menyajikan kerangka kerja terpadu untuk pra-pelatihan model yang secara universal efektif di berbagai dataset dan konfigurasi. Kami memulai dengan memisahkan arketipe arsitektur dari tujuan pra-pelatihan — dua konsep yang sering kali dicampuradukkan. Selanjutnya, kami menyajikan perspektif yang digeneralisasi dan terpadu untuk supervisi mandiri dalam NLP, serta menunjukkan bagaimana tujuan pra-pelatihan yang berbeda dapat diubah satu sama lain dan bagaimana interpolasi antara tujuan yang berbeda dapat efektif. Kami kemudian mengusulkan Mixture-of-Denoisers (MoD), yaitu tujuan pra-pelatihan yang menggabungkan berbagai paradigma pra-pelatihan. Kami juga memperkenalkan konsep mode switching, di mana penyesuaian halus (fine-tuning) hilir dikaitkan dengan skema pra-pelatihan tertentu. Kami melakukan eksperimen ablatif yang luas untuk membandingkan beberapa tujuan pra-pelatihan dan menemukan bahwa metode kami mendorong batas Pareto dengan melampaui model T5 dan/atau model serupa GPT di berbagai konfigurasi yang beragam. Terakhir, dengan memperbesar model kami hingga 20B parameter, kami mencapai kinerja SOTA pada 50 tugas NLP berlabel yang mapan, mulai dari generasi bahasa (dengan evaluasi otomatis dan manusia), pemahaman bahasa, klasifikasi teks, penjawab pertanyaan, penalaran nalar umum, penalaran teks panjang, penjangkaran pengetahuan terstruktur, dan pengambilan informasi. Model kami juga mencapai hasil yang kuat dalam pembelajaran dalam konteks (in-context learning), melampaui GPT-3 175B pada SuperGLUE zero-shot dan melipatgandakan kinerja T5-XXL pada ringkasan one-shot.

Model ini disumbangkan oleh DanielHesslow. Kode aslinya dapat ditemukan di sini.

Tips penggunaan

• UL2 adalah model encoder-decoder yang dilatih sebelumnya pada campuran fungsi denoising serta disempurnakan pada serangkaian tugas downstream.
• UL2 memiliki arsitektur yang sama dengan T5v1.1 tetapi menggunakan fungsi aktivasi Gated-SiLU alih-alih Gated-GELU.
• Para penulis merilis checkpoint dari satu arsitektur yang dapat dilihat di sini

Karena UL2 memiliki arsitektur yang sama dengan T5v1.1, silakan merujuk ke halaman dokumentasi T5 untuk referensi API, tips, contoh kode, dan notebook.