# T5v1.1

## Tổng quan

T5v1.1 được phát hành trong kho [google-research/text-to-text-transfer-transformer](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511) bởi Colin Raffel và cộng sự. Đây là phiên bản cải tiến của mô hình T5 gốc. Mô hình này được đóng góp bởi [patrickvonplaten](https://huggingface.co/patrickvonplaten). Mã nguồn gốc có thể tìm thấy [tại đây](https://github.com/google-research/text-to-text-transfer-transformer/blob/main/released_checkpoints.md#t511).

## Mẹo sử dụng

Bạn có thể trực tiếp chèn trọng số của T5v1.1 vào một mô hình T5, như sau:

```python
from transformers import T5ForConditionalGeneration

model = T5ForConditionalGeneration.from_pretrained("google/t5-v1_1-base", device_map="auto")
```

Phiên bản T5 1.1 bao gồm các cải tiến sau so với mô hình T5 gốc:

- Hàm kích hoạt GEGLU trong lớp ẩn feed-forward, thay vì ReLU. Xem [bài báo này](https://huggingface.co/papers/2002.05202).

- Dropout đã được tắt trong quá trình pre-training (lợi ích về chất lượng). Dropout nên được bật lại trong quá trình fine-tuning.

- Được huấn luyện trước trên C4 mà không trộn lẫn các tác vụ hạ nguồn.

- Không có chia sẻ tham số giữa lớp nhúng và lớp phân loại.

- "xl" và "xxl" thay thế cho "3B" và "11B". Hình dạng của mô hình hơi khác - `d_model` lớn hơn và `num_heads` cùng `d_ff` nhỏ hơn.

Lưu ý: T5 Version 1.1 chỉ được huấn luyện trước trên [C4](https://huggingface.co/datasets/allenai/c4) mà không có bất kỳ huấn luyện có giám sát nào. Do đó, mô hình này phải được tinh chỉnh trước khi có thể sử dụng cho một tác vụ hạ nguồn, khác với mô hình T5 gốc. Vì t5v1.1 được huấn luyện trước theo phương pháp không giám sát, việc sử dụng tiền tố tác vụ khi tinh chỉnh cho một tác vụ đơn lẻ không mang lại lợi ích thực sự nào. Nếu bạn đang tinh chỉnh cho nhiều tác vụ, bạn nên sử dụng một tiền tố.

Google đã phát hành các biến thể sau:

- [google/t5-v1_1-small](https://huggingface.co/google/t5-v1_1-small)

- [google/t5-v1_1-base](https://huggingface.co/google/t5-v1_1-base)

- [google/t5-v1_1-large](https://huggingface.co/google/t5-v1_1-large)

- [google/t5-v1_1-xl](https://huggingface.co/google/t5-v1_1-xl)

- [google/t5-v1_1-xxl](https://huggingface.co/google/t5-v1_1-xxl).

Tham khảo [trang tài liệu của T5](t5) để xem đầy đủ tham chiếu API, mẹo, ví dụ mã và notebook.

