Transformers documentation
BARThez
Model ini dipublikasikan di HF papers pada 2020-10-23 dan disumbangkan ke Hugging Face Transformers pada 2020-11-27.
BARThez
BARThez adalah model BART yang dirancang untuk tugas bahasa Prancis. Berbeda dengan model BERT Prancis yang ada, BARThez mencakup encoder-decoder yang telah dilatih sebelumnya, sehingga memungkinkan model ini untuk menghasilkan teks. Model ini juga tersedia sebagai varian multibahasa, mBARThez, dengan melanjutkan pra-pelatihan BART multibahasa pada korpus bahasa Prancis.
Anda dapat menemukan semua checkpoint BARThez asli di bawah koleksi BARThez.
Model ini disumbangkan oleh moussakam. Lihat dokumentasi BART untuk contoh penggunaan lainnya.
Contoh di bawah ini menunjukkan cara memprediksi token <mask> dengan Pipeline, AutoModel, dan dari baris perintah.
from transformers import pipeline
pipeline = pipeline(
task="fill-mask",
model="moussaKam/barthez",
device=0
)
pipeline("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.")import torch
from transformers import AutoModelForMaskedLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained(
"moussaKam/barthez",
)
model = AutoModelForMaskedLM.from_pretrained(
"moussaKam/barthez",
device_map="auto",
)
inputs = tokenizer("Les plantes produisent <mask> grâce à un processus appelé photosynthèse.", return_tensors="pt").to(model.device)
with torch.no_grad():
outputs = model(**inputs)
predictions = outputs.logits
masked_index = torch.where(inputs['input_ids'] == tokenizer.mask_token_id)[1]
predicted_token_id = predictions[0, masked_index].argmax(dim=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print(f"The predicted token is: {predicted_token}")BarthezTokenizer
kelas transformers.BarthezTokenizer
< source >( vocab: str | dict | list | None = Nonebos_token = '<s>'eos_token = '</s>'sep_token = '</s>'cls_token = '<s>'unk_token = '<unk>'pad_token = '<pad>'mask_token = '<mask>'add_prefix_space = True**kwargs )
Parameter
- bos_token (
str, opsional, defaultnya"<s>") — Token awal urutan yang digunakan selama pretraining. Dapat digunakan sebagai token klasifikator urutan. Saat membangun urutan menggunakan token khusus, ini bukan token yang digunakan untuk awal urutan. Token yang digunakan adalah cls_token.Saat membangun sebuah sekuens menggunakan token khusus, token ini bukan token yang digunakan untuk awal sekuens. Token yang digunakan adalah
cls_token. - eos_token (
str, opsional, defaultnya"</s>") — Token akhir urutan.Saat membangun sebuah urutan menggunakan token khusus, token ini bukan yang digunakan untuk akhir urutan. Token yang digunakan adalah
sep_token. - sep_token (
str, opsional, default"</s>") — Token pemisah, yang digunakan saat membangun satu rangkaian dari beberapa rangkaian, misalnya dua rangkaian untuk klasifikasi rangkaian atau untuk teks dan pertanyaan untuk penjawaban pertanyaan. Token ini juga digunakan sebagai token terakhir dari rangkaian yang dibangun dengan token khusus. - cls_token (
str, opsional, default"<s>") — Token klasifikator yang digunakan saat melakukan klasifikasi sekuens (klasifikasi seluruh sekuens, bukan klasifikasi per-token). Token ini merupakan token pertama dari sekuens ketika dibangun dengan token khusus. - unk_token (
str, opsional, default"<unk>") — Token yang tidak diketahui. Token yang tidak ada dalam kosakata tidak dapat dikonversi menjadi ID dan akan diset sebagai token ini sebagai gantinya. - pad_token (
str, opsional, defaultnya"<pad>") — Token yang digunakan untuk padding, misalnya saat membatching urutan dengan panjang yang berbeda. - mask_token (
str, opsional, default"<mask>") — Token yang digunakan untuk memask nilai. Ini adalah token yang digunakan saat melatih model ini dengan pemodelan bahasa ter-mask. Ini adalah token yang akan diprediksi oleh model. - vocab_file (
str, opsional) — file SentencePiece (umumnya berekstensi .spm) yang mengandung kosakata yang diperlukan untuk menginstansiasi tokenizer. - vocab (
str,dictataulist, opsional) — Kamus kosakata kustom. Jika tidak disediakan, kosakata dimuat dari vocab_file. - add_prefix_space (
bool, opsional, defaultTrue) — Apakah akan menambahkan spasi awal ke input. Hal ini memungkinkan kata pembuka diperlakukan sama seperti kata lainnya.
Diadaptasi dari CamembertTokenizer dan BartTokenizer. Membangun tokenizer BARThez “fast”. Berbasis pada SentencePiece.
Tokenizer ini mewarisi dari PreTrainedTokenizerFast yang berisi sebagian besar metode utama. Pengguna sebaiknya merujuk ke superclass ini untuk informasi lebih lanjut mengenai metode-metode tersebut.