Эта модель была опубликована в HF papers 28 мая 2021 года и добавлена в Hugging Face Transformers 1 июня 2021 года.

ByT5

ByT5 — это версия модели T5 без токенизатора, предназначенная для работы непосредственно с сырыми байтами UTF-8. Это означает, что она может обрабатывать любой язык, более устойчива к шуму, например опечаткам, и проще в использовании, поскольку не требует конвейера предобработки.

Все исходные контрольные точки ByT5 можно найти в организации Google.

См. документацию T5 для дополнительных примеров применения ByT5 к различным языковым задачам.

Пример ниже демонстрирует, как генерировать текст с помощью Pipeline, AutoModel и из командной строки.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Квантование

Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре Квантование.

Приведённый ниже пример использует torchao для квантования только весов до int4.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

Примечания

• Рекомендуется использовать токенизатор для пакетного вывода и обучения.

• Приведённый ниже пример показывает, как использовать модель без токенизатора.

  Скопировано

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5 использует старшие значения байтов (258, 257 и т. д.) для маскирования вместо sentinel-токенов, таких как {extra_id_0}.

  Скопировано

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer