Hugging Face's logo

Transformers documentation

Byte Latent Transformer (BLT)

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была опубликована в HF papers 13.12.2024 и добавлена в Hugging Face Transformers 19.09.2025.

FlashAttention SDPA

Byte Latent Transformer (BLT)

Обзор

Модель BLT была предложена в статье Byte Latent Transformer: Patches Scale Better Than Tokens авторами Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li1, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman†, Srinivasan Iyer. BLT — это байтовый LLM, который достигает производительности на уровне токенизации за счёт динамического патчинга на основе энтропии.

Аннотация из статьи следующая:

Мы представляем Byte Latent Transformer (BLT) — новую байтовую архитектуру LLM, которая впервые достигает производительности LLM, основанных на токенизации, при масштабном обучении, обеспечивая при этом значительное повышение эффективности и устойчивости инференса. BLT кодирует байты в динамически изменяемые патчи, которые служат основными единицами вычислений. Патчи сегментируются на основе энтропии следующего байта, что позволяет распределять больше вычислительных ресурсов и ёмкости модели там, где повышенная сложность данных этого требует. Мы проводим первое исследование масштабирования байтовых моделей с контролем числа операций с плавающей точкой (FLOPs) до 8 млрд параметров и 4 трлн байтов обучающих данных. Наши результаты демонстрируют возможность масштабирования моделей, обученных на «сырых» байтах без фиксированного словаря. Эффективность как обучения, так и инференса повышается за счёт динамического выбора длинных патчей, когда данные предсказуемы, а также за счёт качественного улучшения рассуждений и обобщения на «длинный хвост». В целом, при фиксированных затратах на инференс BLT демонстрирует значительно лучшее масштабирование, чем модели, основанные на токенизации, за счёт одновременного увеличения размера патчей и модели.

Советы по использованию

  • Архитектура с двумя моделями: BLT состоит из двух отдельных обученных моделей:

    • Patcher (модель энтропии): небольшая трансформерная модель, которая предсказывает байтовую энтропию для определения границ патчей и сегментации входных данных.
    • Основная модель Transformer: основная модель, которая обрабатывает патчи через локальный энкодер, глобальный Transformer и локальный декодер.

  • Динамическая подмена патчей: модель использует динамическую подмену патчей на основе энтропии, при которой:

    • Области с высокой энтропией (сложные данные) получают более короткие патчи с большим вычислительным вниманием
    • Области с низкой энтропией (предсказуемые данные) получают более длинные патчи для повышения эффективности
    • Это позволяет модели распределять вычислительные ресурсы там, где они наиболее необходимы

  • Локальный энкодер: обрабатывает последовательности байтов с использованием кросс-внимания к патч-эмбеддингам

  • Global Transformer: обрабатывает представления на уровне патчей с полным вниманием между патчами

  • Локальный декодер: генерирует вывод с использованием кросс-внимания к исходной последовательности байтов

  • Токенизатор байтового уровня: в отличие от традиционных токенизаторов, использующих обученные словари, токенизатор BLT просто преобразует текст в байты UTF-8 и сопоставляет каждый байт с идентификатором токена. Словарь не требуется.

Модель можно загрузить с помощью:

<hfoption id="AutoModel"> 
from transformers import AutoModelForCausalLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")
model = AutoModelForCausalLM.from_pretrained(
    "itazap/blt-1b-hf",
    device_map="auto",
)

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

prompt = "my name is"
generated_ids = model.generate(
    **inputs, max_new_tokens=NUM_TOKENS_TO_GENERATE, do_sample=False, use_cache=False
)

print(tokenizer.decode(generated_ids[0]))
</hfoption>

Эта модель была предоставлена пользователем itazap. Исходный код можно найти здесь.

BltConfig

класс transformers.BltConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 260max_position_embeddings: int = 4096patch_in_forward: bool | None = Truepatch_size: int | None = 4patching_mode: str | None = 'entropy'patching_threshold: float | None = 1.335442066192627patching_batch_size: int | None = 1max_patch_length: int | None = Nonelocal_attention_window_len: int | None = 512cross_attn_k: int | None = 2encoder_hash_byte_group_size: list[int] | None = Noneencoder_hash_byte_group_vocab: int | None = 500002encoder_hash_byte_group_nb_functions: int | None = 1patcher_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneencoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonedecoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneglobal_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetie_word_embeddings: bool = Falseuse_cache: bool = Truepad_token_id: int | None = Nonebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = Noneinitializer_range: float = 0.02rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None )

Параметры

  • vocab_size (int, необязательный, по умолчанию 260) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
  • max_position_embeddings (int, необязательный, по умолчанию 4096) — Максимальная длина последовательности, с которой может использоваться эта модель.
  • patch_in_forward (bool, необязательный, по умолчанию True) — Указывает, следует ли выполнять патчинг во время прямого прохода.
  • patch_size (int, необязательный, по умолчанию 4) — Размер патчей, используемых в механизме патчинга.
  • patching_mode (str, необязательный, по умолчанию "entropy") — Режим, используемый для патчинга, например, патчинг на основе энтропии.
  • patching_threshold (float, необязательный, по умолчанию 1.34) — Пороговое значение, используемое для определения момента применения патчей.
  • patching_batch_size (int, необязательный, по умолчанию 1) — Размер батча, используемый в процессе патчинга.
  • max_patch_length (int, необязательный) — Максимальная длина патчей, которые могут быть сгенерированы.
  • local_attention_window_len (int, необязательный, по умолчанию 512) — Размер локального окна внимания, используемого локальным энкодером и локальным декодером, совпадающий с local_attention_window_len в опубликованных контрольных точках. Установите None, чтобы учитывать полный каузальный контекст.
  • cross_attn_k (int, необязательный, по умолчанию 2) — Количество голов кросс-внимания, используемых в модели.
  • encoder_hash_byte_group_size (list, необязательный) — Список размеров групп байтов, используемых в хеш-функции кодировщика.
  • encoder_hash_byte_group_vocab (int, необязательный, по умолчанию 500002) — Размер словаря для групп байтов хэширования энкодера.
  • encoder_hash_byte_group_nb_functions (int, необязательный, по умолчанию 1) — Количество хеш-функций, используемых при группировке байтов в кодировщике.
  • patcher_config (BltPatcherConfig, необязательный) — Конфигурация компонента patcher модели.
  • encoder_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации базовой модели-энкодера.
  • decoder_config (Union[dict, ~configuration_utils.PreTrainedConfig], необязательный) — Объект конфигурации или словарь конфигурации декодера.
  • global_config (BltGlobalTransformerConfig, необязательный) — Конфигурация глобального компонента трансформера модели.
  • tie_word_embeddings (bool, необязательный, по умолчанию False) — Определяет, следует ли связывать веса эмбеддингов согласно маппингу tied_weights_keys модели.
  • use_cache (bool, необязательный, по умолчанию True) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только если config.is_decoder=True или если модель является генеративной моделью только с декодером.
  • pad_token_id (int, необязательный) — Идентификатор токена, используемого для выравнивания в словаре.
  • bos_token_id (int, необязательный) — Идентификатор токена, используемого для обозначения начала потока в словаре.
  • eos_token_id (Union[int, list[int]], необязательный) — Идентификатор токена, используемого для обозначения конца потока в словаре.
  • initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], необязательный) — Словарь, содержащий параметры конфигурации для эмбеддингов RoPE. Словарь должен содержать значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.

Это класс конфигурации для хранения настроек модели BltModel. Он используется для создания модели Blt в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации itazap/blt-1b-hf

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Пример:

>>> from transformers import BltModel, BltConfig

>>> # Initializing a Blt configuration
>>> configuration = BltConfig()

>>> # Initializing a model from the configuration
>>> model = BltModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

класс transformers.BltModel

< >

( config: BltConfig )

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Nonepatch_lengths: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> )

BltForCausalLM

класс transformers.BltForCausalLM

< >

( config: BltConfig )

Параметры

  • config (BltConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().

Модель Blt Text с головой для моделирования языка.

Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)

Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonecross_attention_states: typing.Optional[torch.LongTensor] = Nonecross_attention_mask: typing.Optional[torch.LongTensor] = Nonefull_text_row_masked_out_mask: tuple[torch.Tensor, torch.Tensor] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → CausalLMOutputWithPast or tuple(torch.Tensor)

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

    Что такое идентификаторы позиций?

  • cross_attention_states (torch.Tensor, необязательный) — Вывод модели зрения, используемый для кросс-внимания. Этот тензор содержит обработанные признаки изображения, на которые будет обращать внимание языковая модель.
  • cross_attention_mask (torch.Tensor формы (batch_size, seq_length, max_num_images, max_num_tiles), необязательный) — Маска кросс-внимания для управления взаимодействием между текстовыми токенами и тайлами изображения. Этот 4D-тензор определяет, к каким тайлам изображения должен обращаться каждый текстовый токен.

    Для каждого текстового токена (в seq_length):

    • 1 указывает, что токен должен обращать внимание на соответствующий фрагмент изображения
    • 0 означает, что токен не должен обращать внимание на соответствующий фрагмент изображения
  • full_text_row_masked_out_mask (tuple[torch.Tensor, torch.Tensor], необязательный) — Кортеж из двух тензоров, используемых для маскирования строк в механизме кросс-внимания:
    • Первый тензор имеет форму (batch_size, 1, seq_length, 1) и содержит значения 0 или 1. Значение 0 означает, что вся строка, соответствующая данному текстовому токену, в матрице кросс-внимания должна быть замаскирована (все токены изображения игнорируются).
    • Второй тензор имеет ту же форму и используется внутренне для применения маскирования во время прямого прохода слоёв кросс-внимания. Эта маска выводится из cross_attention_mask и используется для обработки случаев, когда текстовый токен не должен обращать внимание ни на один визуальный токен.
  • past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.

    В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

    Модель будет выводить тот же формат кэша, который был передан на вход.

    Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
  • labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
  • use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
  • logits_to_keep (Union[int, torch.Tensor], необязательный, по умолчанию 0) — Если передано значение типа int, вычисляет logits для последних logits_to_keep токенов. Если указано 0, logits вычисляются для всех input_ids (особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа torch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).

Возвращает

CausalLMOutputWithPast или tuple(torch.Tensor)

Объект CausalLMOutputWithPast или кортеж из torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (BltConfig) и входных данных.

Метод BltForCausalLM forward переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • loss (torch.Tensor формы (1,), необязательный, возвращается, если задан labels) — Потери языковой модели (для предсказания следующего токена).

  • logits (torch.Tensor формы (batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).

  • past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

    Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход past_key_values) для ускорения последовательного декодирования.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

>>> from transformers import AutoTokenizer, BltForCausalLM

>>> model = BltForCausalLM.from_pretrained("itazap/blt-1b-hf")
>>> tokenizer = AutoTokenizer.from_pretrained("itazap/blt-1b-hf")

>>> prompt = "If I had to write a haiku, it would be:"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=40, do_sample=True, temperature=0.6)
>>> result = tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
>>> print(result)
If I had to write a haiku, it would be: "Snowflakes gently fall" - simple, yet peaceful.
I love the idea of snowflakes gently falling, each one
Update on GitHub

←BLOOM ByT5→