Эта модель была опубликована в HF papers 25.06.2021 и добавлена в Hugging Face Transformers 13.03.2024.

Pyramid Vision Transformer V2 (PVTv2)

Обзор

Модель PVTv2 была предложена в статье PVT v2: Improved Baselines with Pyramid Vision Transformer авторами Wenhai Wang, Enze Xie, Xiang Li, Deng-Ping Fan, Kaitao Song, Ding Liang, Tong Lu, Ping Luo и Ling Shao. Являясь улучшенным вариантом PVT, она отказывается от позиционных эмбеддингов, полагаясь вместо этого на позиционную информацию, закодированную с помощью нулевого дополнения и перекрывающихся эмбеддингов патчей. Отсутствие зависимости от позиционных эмбеддингов упрощает архитектуру и позволяет выполнять инференс при любом разрешении без необходимости их интерполяции.

Структура энкодера PVTv2 была успешно внедрена для достижения передовых результатов в задачах семантической сегментации в Segformer, монокулярной оценки глубины в GLPN и паноптической сегментации в Panoptic Segformer.

PVTv2 относится к семейству моделей, называемых иерархическими трансформерами, которые вносят изменения в слои трансформера для генерации многомасштабных карт признаков. В отличие от столбчатой структуры Vision Transformer (ViT), которая теряет детализацию, многомасштабные карты признаков сохраняют эти детали и способствуют повышению качества работы в задачах плотного предсказания. В случае PVTv2 это достигается путём генерации токенов патчей изображения с помощью 2D-свёртки с перекрывающимися ядрами на каждом слое кодировщика.

Масштабируемые признаки иерархических трансформеров позволяют легко заменять ими традиционные базовые модели компьютерного зрения, такие как ResNet, в более крупных архитектурах. И Segformer, и Panoptic Segformer показали, что конфигурации с использованием PVTv2 в качестве базовой модели стабильно превосходят конфигурации с базовыми моделями ResNet сопоставимого размера.

Ещё одна мощная особенность PVTv2 — это снижение сложности в слоях само-внимания, называемое Spatial Reduction Attention (SRA), которое использует 2D-свёрточные слои для проекции скрытых состояний в меньшее разрешение перед применением к ним запросов, что улучшает $O(n^2)$ сложность само-внимания до $O(n^2/R)$, где $R$ является коэффициентом пространственного сокращения (sr_ratio, также известным как размер ядра и шаг в 2D-свёртке).

Метод SRA был предложен в PVT и является способом по умолчанию для снижения сложности внимания в PVTv2. Однако в PVTv2 также была добавлена возможность использования механизма само-внимания с линейной сложностью, зависящей от размера изображения, который авторы назвали «Linear SRA». Этот метод использует усредняющую пуллинг-операцию для приведения скрытых состояний к фиксированному размеру, не зависящему от их исходного разрешения (хотя по своей природе это приводит к большим потерям информации, чем обычный SRA). Эта опция может быть включена путём установки значения linear_attention в True в PVTv2Config.

Аннотация из статьи

Недавно трансформеры продемонстрировали впечатляющий прогресс в области компьютерного зрения. В данной работе мы предлагаем новые базовые модели, улучшив исходный Pyramid Vision Transformer (PVT v1) за счёт добавления трёх элементов: (1) слоя внимания с линейной сложностью, (2) перекрывающегося встраивания патчей и (3) свёрточной сети с прямой передачей. Благодаря этим модификациям PVT v2 снижает вычислительную сложность PVT v1 до линейной и обеспечивает значительное улучшение результатов на фундаментальных задачах компьютерного зрения, таких как классификация, обнаружение и сегментация. Примечательно, что предложенный PVT v2 демонстрирует сопоставимые или лучшие результаты по сравнению с недавними работами, такими как Swin Transformer. Мы надеемся, что эта работа содействует развитию передовых исследований трансформеров в области компьютерного зрения. Код доступен по адресу https://github.com/whai362/PVT.

Эта модель была предоставлена FoamoftheSea. Исходный код можно найти здесь.

Советы по использованию

• PVTv2 — это иерархическая трансформерная модель, демонстрирующая высокую производительность в задачах классификации изображений и ряде других задач. Она используется в качестве базовой архитектуры для семантической сегментации в Segformer, монокулярной оценки глубины в GLPN и паноптической сегментации в Panoptic Segformer, стабильно показывая результаты, превосходящие аналогичные конфигурации на базе ResNet.

• Иерархические трансформеры, такие как PVTv2, обеспечивают более высокую эффективность по данным и параметрам на изображенческих данных по сравнению с чистыми трансформерными архитектурами, поскольку в их энкодеры включены элементы проектирования свёрточных нейронных сетей (CNN). Это создаёт архитектуру, сочетающую преимущества обоих подходов: в сеть внедряются полезные индуктивные смещения CNN, такие как эквивариантность к сдвигу и локальность, при этом сохраняются преимущества динамического отклика на данные и моделирования глобальных связей, обеспечиваемые механизмом само-внимания transformers.

• PVTv2 использует перекрывающиеся эмбеддинги патчей для создания многомасштабных карт признаков, которые обогащаются информацией о расположении с помощью нулевой дополняемости и поглубинных свёрток.

• Для снижения сложности в слоях внимания PVTv2 выполняет пространственное сокращение скрытых состояний с помощью либо стридового 2D-свёртывания (SRA), либо усредняющего пулинга фиксированного размера (Linear SRA). Хотя Linear SRA по своей природе более разрушителен, он обеспечивает впечатляющие результаты при линейной сложности относительно размера изображения. Чтобы использовать Linear SRA в слоях само-внимания, установите linear_attention=True в PvtV2Config.

• PvtV2Model — это иерархический трансформер-энкодер (в литературе его также часто называют Mix Transformer или MiT). PvtV2ForImageClassification добавляет простой классификатор для выполнения задачи классификации изображений. PvtV2Backbone можно использовать с системой AutoBackbone в более крупных архитектурах, таких как Deformable DETR.

• Предобученные веса ImageNet для всех размеров моделей можно найти на хабе.

  Лучший способ начать работу с PVTv2 — загрузить предобученную контрольную точку нужного размера с помощью AutoModelForImageClassification:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForImageClassification


model = AutoModelForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0", device_map="auto")
image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Чтобы использовать PVTv2 в качестве базовой сети для более сложных архитектур, таких как DeformableDETR, можно воспользоваться AutoBackbone (эта модель потребует дообучения, так как вы заменяете базовую сеть в предобученной модели, и она инициализируется случайными весами):

import requests
import torch
from PIL import Image

from transformers import AutoConfig, AutoImageProcessor, AutoModelForObjectDetection


model = AutoModelForObjectDetection.from_config(
    config=AutoConfig.from_pretrained(
        "SenseTime/deformable-detr",
        backbone_config=AutoConfig.from_pretrained("OpenGVLab/pvt_v2_b5"),
    ),
)

image_processor = AutoImageProcessor.from_pretrained("SenseTime/deformable-detr")
url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)
processed = image_processor(image)
outputs = model(torch.tensor(processed["pixel_values"]))

Производительность PVTv2 на ImageNet-1K в зависимости от размера модели (B0-B5):

PvtV2Config

>>> from transformers import PvtV2Model, PvtV2Config

>>> # Initializing a pvt_v2_b0 style configuration
>>> configuration = PvtV2Config()

>>> # Initializing a model from the OpenGVLab/pvt_v2_b0 style configuration
>>> model = PvtV2Model(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PvtForImageClassification

>>> from transformers import AutoImageProcessor, PvtV2ForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("OpenGVLab/pvt_v2_b0")
>>> model = PvtV2ForImageClassification.from_pretrained("OpenGVLab/pvt_v2_b0")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...

PvtModel