Ce modèle a été publié dans HF papers le 2023-03-27 et a été ajouté à Hugging Face Transformers le 2023-05-12.

SwiftFormer

Aperçu

Le modèle SwiftFormer a été proposé dans SwiftFormer: Efficient Additive Attention for Transformer-based Real-time Mobile Vision Applications par Abdelrahman Shaker, Muhammad Maaz, Hanoona Rasheed, Salman Khan, Ming-Hsuan Yang, Fahad Shahbaz Khan.

L’article SwiftFormer présente un nouveau mécanisme d’attention additive efficace qui remplace efficacement les opérations de multiplication matricielle quadratique dans le calcul de l’auto-attention par des multiplications élément par élément linéaires. Une série de modèles nommés « SwiftFormer » est construite sur cette base, atteignant des performances de pointe en termes de précision et de vitesse d’inférence mobile. Même leur variante la plus petite atteint une précision top-1 de 78,5 % sur ImageNet1K avec une latence de seulement 0,8 ms sur iPhone 14, ce qui est plus précis et 2× plus rapide que MobileViT-v2.

L'abstract de l'article est le suivant :

L’auto-attention est devenue le choix par défaut pour capturer le contexte global dans diverses applications de vision par ordinateur. Toutefois, sa complexité computationnelle quadratique par rapport à la résolution de l’image limite son utilisation dans les applications en temps réel, en particulier pour le déploiement sur des appareils mobiles aux ressources limitées. Bien que des approches hybrides aient été proposées pour combiner les avantages des convolutions et de l’auto-attention afin d’obtenir un meilleur compromis vitesse-précision, les opérations coûteuses de multiplication de matrices dans l’auto-attention restent un goulot d’étranglement. Dans ce travail, nous introduisons un nouveau mécanisme d’attention additive efficace qui remplace efficacement les opérations de multiplication de matrices quadratiques par des multiplications élément par élément linéaires. Notre conception montre que l’interaction clé-valeur peut être remplacée par une couche linéaire sans sacrifier la précision. Contrairement aux méthodes de l’état de l’art antérieures, notre formulation efficace de l’auto-attention permet son utilisation à tous les stades du réseau. En utilisant notre attention additive efficace proposée, nous construisons une série de modèles appelés « SwiftFormer » qui atteint des performances de l’état de l’art en termes de précision et de vitesse d’inférence mobile. Notre variante petite atteint une précision top-1 de 78,5 % sur ImageNet-1K avec une latence de seulement 0,8 ms sur iPhone 14, ce qui est plus précis et 2 fois plus rapide que MobileViT-v2.

Ce modèle a été contribué par shehan97. Le code d'origine est disponible ici.

SwiftFormerConfig

>>> from transformers import SwiftFormerConfig, SwiftFormerModel

>>> # Initializing a SwiftFormer swiftformer-base-patch16-224 style configuration
>>> configuration = SwiftFormerConfig()

>>> # Initializing a model (with random weights) from the swiftformer-base-patch16-224 style configuration
>>> model = SwiftFormerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

SwiftFormerModel

SwiftFormerForImageClassification

>>> from transformers import AutoImageProcessor, SwiftFormerForImageClassification
>>> import torch
>>> from datasets import load_dataset

>>> dataset = load_dataset("huggingface/cats-image")
>>> image = dataset["test"]["image"][0]

>>> image_processor = AutoImageProcessor.from_pretrained("MBZUAI/swiftformer-xs")
>>> model = SwiftFormerForImageClassification.from_pretrained("MBZUAI/swiftformer-xs")

>>> inputs = image_processor(image, return_tensors="pt")

>>> with torch.no_grad():
...     logits = model(**inputs).logits

>>> # model predicts one of the 1000 ImageNet classes
>>> predicted_label = logits.argmax(-1).item()
>>> print(model.config.id2label[predicted_label])
...