Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Ce modèle a été contribué à Hugging Face Transformers le 2024-03-20.

LLaVA-NeXT

LLaVA‑NeXT améliore Llava en augmentant la résolution des images d'entrée de 4 fois plus de pixels et en prenant en charge 3 rapports d'aspect (jusqu'à 672x672, 336x1344, 1344x336) pour mieux saisir les détails visuels. Il est également entraîné sur un jeu de données amélioré de réglage d'instructions visuelles couvrant plus de scénarios et d'applications afin d'améliorer l'OCR et le raisonnement de bon sens.

Vous pouvez trouver tous les points de contrôle originaux de LLaVA‑NeXT dans la collection LLaVA-NeXT.

Ce modèle a été contribué par nielsr.

Cliquez sur les modèles LLaVA‑NeXT dans la barre latérale droite pour plus d’exemples sur la façon d’appliquer Llava-NeXT à différentes tâches multimodales.

L'exemple ci-dessous montre comment générer du texte à partir d'une image avec Pipeline ou la classe AutoModel.

Pipeline

AutoModel

La quantification réduit la charge mémoire des grands modèles en représentant les poids avec une précision inférieure. Reportez-vous à l'aperçu de la Quantization pour plus d'informations sur les backends de quantification disponibles.

L'exemple ci-dessous utilise bitsandbytes pour quantiser uniquement les poids en int4.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Notes

Différents points de contrôle (Mistral, Vicuna, etc.) nécessitent un format de prompt spécifique en fonction du LLM sous-jacent. Utilisez toujours apply_chat_template() pour garantir un formatage correct. Consultez le guide Templates pour plus de détails.
Définissez padding_side="left" lors de la génération par lots pour des résultats plus précis.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT utilise un nombre différent de patches pour les images et remplit les entrées dans le code de modélisation, sauf lorsque le remplissage est effectué lors du traitement. Le réglage par défaut est left-padding si le modèle est en mode eval(), sinon il s'agit de right-padding.
Les modèles LLaVA à partir de la v4.46 émettent des avertissements concernant l’ajout de processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}} et processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}. Il est vivement recommandé d’ajouter ces attributs au processeur si vous possédez le point de contrôle du modèle, ou d’ouvrir une PR si ce n’est pas le cas.

L’ajout de ces attributs permet à LLaVA de tenter de déduire le nombre de jetons d’image requis par image et d’étendre le texte avec le même nombre de jetons de remplacement <image>. Il y a généralement ~500 jetons par image, il est donc important de s’assurer que le texte n’est pas tronqué, car cela provoquerait un échec lors de la fusion des embeddings. Les attributs peuvent être trouvés dans model.config.vision_config.patch_size ou model.config.vision_feature_select_strategy.

num_additional_image_tokens doit être 1 si le backbone visuel ajoute un jeton CLS, ou 0 si rien d'autre n'est ajouté.
L'exemple ci-dessous illustre l'inférence avec plusieurs images d'entrée.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

Notes

LlavaNextConfig

classe transformers.LlavaNextConfig

LlavaNextImageProcessor

classe transformers.LlavaNextImageProcessor

prétraiter

LlavaNextImageProcessorPil

classe transformers.LlavaNextImageProcessorPil

prétraiter

LlavaNextProcessor

classe transformers.LlavaNextProcessor

__call__

LlavaNextModel

classe transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

classe transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call