Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-03-20에 Hugging Face Transformers에 기여되었습니다.

LLaVA-NeXT

LLaVA‑NeXT은 Llava에서 입력 이미지의 해상도를 4배 더 높은 픽셀로 높이고, 3가지 종횡비(최대 672x672, 336x1344, 1344x336)를 지원하여 시각적 세부 사항을 더 잘 파악하도록 개선되었습니다. 또한 OCR과 일반 상식 추론을 향상시키기 위해 더 많은 시나리오와 애플리케이션을 포괄하는 개선된 시각적 지시 튜닝 데이터셋으로 학습되었습니다.

모든 원본 LLaVA-NeXT 체크포인트는 LLaVA-NeXT 컬렉션에서 찾을 수 있습니다.

이 모델은 nielsr에 의해 기여되었습니다.

LLaVA‑NeXT 모델에 대한 추가 예제는 오른쪽 사이드바의 LLaVA‑NeXT 모델을 클릭하여 확인하세요. 이를 통해 Llava-NeXT를 다양한 멀티모달 작업에 적용하는 방법을 살펴볼 수 있습니다.

아래 예제는 Pipeline 또는 AutoModel 클래스를 사용하여 이미지 기반으로 텍스트를 생성하는 방법을 보여줍니다.

Pipeline

AutoModel

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 bitsandbytes를 사용하여 가중치만 int4로 양자화합니다.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

The input is a single word "Notes". 참고

서로 다른 체크포인트(Mistral, Vicuna 등)는 기반이 되는 LLM에 따라 특정 프롬프트 형식을 요구합니다. 올바른 형식을 보장하려면 항상 apply_chat_template()를 사용하세요. 자세한 내용은 Templates 가이드를 참조하세요.
더 정확한 결과를 얻으려면 배치 생성 시 padding_side="left"를 설정하세요.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT는 이미지에 대해 서로 다른 수의 패치를 사용하며, 처리 단계에서 패딩이 수행되는 경우를 제외하고는 모델링 코드 내에서 입력을 패딩합니다. 모델이 eval() 모드에 있는 경우 기본 설정은 left-padding이고, 그렇지 않은 경우 right-padding입니다.
v4.46 이후의 LLaVA 모델은 processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}}, processor.vision_feature_select_strategy = {{vision_feature_select_strategy}}를 추가하는 것에 대한 경고를 표시합니다. 모델 체크포인트를 소유하고 있다면 프로세서에 이러한 속성을 추가하는 것이 강력히 권장되며, 그렇지 않은 경우 PR을 열어 주세요.

이 속성을 추가하면 LLaVA는 이미지당 필요한 이미지 토큰 수를 추론하고, 동일한 수의 <image> 토큰 플레이스홀더로 텍스트를 확장하려고 합니다. 일반적으로 이미지당 약 500개의 토큰이 사용되므로, 임베딩 병합 시 실패를 방지하기 위해 텍스트가 잘리지 않도록 확인하세요. 해당 속성은 model.config.vision_config.patch_size 또는 model.config.vision_feature_select_strategy에서 찾을 수 있습니다.

시각 백본이 CLS 토큰을 추가하는 경우 num_additional_image_tokens은 1이어야 하고, 추가되는 것이 없는 경우 0이어야 합니다.
아래 예시는 여러 입력 이미지로 추론을 수행하는 방법을 보여줍니다.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

The input is a single word "Notes". 참고

LlavaNextConfig

클래스 transformers.LlavaNextConfig

LlavaNextImageProcessor

class transformers.LlavaNextImageProcessor

preprocess

LlavaNextImageProcessorPil

클래스 transformers.LlavaNextImageProcessorPil

preprocess

LlavaNextProcessor

클래스 transformers.LlavaNextProcessor

__call__

LlavaNextModel

클래스 transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

class transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call