تمت مساهمة هذا النموذج في Hugging Face Transformers في 2025-12-17. سيتم الإعلان عن هذا النموذج لاحقًا

Pixio

Pixio هو نموذج أساسي للرؤية يستخدم ViT كمستخرج ميزات لمهام متعددة لاحقة مثل تقدير العمق، والتجزئة الدلالية، وإعادة بناء ثلاثية الأبعاد الأمامية، والروبوتات، وتصنيف الصور. وهو مبني على إطار التدريب المسبق Masked Autoencoder (MAE)، مع أربع تحديثات بسيطة لكنها حاسمة: 1) مُفكِّك أعمق، 2) حُبيبية إخفاء أكبر، 3) رموز فئات أكثر، و4) بيانات تدريب مُنتقاة على نطاق الويب.

يمكنك العثور على جميع نقاط التفتيش الأصلية الخاصة بـ Pixio ضمن مجموعة Pixio.

يُظهر المثال أدناه كيفية الحصول على تضمين صورة باستخدام فئة AutoModel.

import requests
from PIL import Image

from transformers import AutoImageProcessor, AutoModel


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

processor = AutoImageProcessor.from_pretrained("facebook/pixio-vith16")
model = AutoModel.from_pretrained("facebook/pixio-vith16", device_map="auto")

inputs = processor(images=image, return_tensors="pt").to(model.device)
outputs = model(**inputs)
features_norm = outputs.last_hidden_state # class tokens + patch tokens after last LayerNorm
features = outputs.hidden_states[-1] # class tokens + patch tokens before last LayerNorm

ملاحظات

• يُظهر المثال أدناه كيفية تقسيم المصفوفة الناتجة إلى:

  • مجموعة من التضمينات العالمية للصورة بأكملها، تُعرف عادةً برمز CLS، ومفيدة للتصنيف والاسترجاع. يمكنك إما أخذ المتوسط (وهو الخيار الموصى به) أو دمجها على طول بُعد القناة.
  • مجموعة من التضمينات المحلية، تضمين واحد لكل رقعة 16x16 من الصورة المدخلة، مفيدة للمهام الكثيفة، مثل تقدير العمق والتجزئة الدلالية.
  تم النسخ

  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  print(image.height, image.width)  # [480, 640]
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  patch_size = model.config.patch_size
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  print(inputs.pixel_values.shape)  # [1, 3, 256, 256]
  batch_size, rgb, img_height, img_width = inputs.pixel_values.shape
  num_patches_height, num_patches_width = img_height // patch_size, img_width // patch_size
  num_patches_flat = num_patches_height * num_patches_width
  
  outputs = model(**inputs)
  last_hidden_states = outputs.last_hidden_state
  print(last_hidden_states.shape)  # [1, 8 + 256, 1280]
  assert last_hidden_states.shape == (batch_size, model.config.n_cls_tokens + num_patches_flat, model.config.hidden_size)
  
  cls_tokens = last_hidden_states[:, :model.config.n_cls_tokens, :]
  patch_features = last_hidden_states[:, model.config.n_cls_tokens:, :].unflatten(1, (num_patches_height, num_patches_width))

• استخدم torch.compile لتسريع الاستدلال.

  تم النسخ

  import torch
  from transformers import AutoImageProcessor, AutoModel
  from PIL import Image
  import requests
  
  url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
  image = Image.open(requests.get(url, stream=True).raw)
  
  processor = AutoImageProcessor.from_pretrained('facebook/pixio-vith16')
  model = AutoModel.from_pretrained('facebook/pixio-vith16', device_map="auto")
  
  compiled_model = torch.compile(model)
  
  inputs = processor(images=image, return_tensors="pt").to(model.device)
  outputs = compiled_model(**inputs)
  last_hidden_states = outputs.last_hidden_state

PixioConfig

>>> from transformers import PixioConfig, PixioModel

>>> # Initializing a Pixio pixio-huge style configuration
>>> configuration = PixioConfig()

>>> # Initializing a model (with random weights) from the pixio-huge style configuration
>>> model = PixioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PixioModel

PixioBackbone

>>> from transformers import AutoImageProcessor, AutoBackbone
>>> import torch
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> processor = AutoImageProcessor.from_pretrained("facebook/pixio-huge")
>>> model = AutoBackbone.from_pretrained(
...     "facebook/pixio-huge", out_features=["stage7", "stage15", "stage23", "stage31"]
... )

>>> inputs = processor(image, return_tensors="pt")

>>> outputs = model(**inputs)
>>> feature_maps = outputs.feature_maps
>>> list(feature_maps[-1].shape)
[1, 1280, 16, 16]