Transformers

Parâmetros

• do_convert_rgb (bool, kwargs, opcional, padrão True) — Se a imagem deve ser convertida para RGB.
• do_resize (bool, kwargs, opcional) — Se deve redimensionar a imagem.
• size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, padrão {'height' -- 448, 'width': 448}): Descreve as dimensões máximas de entrada para o modelo.
• default_to_square (bool, kwargs, opcional, padrão True) — Se deve usar uma imagem quadrada por padrão ao redimensionar, caso o tamanho seja um inteiro.
• crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Tamanho da imagem de saída após a aplicação de center_crop.
• resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, padrão 3) — Filtro de redimensionamento a ser usado ao redimensionar a imagem. Pode ser um dos valores da enumeração PILImageResampling. Tem efeito apenas se do_resize estiver definido como True.
• do_rescale (bool, kwargs, opcional, padrão True) — Se deve reescalar a imagem.
• rescale_factor (float, kwargs, opcional, padrão 0.00392156862745098) — Fator de reescala para reescalar a imagem, caso do_rescale esteja definido como True.
• do_normalize (bool, kwargs, opcional, padrão True) — Se a imagem deve ser normalizada.
• image_mean (Union[float, list[float], tuple[float, ...]], kwargs, opcional, padrão [0.5, 0.5, 0.5]) — Média da imagem a ser usada para normalização. Tem efeito apenas se do_normalize estiver definido como True.
• image_std (Union[float, list[float], tuple[float, ...]], kwargs, opcional, padrão [0.5, 0.5, 0.5]) — Desvio padrão da imagem a ser usado para normalização. Tem efeito apenas se do_normalize estiver definido como True.
• do_pad (bool, kwargs, opcional) — Indica se a imagem deve ser preenchida (padding). O preenchimento é feito até o maior tamanho do lote ou até um tamanho quadrado fixo por imagem. A estratégia exata de preenchimento depende do modelo.
• pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — O tamanho em {"height": int, "width" int} para o preenchimento das imagens. Deve ser maior que qualquer tamanho de imagem fornecido para o pré-processamento. Se pad_size não for fornecido, as imagens serão preenchidas até a maior altura e largura do lote. Aplicado apenas quando do_pad=True.
• do_center_crop (bool, kwargs, opcional) — Se deve recortar a imagem centralmente.
• data_format (Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — Apenas ChannelDimension.FIRST é suportado. Adicionado para compatibilidade com processadores lentos.
• input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, opcional) — O formato da dimensão de canal para a imagem de entrada. Se não definido, o formato da dimensão de canal é inferido a partir da imagem de entrada. Pode ser um dos seguintes:
  • "channels_first" ou ChannelDimension.FIRST: imagem no formato (num_channels, height, width).
  • "channels_last" ou ChannelDimension.LAST: imagem no formato (altura, largura, num_canais).
  • "none" ou ChannelDimension.NONE: imagem no formato (altura, largura).
• device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — O dispositivo em que os vídeos serão processados. Se não for definido, o dispositivo é inferido a partir dos vídeos de entrada.
• return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Retorna tensores empilhados se definido como 'pt'; caso contrário, retorna uma lista de tensores.
• disable_grouping (bool, kwargs, opcional) — Se deve desabilitar o agrupamento de imagens por tamanho para processá-las individualmente e não em lotes. Se for None, será definido como True se as imagens estiverem na CPU, e False caso contrário. Essa escolha é baseada em observações empíricas, conforme detalhado aqui: https://github.com/huggingface/transformers/pull/38157
• image_seq_length (int, kwargs, opcional) — O número de tokens de imagem a serem usados para cada imagem na entrada. Adicionado para compatibilidade reversa, mas isso deve ser definido como um atributo do processador em modelos futuros.
• patch_size (int, kwargs, opcional) — O tamanho do patch.
• dynamic_hd (int, kwargs, opcional) — O número máximo de recortes por imagem.

Parâmetros

• image_processor (Phi4MultimodalImageProcessor) — O processador de imagem é uma entrada obrigatória.
• audio_processor ({audio_processor_class}) — O processador de áudio é uma entrada obrigatória.
• tokenizer (tokenizer_class) — O tokenizer é uma entrada obrigatória.

Parâmetros

• hidden_size (int, opcional, padrão 1024) — Dimensão das representações ocultas.
• intermediate_size (int, opcional, padrão 1536) — Dimensão das representações do MLP.
• num_blocks (int, opcional, padrão 24) — Número de camadas ocultas no codificador do Transformer.
• num_attention_heads (int, opcional, padrão 16) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
• activation (str, opcional, padrão "swish") — A função de ativação não linear nos MLPs.
• chunk_size (int, opcional, padrão -1) — O tamanho do bloco para criar as máscaras.
• left_chunk (int, opcional, padrão 18) — O chunk à esquerda para criar as máscaras.
• dropout_rate (float, opcional, padrão 0.0) — A taxa de dropout.
• ext_pw_out_channel (int, opcional, padrão 1024) — Número de canais de saída nos módulos de convolução point-wise.
• depthwise_separable_out_channel (int, opcional, padrão 1024) — Número de canais de saída nos módulos de convolução depth-wise separável.
• depthwise_multiplier (int, opcional, padrão 1) — Multiplicador do tamanho de entrada para os módulos de convolução separável em profundidade.
• kernel_size (int, opcional, padrão 3) — Tamanho do kernel para os módulos de convolução separável em profundidade.
• conv_activation (str, opcional, padrão "swish") — A função de ativação não linear nos módulos de convolução.
• input_size (int, opcional, padrão 80) — Tamanho de entrada para o modelo de áudio.
• conv_glu_type (str, opcional, padrão "swish") — A função de ativação não linear nos módulos de convolução point-wise.
• time_reduction (int, opcional, padrão 8) — Redução temporal (fator de subsampling).
• bias_max_distance (int, opcional, padrão 1000) — Distância máxima para o módulo de viés de atenção relativo.
• bias_symmetric (bool, opcional, padrão False) — Se o viés de atenção relativo deve ser simétrico ou não.
• nemo_activation (str, opcional, padrão "relu") — A função de ativação não linear nos módulos de convolução do nemo.
• nemo_conv_channels (int, opcional, padrão 1024) — Número de canais nos módulos de convolução nemo.
• downsample_rate (int, opcional, padrão 1) — Taxa de redução de amostragem para o extrator de recursos de áudio.
• initializer_range (float, opcional, padrão 0.02) — O desvio padrão do truncated_normal_initializer para inicializar todas as matrizes de pesos.
• audio_token_id (int, opcional, padrão 200011) — O índice do token de áudio usado como marcador de posição para o áudio de entrada.
• feature_layer (int, opcional, padrão -2) — O índice da camada do codificador a partir da qual as características de áudio devem ser extraídas.

Parâmetros

• hidden_size (int, opcional, padrão 1152) — Dimensão das representações ocultas.
• intermediate_size (int, opcional, padrão 4304) — Dimensão das representações do MLP.
• num_hidden_layers (int, opcional, padrão 27) — Número de camadas ocultas no decodificador do Transformer.
• num_attention_heads (int, opcional, padrão 16) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
• num_channels (int, opcional, padrão 3) — O número de canais de entrada.
• image_size (Union[int, list[int], tuple[int, int]], opcional, padrão 448) — O tamanho (resolução) de cada imagem.
• patch_size (Union[int, list[int], tuple[int, int]], opcional, padrão 14) — O tamanho (resolução) de cada patch.
• hidden_act (str, opcional, padrão gelu_pytorch_tanh) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
• layer_norm_eps (float, opcional, padrão 1e-06) — O epsilon usado pelas camadas de normalização de camada.
• attention_dropout (Union[float, int], opcional, padrão 0.0) — A taxa de dropout para as probabilidades de atenção.
• crop_size (int, opcional, padrão 448) — Tamanho de recorte para as imagens de entrada.
• image_token_id (int, opcional, padrão 200010) — O índice do token de imagem usado como marcador para as imagens de entrada.
• feature_layer (int, opcional, padrão -2) — O índice da camada do codificador a partir da qual extrair os recursos da imagem.

Parâmetros

• vocab_size (int, opcional, padrão 200064) — Tamanho do vocabulário do modelo. Define o número de tokens diferentes que podem ser representados pelos input_ids.
• hidden_size (int, opcional, padrão 3072) — Dimensão das representações ocultas.
• intermediate_size (int, opcional, padrão 8192) — Dimensão das representações do MLP.
• num_hidden_layers (int, opcional, padrão 32) — Número de camadas ocultas no decodificador do Transformer.
• num_attention_heads (int, opcional, padrão 32) — Número de cabeças de atenção para cada camada de atenção no decodificador do Transformer.
• num_key_value_heads (int, opcional, padrão 8) — Este é o número de cabeças de key_value que devem ser usadas para implementar Grouped Query Attention. Se num_key_value_heads=num_attention_heads, o modelo usará Multi Head Attention (MHA); se num_key_value_heads=1, o modelo usará Multi Query Attention (MQA); caso contrário, será usado GQA. Ao converter um checkpoint multi-head para um checkpoint GQA, cada grupo de cabeças de chave e valor deve ser construído por meio do meanpooling de todas as cabeças originais dentro desse grupo. Para mais detalhes, consulte este artigo. Se não for especificado, o valor padrão será num_attention_heads.
• resid_pdrop (Union[float, int], opcional, padrão 0.0) — A probabilidade de dropout para todas as camadas totalmente conectadas nos embeddings, no encoder e no pooler.
• embd_pdrop (Union[float, int], opcional, padrão 0.0) — A taxa de dropout para os embeddings.
• attention_dropout (Union[float, int], opcional, padrão 0.0) — A taxa de dropout para as probabilidades de atenção.
• hidden_act (str, opcional, padrão silu) — A função de ativação não linear (função ou string) no decodificador. Por exemplo, "gelu", "relu", "silu", etc.
• max_position_embeddings (int, opcional, padrão 131072) — O comprimento máximo de sequência com o qual este modelo pode ser utilizado.
• original_max_position_embeddings (int, opcional, padrão 4096) — O comprimento máximo da sequência com o qual este modelo foi treinado. Isso é usado para determinar o tamanho dos embeddings RoPE originais ao usar long scaling.
• initializer_range (float, opcional, padrão 0.02) — O desvio padrão do truncated_normal_initializer para inicializar todas as matrizes de pesos.
• rms_norm_eps (float, opcional, padrão 1e-05) — O epsilon usado pelas camadas de normalização rms.
• use_cache (bool, opcional, padrão True) — Se o modelo deve ou não retornar as últimas chaves/valores de atenção (não usado por todos os modelos). Relevante apenas se config.is_decoder=True ou quando o modelo for um modelo generativo somente decodificador.
• tie_word_embeddings (bool, opcional, padrão False) — Se deve vincular as embeddings de pesos de acordo com o mapeamento tied_weights_keys do modelo.
• rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], opcional) — Dicionário contendo os parâmetros de configuração para os embeddings RoPE. O dicionário deve conter um valor para rope_theta e, opcionalmente, parâmetros usados para escalonamento, caso você queira usar RoPE com max_position_embeddings maiores.
• bos_token_id (int, opcional, padrão 199999) — ID do token usado para o início do fluxo no vocabulário.
• eos_token_id (Union[int, list[int]], opcional) — ID do token usado para o fim do fluxo no vocabulário.
• pad_token_id (int, opcional, padrão 199999) — ID do token usado para preenchimento no vocabulário.
• sliding_window (int, opcional) — Tamanho da janela de atenção deslizante. Se for None, nenhuma janela deslizante é aplicada.
• vision_config (Union[dict, ~configuration_utils.PreTrainedConfig], opcional) — O objeto de configuração ou dicionário do backbone de visão.
• audio_config (Union[dict, ~configuration_utils.PreTrainedConfig], opcional) — O objeto de configuração ou dicionário do backbone de áudio.

Parâmetros

• config (Phi4MultimodalConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.

Parâmetros

• config (Phi4MultimodalConfig) — Classe de configuração do modelo com todos os parâmetros do modelo. A inicialização com um arquivo de configuração não carrega os pesos associados ao modelo, apenas a configuração. Consulte o método from_pretrained() para carregar os pesos do modelo.