参数

• text (str、list[str]、list[list[str]]、可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果以字符串列表（预分词）形式提供序列，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_pair (str、list[str]、list[list[str]]、可选) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果以字符串列表（预分词）形式提供序列，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_target (str、list[str]、list[list[str]]、可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果以字符串列表（预分词）的形式提供序列，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• text_pair_target (str、list[str]、list[list[str]]、可选) — 要编码为目标文本的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果序列以字符串列表（预分词）的形式提供，则必须设置 is_split_into_words=True（以消除与序列批次的歧义）。
• tokenizer_kwargs (dict[str, Any], 可选) — 传递给 tokenizer 的额外 kwargs。这些 kwargs 将与显式参数及其他 kwargs 合并，其中显式参数具有更高的优先级。
• add_special_tokens (bool，可选，默认为 True) — 在编码序列时是否添加特殊标记。此操作将使用底层的 PretrainedTokenizerBase.build_inputs_with_special_tokens 函数，该函数定义了哪些标记会自动添加到输入 ID 中。如果您希望自动添加 bos 或 eos 标记，此功能非常有用。
• padding (bool, str 或 PaddingStrategy, ，可选, ，默认为 False) — 启用并控制填充。接受以下值：
  • True 或 'longest'：填充至批次中最长的序列（如果仅提供单个序列，则不进行填充）。
  • 'max_length'：填充至由参数 max_length 指定的最大长度；若未提供该参数，则填充至模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认值）：不进行填充（即可以输出包含不同长度序列的批次）。
• truncation (bool, str 或 TruncationStrategy, ，可选, ，默认为 False) — 启用并控制截断。接受以下值：
  • True 或 'longest_first'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。这将逐个 token 进行截断，如果提供了一对序列（或一批序列对），则会从该对中最长的序列中移除一个 token。
  • 'only_first'：截断至由参数 max_length 指定的最大长度，或者在未提供该参数时，截断至模型可接受的最大输入长度。如果提供了一对序列（或一批序列对），则仅截断其中的第一个序列。
  • 'only_second'：截断至由参数 max_length 指定的最大长度，或者如果未提供该参数，则截断至模型可接受的最大输入长度。仅当提供了一对序列（或一批序列对）时，才会截断其中的第二个序列。
  • False 或 'do_not_truncate'（默认值）：不进行截断（即，可以输出序列长度大于模型最大可接受输入大小的批次）。
• max_length (int, 可选) — 控制截断/填充参数之一所使用的最大长度。如果未设置或设置为 None，则当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（如 XLNet），则禁用截断/填充到最大长度的功能。

  如果未设置或设置为 None，当截断/填充参数需要最大长度时，将使用预定义的最大模型长度。如果模型没有特定的最大输入长度（例如 XLNet），则禁用截断/填充至最大长度的功能。

• stride (int，可选，默认为 0) — 如果与 max_length 一起设置为某个数值，则当 return_overflowing_tokens=True 时，返回的溢出 token 将包含截断序列末尾的若干 token，以在截断序列和溢出序列之间提供一定的重叠。此参数的值定义了重叠 token 的数量。
• is_split_into_words (bool，可选，默认为 False) — 输入是否已经预先分词（例如，已拆分为单词）。如果设置为 True，分词器将假设输入已经拆分为单词（例如，通过按空白字符拆分），然后对其进行分词。这对于命名实体识别（NER）或 token 分类非常有用。
• pad_to_multiple_of (int, 可选) — 如果设置，则将序列填充为所提供值的倍数。需要启用 padding。 这对于在计算能力为 >= 7.5（Volta）的 NVIDIA 硬件上启用 Tensor Cores 的使用特别有用。
• padding_side (str, 可选) — 模型应应用填充的一侧。应在 [‘right’, ‘left’] 之间进行选择。 默认值取自同名的类属性。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• return_token_type_ids (bool, 可选) — 是否返回 token type ID。如果保持默认值，将根据特定分词器的默认设置返回 token type ID，该设置由 return_outputs 属性定义。

  什么是 token type ID？

• return_attention_mask (bool, 可选) — 是否返回注意力掩码。如果保持默认值，将根据特定分词器的默认设置返回注意力掩码，该设置由 return_outputs 属性定义。

  什么是注意力掩码？

• return_overflowing_tokens (bool，可选，默认为 False) — 是否返回溢出的 token 序列。如果提供了输入 id 的序列对（或序列对批次），且 truncation_strategy = longest_first 或 True，则会抛出错误，而不是返回溢出的 token。
• return_special_tokens_mask (bool，可选，默认为 False) — 是否返回特殊 token 掩码信息。
• return_offsets_mapping (bool, 可选, 默认为 False) — 是否返回 (char_start, char_end) 每个 token 的。

  此功能仅在继承自 PreTrainedTokenizerFast 的快速分词器上可用。如果使用 Python 分词器，此方法将抛出 NotImplementedError。

• return_length (bool，可选，默认为 False) — 是否返回编码后输入的长度。
• verbose (bool，可选，默认为 True) — 是否打印更多信息和警告。
• **kwargs — 传递给 self.tokenize() 方法

参数

• raw_audio (np.ndarray、list[float]、list[np.ndarray]、list[list[float]]) — 要处理的序列或序列批次。每个序列可以是 numpy 数组、浮点值列表、numpy 数组列表或浮点值列表的列表。对于单声道音频（feature_size = 1），numpy 数组的形状必须为 (num_samples,)；对于立体声音频（feature_size = 2），形状必须为 (2, num_samples)。
• padding (bool, str 或 PaddingStrategy, 可选, 默认为 True) — 选择一种策略，根据模型的填充侧和填充索引对返回的序列进行填充，可选策略如下：
  • True 或 'longest'：填充至批次中最长的序列（如果仅提供单个序列，则不进行填充）。
  • 'max_length'：填充至由参数 max_length 指定的最大长度；若未提供该参数，则填充至模型可接受的最大输入长度。
  • False 或 'do_not_pad'（默认值）：不进行填充（即可以输出包含不同长度序列的批次）。
• truncation（bool，可选，默认为 False）— 启用截断，将长度超过 max_length 的输入序列截断为 max_length。
• max_length (int，可选) — 返回列表的最大长度，以及可选的填充长度（见上文）。
• return_tensors (str 或 TensorType, 可选, ，默认为 'pt'）— 如果设置，将返回张量而不是 Python 整数列表。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 Numpy np.ndarray 对象。
• sampling_rate (int, 可选) — audio 输入被采样时的采样率。强烈建议在 forward 调用时传入 sampling_rate，以避免静默错误。

参数

• text (Union[str, list[str]]) — 要编码的序列或序列批次。每个序列可以是字符串或字符串列表（预分词字符串）。如果传入预分词输入，请设置 is_split_into_words=True 以避免与批量输入产生歧义。
• audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], 可选) — 要准备处理的音频或音频批次。每个音频可以是 NumPy 数组或 PyTorch 张量。 如果为 NumPy 数组/PyTorch 张量，每个音频的形状应为 (C, T)，其中 C 为通道数，T 为音频的采样长度。
• output_labels (bool，可选，默认为 False) — 是否返回用于训练的标签。当设置为 True 时，处理器会通过将解码器输入序列向右移动一个位置来生成标签。标签使用特殊值：-100 表示在损失计算中需要忽略的 token（填充和 BOS token），-101 表示仅用于骨干模型的音频帧（当 depth_decoder_labels_ratio < 1.0 时）。不能与 generation=True 同时使用。
• bos_token_id (int, kwargs, 可选，默认为 1026) — 用作音频码本序列起始标记的 token ID。在编码过程中，该 token 会被添加到每个音频序列的开头。
• eos_token_id (int，kwargs，可选，默认为 1024) — 用作音频码本序列结束标记的 token ID。在训练过程中（当 generation=False 时），该 token 会被追加到音频序列的末尾，以标记音频的结束。
• pad_token_id (int，kwargs，可选，默认值为 1025) — 用于填充音频码本序列的 token ID。该 token 用于填充延迟模式中不存在有效音频 token 的位置。
• delay_pattern (list[int]，kwargs，可选，默认为 [0, 8, 9, 10, 11, 12, 13, 14, 15]) — 每个码本通道的延迟值（以帧为单位）列表。延迟模式在不同码本通道之间创建时间偏移，使模型能够捕获跨通道的依赖关系。每个值表示该特定通道需要延迟的帧数。
• generation (bool，kwargs，可选，默认为 True) — 指示处理器是用于生成（文本转语音）还是训练。当为 True 时，处理器为生成模式准备输入，即从文本生成音频。当为 False 时，它为训练模式准备输入，此时同时提供文本和音频。
• return_tensors (str 或 TensorType, 可选) — 如果设置，将返回特定框架的张量。可接受的值为：
  • 'pt'：返回 PyTorch torch.Tensor 对象。
  • 'np'：返回 NumPy np.ndarray 对象。
• **kwargs (ProcessingKwargs，可选) — 每种模态（文本、图像、视频、音频）的额外处理选项。模型特定参数已在上方列出；有关支持参数的完整列表，请参阅 TypedDict 类。

参数

• decoder_input_ids (torch.Tensor) — 解码器的完整输出序列。
• audio_prompt_len (int) — 音频前缀长度（例如在使用语音克隆时）。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 [0, 1]：1 表示未屏蔽的标记，0 表示被屏蔽的标记。什么是注意力掩码？ [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• decoder_input_ids（形状为 `(batch_size * num_codebooks, target_sequence_length)` 的 torch.LongTensor —
• or (batch_size, target_sequence_length, num_codebooks） 可选) —

  1. (batch_size * num_codebooks, target_sequence_length)：对应于将音频输入码本展平到批次维度的通用使用场景。这也与用于计算损失的展平音频 logits 保持一致。

  2. (batch_size, sequence_length, num_codebooks)：对应 Dia 内部使用的形状，以便更高效地计算嵌入及后续步骤。

  如果未提供 decoder_input_ids，则会创建一个形状为 (batch_size, 1, num_codebooks) 的 bos_token_id 张量。可以使用 DiaProcessor 获取索引。有关更多详细信息，请参阅 DiaProcessor.call()。

  什么是解码器输入 ID？

• decoder_position_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length)) — 输入序列中每个 token 在位置嵌入中的位置索引。 用于计算位置嵌入，直至 config.decoder_config.max_position_embeddings.

  什么是位置 ID？

• decoder_attention_mask（形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选） — 用于避免对特定 token 索引执行注意力的掩码。默认情况下，会使用因果掩码，以确保模型只能查看之前的输入来预测未来。
• encoder_outputs (Union[~modeling_outputs.BaseModelOutput, tuple], 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size), 可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力机制。
• past_key_values (~cache_utils.EncoderDecoderCache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。

参数

• input_ids (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 输入序列中各 token 在词汇表中的索引。默认情况下，填充（padding）将被忽略。

  可以使用 AutoTokenizer 获取索引。有关详细信息，请参阅 PreTrainedTokenizer.encode() 和 PreTrainedTokenizer.call()。

  什么是输入 ID？

• attention_mask (torch.LongTensor 形状为 (batch_size, sequence_length), ，可选) — 用于避免对填充（padding）标记索引执行注意力机制的掩码。掩码值取自 [0, 1]：1 表示未屏蔽的标记，0 表示被屏蔽的标记。什么是注意力掩码？ [0, 1]:
  • 1 表示未被屏蔽的 token，
  • 对于被掩码的 token，值为 0。

  什么是注意力掩码？

• decoder_input_ids（形状为 `(batch_size * num_codebooks, target_sequence_length)` 的 torch.LongTensor —
• or (batch_size, target_sequence_length, num_codebooks） 可选) —

  1. (batch_size * num_codebooks, target_sequence_length)：对应于将音频输入码本展平到批次维度的通用使用场景。这也与用于计算损失的展平音频 logits 保持一致。

  2. (batch_size, sequence_length, num_codebooks)：对应 Dia 内部使用的形状，以便更高效地计算嵌入及后续步骤。

  如果未提供 decoder_input_ids，则会创建一个形状为 (batch_size, 1, num_codebooks) 的 bos_token_id 张量。可以使用 DiaProcessor 获取索引。有关更多详细信息，请参阅 DiaProcessor.call()。

  什么是解码器输入 ID？

• decoder_position_ids (torch.LongTensor 形状为 (batch_size, target_sequence_length)) — 输入序列中每个 token 在位置嵌入中的位置索引。 用于计算位置嵌入，直至 config.decoder_config.max_position_embeddings.

  什么是位置 ID？

• decoder_attention_mask（形状为 (batch_size, target_sequence_length) 的 torch.LongTensor，可选） — 用于避免对特定 token 索引执行注意力的掩码。默认情况下，会使用因果掩码，以确保模型只能查看之前的输入来预测未来。
• encoder_outputs (Union[~modeling_outputs.BaseModelOutput, tuple], 可选) — 元组由 (last_hidden_state, 可选: hidden_states, 可选: attentions) last_hidden_state 的形状为 (batch_size, sequence_length, hidden_size), 可选) 是编码器最后一层输出的隐藏状态序列。用于解码器的交叉注意力机制。
• past_key_values (~cache_utils.EncoderDecoderCache, 可选) — 预计算的隐藏状态（自注意力块和交叉注意力块中的键和值），可用于加速顺序解码。这通常由 past_key_values 在解码的先前阶段返回，当 use_cache=True 或 config.use_cache=True.

  仅允许将 Cache 实例作为输入，请参阅我们的 kv cache 指南。 如果未传入 past_key_values，则默认会初始化 DynamicCache。

  模型将输出与输入相同的缓存格式。

  如果使用了 past_key_values，用户应仅输入未处理的 input_ids（即未向该模型提供其过去键值状态的那些），其形状为 (batch_size, unprocessed_length)，而不是形状为 (batch_size, sequence_length) 的全部 input_ids。

• use_cache (bool，可选) — 如果设置为 True，则会返回 past_key_values 键值状态，可用于加速解码（参见 past_key_values）。
• labels（形状为 (batch_size * num_codebooks,) 的 torch.LongTensor，可选）— 用于计算掩码语言建模损失的标签。索引值应在 [0, ..., config.decoder_config.vocab_size - 1] 范围内，或为 -100。索引值设置为 -100 的 token 将被忽略（即被掩码）。