# أدوات البيانات

## is_conversational[[trl.is_conversational]]

#### trl.is_conversational[[trl.is_conversational]]

```python
trl.is_conversational(example: dict[str, typing.Any])
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/data_utils.py#L126)

**المعاملات:**

example (`dict[str, Any]`) : إدخال بيانات واحد من مجموعة البيانات. قد يحتوي المثال على مفاتيح مختلفة اعتمادًا على نوع مجموعة البيانات.

**يعيد:** `bool`

`True` إذا كانت البيانات بصيغة محادثة، وإلا `False`.

تحقق مما إذا كان المثال بصيغة محادثة.

أمثلة:

```python
>>> example = {"prompt": [{"role": "user", "content": "What color is the sky?"}]}
>>> is_conversational(example)
True

>>> example = {"prompt": "The sky is"}
>>> is_conversational(example)
False
```

## maybe_convert_to_chatml[[trl.maybe_convert_to_chatml]]

#### trl.maybe_convert_to_chatml[[trl.maybe_convert_to_chatml]]

```python
trl.maybe_convert_to_chatml(example: dict[str, list])
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/data_utils.py#L967)

**المعاملات:**

example (`dict[str, list]`) : إدخال بيانات واحد يحتوي على قائمة من الرسائل.

**يعيد:** `dict[str, list]`

مثال مُعاد تنسيقه إلى أسلوب ChatML.

تحويل مجموعة بيانات محادثة تحتوي على الحقول `from` و`value` إلى صيغة ChatML.

تعديل هذه الدالة لبيانات المحادثة لتتوافق مع تنسيق ChatML الخاص بـ OpenAI:
- يستبدل المفتاح `"from"` بـ `"role"` في قواميس الرسائل.
- يستبدل المفتاح `"value"` بـ `"content"` في قواميس الرسائل.
- يعيد تسمية `"conversations"` إلى `"messages"` من أجل الاتساق مع ChatML.

مثال:
```python
>>> from trl import maybe_convert_to_chatml

>>> example = {
...     "conversations": [
...         {"from": "user", "value": "What color is the sky?"},
...         {"from": "assistant", "value": "It is blue."},
...     ]
... }
>>> maybe_convert_to_chatml(example)
{'messages': [{'role': 'user', 'content': 'What color is the sky?'},
              {'role': 'assistant', 'content': 'It is blue.'}]}
```

## extract_prompt[[trl.extract_prompt]]

#### trl.extract_prompt[[trl.extract_prompt]]

```python
trl.extract_prompt(example: dict[str, collections.abc.Sequence])
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/data_utils.py#L548)

**المعاملات:**

example (`dict[str, list]`) : قاموس يمثل إدخال بيانات واحدًا في مجموعة بيانات التفضيلات. يجب أن يحتوي على المفاتيح `"chosen"` و`"rejected"`، حيث تكون كل قيمة إما محادثة أو قياسية (`str`).

**يعيد:** `dict[str, list]`

قاموس يحتوي على:
- `"prompt"`: أطول بادئة مشتركة بين الإكمالات "chosen" و"rejected".
- `"chosen"`: الجزء المتبقي من إكمال "chosen" بعد إزالة الاستدعاء.
- `"rejected"`: الجزء المتبقي من الإكمال "المرفوض"، مع إزالة الاستدعاء.

يستخرج الموجه المشترك من مثال بيانات التفضيل، حيث يكون الموجه ضمنياً في كل من الإكمال المختار والإكمال المرفوض.

تحديد الدالة أطول تسلسل مشترك (بادئة) لجولات المحادثة بين الإكمالات "المختارة" و"المرفوضة" واستخراجها كموجّه. ثم تُزيل هذا الموجّه من الإكمالات "المختارة" و"المرفوضة" على التوالي.

أمثلة:

```python
>>> example = {
...     "chosen": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is blue."},
...     ],
...     "rejected": [
...         {"role": "user", "content": "What color is the sky?"},
...         {"role": "assistant", "content": "It is green."},
...     ],
... }
>>> extract_prompt(example)
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}
```

أو، باستخدام طريقة `map` الخاصة بـ [Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset):

```python
>>> from trl import extract_prompt
>>> from datasets import Dataset

>>> dataset_dict = {
...     "chosen": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is blue."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sky."},
...         ],
...     ],
...     "rejected": [
...         [
...             {"role": "user", "content": "What color is the sky?"},
...             {"role": "assistant", "content": "It is green."},
...         ],
...         [
...             {"role": "user", "content": "Where is the sun?"},
...             {"role": "assistant", "content": "In the sea."},
...         ],
...     ],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = dataset.map(extract_prompt)
>>> dataset[0]
{'prompt': [{'role': 'user', 'content': 'What color is the sky?'}],
 'chosen': [{'role': 'assistant', 'content': 'It is blue.'}],
 'rejected': [{'role': 'assistant', 'content': 'It is green.'}]}
```

## unpair_preference_dataset[[trl.unpair_preference_dataset]]

#### trl.unpair_preference_dataset[[trl.unpair_preference_dataset]]

```python
trl.unpair_preference_dataset(dataset: typing.Union[~DatasetType, ~IterableDatasetType], **map_kwargs)
```

[المصدر](https://github.com/huggingface/trl/blob/v1.18.0/trl/data_utils.py#L445)

**المعاملات:**

dataset ([Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) أو [IterableDatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDatasetDict)) : مجموعة بيانات التفضيلات التي سيتم فصل أزواجها. يجب أن تحتوي المجموعة على الأعمدة `"chosen"` و`"rejected"` و`"prompt"` بشكل اختياري.

- ****map_kwargs** (`dict`، *اختياري*) : حُجج إضافية بالكلمات المفتاحية تُمرَّر إلى طريقة map في مجموعة البيانات عند إلغاء إقران التفضيلات.

**يعيد:**

[Dataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.Dataset) أو [DatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.DatasetDict) أو [IterableDataset](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDataset) أو [IterableDatasetDict](https://huggingface.co/docs/datasets/v5.2.0/en/package_reference/main_classes#datasets.IterableDatasetDict): مجموعة بيانات التفضيلات غير المزدوجة.

إلغاء إقران مجموعة بيانات التفضيلات.

تحتوي المخرجات على `"prompt"` و`"completion"` و`"label"` بالإضافة إلى أي أعمدة إضافية، حيث يتم تكرارها لكل صف مختار ومرفوض.

مثال:

```python
>>> from datasets import Dataset

>>> dataset_dict = {
...     "prompt": ["The sky is", "The sun is"],
...     "chosen": [" blue.", "in the sky."],
...     "rejected": [" green.", " in the sea."],
... }
>>> dataset = Dataset.from_dict(dataset_dict)
>>> dataset = unpair_preference_dataset(dataset)
>>> dataset
Dataset({
    features: ['prompt', 'completion', 'label'],
    num_rows: 4
})

>>> dataset[0]
{'prompt': 'The sky is', 'completion': ' blue.', 'label': True}
```

