データファイルの設定

データセットリポジトリの構成方法に制約はありません。

ただし、Dataset Viewer で特定のデータファイルを表示させたい場合や、データセットを train/validation/test のスプリットに分離したい場合は、データセットを適切に構成する必要があります。 多くの場合、スプリット名に合わせてデータファイルに名前を付けるだけで済みます。例えば、train.csv や test.csv のようにします。

スプリットとサブセットとは何ですか？

機械学習のデータセットには通常、スプリットがあり、サブセットを持つこともあります。データセットは一般的に、モデルの学習や評価の異なる段階で使用されるスプリット（例: trainとtest）で構成されています。サブセット（設定とも呼ばれます）は、より大きなデータセットに含まれる部分データセットです。サブセットは、言語ごとに異なるサブセットが存在する可能性のある多言語音声データセットで特に一般的です。スプリットとサブセットについてさらに詳しく知りたい場合は、Splits and subsetsガイドをご覧ください！

自動スプリット検出

スプリットは、ファイル名とディレクトリ名に基づいて自動的に検出されます。例えば、以下はtrain、test、validationのスプリットを持つデータセットです:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

データファイルやディレクトリにスプリット名を付けてデータセットを構成する方法については、ファイル名とスプリットのドキュメントおよびサンプルデータセットのコレクションを参照してください。

手動での分割とサブセットの設定

YAML を使用して、データセットの Dataset Viewer に表示するデータファイルを選択できます。 どのファイルをどの split に割り当てるかを手動で指定したい場合に便利です。

データセットに複数のサブセットを定義することもでき、データセット構築のパラメータ（例: CSVファイルで使用する区切り文字）を渡すこともできます。

test分割を含む、“benchmark”と呼ばれるサブセットを定義する設定の例を以下に示します。

configs:
- config_name: benchmark
  data_files:
  - split: test
    path: benchmark.csv

詳細については、手動設定のドキュメントを参照してください。また、サンプルデータセットもご覧ください。

サポートされているファイル形式

サポートされている形式のリストと、データセットに関する推奨事項については、File formatsのドキュメントページを参照してください。データセットがCSVまたはTSVファイルを使用している場合は、example datasetsで詳細を確認できます。

Dataset Viewerのサイズ制限エラー（TooBigContentError）

Error code: TooBigContentError が表示される場合、データセットビューアが制限内でプレビューを読み取れなかったことを意味します。一般的なメッセージには、Parquet error: Scan size limit exceeded や The size of the content of the first rows exceeds the maximum supported size が含まれます。

実行できること:

• Parquetファイルの場合、Viewerが必要なデータのみを読み取れるように、より小さいrow groupを使用し、ページインデックス（write_page_index=True）を含めてください。
• 最初の行に非常に大きな値（非常に長い文字列、大きなJSONブロブ、base64ペイロード）を避けてください。可能な場合は、大きなペイロードを別のファイルに移動してください。
• 非常に大きなファイルを小さなシャードまたはスプリットに分割してから、再アップロードしてください。
• 問題が解決しない場合は、Dataset Viewer の設定を確認し、完全なエラーテキストを添えて、データセットのページでディスカッションを開始してください。

画像、音声、動画のデータセット

画像/音声/動画の分類データセットでは、ディレクトリを使用して画像/音声/動画のクラス名を指定することもできます。 また、画像/音声/動画ファイルにメタデータ（キャプション、バウンディングボックス、文字起こしなど）がある場合は、それらのファイルの隣にメタデータファイルを配置できます。

以下の2つのガイドをご参照ください：

• 画像データセットの作成方法（サンプルデータセット）
• オーディオデータセットの作成方法（データセットの例）
• 動画データセットの作成方法