Hugging Face's logo

Hub documentation

付録

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

付録

付録A: ユーザー調査

主要な質問に対する完全なテキスト応答

モデルカードとはどのように定義されますか？

インサイト: 回答者は、モデルカードとは何かについて、概ね同様の認識を持っていました。すなわち、トレーニング、ユースケース、バイアス/制約などの問題に焦点を当てたドキュメントであるという認識です。

  • モデルカードは、モデルの説明であり、どのようにトレーニングされたか、使用ケース、潜在的なバイアスや制約についても記載されています
  • モデルの主要な特徴を記述したドキュメント。読者/ユーザーが、手元にあるモデルの背景や学習方法、使用方法、技術的・倫理的な制約を理解できるようにするためのものです。
  • モデルを文書化するための生きた成果物として機能します。モデルカードには、特定のモデルの用途に関する高レベルの説明から、制限事項、バイアス、メトリクスなど、多くの情報が含まれます。主に、モデルが何を行うかを理解するために使用されます。
  • モデルカードは、モデルに対するGitHubのREADMEに相当します。モデルに関する必要な情報がすべて記載されています。作成しないと、誰もそのモデルを使用しません。
  • 私の理解では、モデルカードは特定のベンチマーク（地理、文化、性別など）を用いて、モデルの可用性と限界の両方を定義します。本質的には、モデルの「栄養成分表示ラベル」のようなもので、モデルがどのように作成されたかを示し、再利用性について他者に教育する役割を果たします。
  • Model cardsはモデルに関するメタデータとドキュメントであり、モデルを適切に利用するために必要な情報がすべて含まれています。モデルの概要、そのモデルを紹介した論文、学習やファインチューニングに使用されたデータセット、所有者、既知のリスクや制限、有用な技術情報などです。
  • IMO モデルカードは、モデルの簡潔な紹介であり、以下を含みます:
    • モデルのアーキテクチャの特殊性に関する短い概要
    • 学習に使用されたデータについて説明する
    • 参照データセットでのパフォーマンスはどの程度ですか（可能であれば、精度と速度のメトリクスを教えてください）
    • 制約事項
    • Transformersライブラリの文脈でどのように使用するか
    • ソース（元の論文、GitHubリポジトリなど）
  • あらゆるバックグラウンドを持つ方が、重要なモデルの構成要素や社会的影響について読みやすく学習できる、アクセスしやすいドキュメント

モデルカードのどこが気に入っていますか？

  • 新しいモデルについて人々に教える上で興味深いものです
  • 非技術的な立場の私にとって、モデルを知り、その基礎を理解できることは、著者がその革新を透明かつ説明可能（すなわち信頼できる）な形で開示する機会となります。
  • コードを実行せずにモデルを試せるビジュアルやウィジェットを備えたインタラクティブなモデルカードが好きです。
  • 良いモデルカードの好きな点は、その特定のモデルに関する必要な情報がすべて見つかることです。
  • モデルカードはAI倫理の世界において革命的なものです。機械学習におけるバイアスへの対応や啓発のための、最初の具体的なステップの一つです。より高い意識と説明責任を育みます！
  • 構造化され、網羅的で、情報量が多いほど良い。
  • モデルが得意（または不得意）な点について理解を深めるのに役立ちます。
  • 簡潔さとアクセシビリティ

モデルカードについて、どのような点が不満ですか？

  • 技術的かつ/または密度が高すぎる可能性があります
  • 研究者、エンジニア、非エンジニアなど、異なる読者層向けの情報が多数含まれているため、想定されるユースケースに基づいてモデルカードを探索することが困難です。 * [注: このコメントは、異なる読者層向けの切り替えビューによって対応できる可能性があります]
  • 優れたモデルカードを作成するには時間がかかります。情報が最新であるかどうかをテストするのも困難です。また、モデルカードのフォーマットは完全に異なることが多く、その作成者がどのように構成しているのかを推測する必要があります。 * [注: このコメントは、標準化されたフォーマットと自動化ツールがモデルカードの作成を容易にする価値を示すのに役立ちます]
  • コミュニティの協力による補足的な評価がなければ、モデルカードは、開発者が認識していない可能性のある本質的なバイアスに左右される可能性があります。モデルカードはまだ発展途上ですが、より徹底した評価がなければ、その情報は限定的になりすぎる可能性があります。
  • 空のモデルカード。ライセンス情報がありません - 顧客はこの情報が必要ですが、一般的には手元にありません。
  • 通常、簡潔すぎるか、冗長すぎるかのどちらかです。
  • それを書いてくれてありがとう、本当に助かります

その他の重要な新インサイト

  • モデルカードは、異なる役割を持つ人々が協力して記入するのが最も効果的です。技術的な仕様は、一般的に開発者によってのみ記入できます。一方、倫理的な考慮事項については、倫理問題に取り組む傾向のある人々が最も適切に判断できます。
  • モデルの利用者はライセンスを非常に重視しており、特に特定のタスクに対してモデルを合法的に使用できるかどうかに関心があります。

付録B: 景観分析

機械学習におけるモデル文書の現状の概要

モデルカードの例

モデルカードおよびそれに密接に関連するバリアントの例には、以下が含まれます。

大規模言語モデルのモデルカード

大規模言語モデルは、関連するドキュメントとともに公開されることがよくあります。関連するモデルカード（または関連するドキュメントツール）を備えた大規模言語モデルには、以下が含まれます。

モデルカード生成ツール

モデルカードをプログラムまたは対話的に生成するためのツールには、以下が含まれます。

MODEL CARD 教育ツール

モデルカードの理解と作成方法の理解を支援するツールには、以下が含まれます。

引用例: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

🤗 Hugging Face Hub→