Hugging Face's logo

Hub documentation

Lampiran

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lampiran

Lampiran A: Studi Pengguna

Respons teks lengkap untuk pertanyaan-pertanyaan utama

Bagaimana Anda mendefinisikan kartu model?

Wawasan: Responden umumnya memiliki pandangan serupa tentang apa itu model card: dokumentasi yang berfokus pada isu-isu seperti pelatihan, kasus penggunaan, dan bias/batasan

  • Kartu model adalah deskripsi model, mencakup cara mereka dilatih, kasus penggunaannya, serta potensi bias dan keterbatasannya
  • Dokumen yang menjelaskan fitur-fitur esensial dari sebuah model agar pembaca/pengguna dapat memahami artefak yang ada di hadapannya, latar belakang/pelatihannya, cara penggunaannya, serta keterbatasan teknis/etisnya.
  • Mereka berfungsi sebagai artefak hidup dari model untuk mendokumentasikannya. Kartu model berisi informasi mulai dari deskripsi tingkat tinggi tentang penggunaan spesifik model, hingga keterbatasan, bias, metrik, dan banyak lagi. Mereka digunakan terutama untuk memahami apa yang dilakukan oleh model.
  • Model cards adalah bagi model apa yang README GitHub bagi proyek GitHub. Kartu ini memberi tahu orang semua informasi yang perlu mereka ketahui tentang model. Jika Anda tidak menulisnya, tidak ada yang akan menggunakan model Anda.
  • Seperti yang saya pahami, kartu model menggunakan beberapa benchmark (geografi, budaya, jenis kelamin, dll.) untuk mendefinisikan baik kegunaan maupun keterbatasan sebuah model. Pada dasarnya, kartu model adalah 'label fakta nutrisi' dari sebuah model yang dapat menunjukkan bagaimana model tersebut dibuat dan mengedukasi orang lain tentang kelayakan penggunaannya kembali.
  • Model cards adalah metadata dan dokumentasi tentang model, semua informasi yang saya butuhkan untuk menggunakan model dengan benar: informasi tentang model, paper mana yang memperkenalkan model tersebut, dataset apa yang digunakan untuk melatih atau fine-tune model, siapa pemiliknya, apakah ada risiko dan keterbatasan yang diketahui pada model ini, serta informasi teknis yang berguna.
  • Kartu model IMO adalah presentasi singkat tentang sebuah model yang mencakup:
    • ringkasan singkat tentang kekhasan arsitektur model
    • menggambarkan data yang digunakan untuk melatihnya
    • bagaimana kinerjanya pada dataset referensi (metrik akurasi dan kecepatan jika memungkinkan)
    • keterbatasan
    • cara menggunakannya dalam konteks pustaka Transformers
    • sumber (artikel asli, repositori GitHub, …)
  • Dokumentasi yang mudah diakses sehingga siapa pun dari latar belakang apa pun dapat membaca dan mempelajari komponen model penting serta dampak sosialnya

Apa yang Anda sukai tentang kartu model?

  • Mereka menarik untuk mengajarkan orang tentang model-model baru
  • Bagi orang yang tidak berlatar belakang teknis, kemungkinan untuk mengenal model dan memahami dasar-dasarnya merupakan kesempatan bagi pengembang untuk mengungkapkan inovasinya secara transparan dan dapat dijelaskan (yaitu, dapat dipercaya).
  • Saya suka kartu model interaktif dengan visual dan widget yang memungkinkan saya mencoba model tanpa menjalankan kode apa pun.
  • Hal yang saya sukai dari model card yang baik adalah Anda dapat menemukan semua informasi yang Anda butuhkan tentang model tertentu tersebut.
  • Kartu model bersifat revolusioner bagi dunia etika AI. Ini merupakan salah satu langkah nyata pertama dalam memitigasi/mendidik tentang bias dalam machine learning. Kartu model mendorong kesadaran dan akuntabilitas yang lebih besar!
  • Terstruktur, komprehensif, semakin banyak informasi semakin baik.
  • Hal ini membantu untuk memahami apa yang menjadi kekuatan (atau kelemahan) model.
  • Kerapian dan kemudahan akses

Apa yang Anda tidak sukai tentang kartu model?

  • Mungkin terlalu teknis dan/atau padat
  • Mereka berisi banyak informasi untuk berbagai audiens (peneliti, insinyur, non-insinyur), sehingga sulit untuk menjelajahi kartu model dengan kasus penggunaan yang dimaksud. * [CATATAN: komentar ini dapat diatasi dengan tampilan toggle untuk audiens yang berbeda]
  • Model card yang baik membutuhkan waktu lama untuk dibuat. Mereka sulit diuji untuk memastikan informasinya selalu mutakhir. Sering kali, model card diformat dengan cara yang sangat berbeda-beda - sehingga Anda harus mencari tahu bagaimana struktur yang digunakan oleh individu tertentu. * [CATATAN: komentar ini membantu menunjukkan nilai dari format yang distandarkan dan alat otomasi untuk memudahkan pembuatan model card]
  • Tanpa bantuan komunitas untuk menyumbangkan evaluasi tambahan, kartu model mungkin rentan terhadap bias bawaan yang tidak disadari oleh pengembang. Masih dalam tahap awal, namun tanpa evaluasi yang lebih menyeluruh, informasi pada kartu model mungkin terlalu terbatas.
  • Kartu model kosong. Tidak ada informasi lisensi - pelanggan membutuhkan informasi tersebut dan umumnya tidak memilikinya.
  • Mereka biasanya terlalu ringkas atau terlalu bertele-tele.
  • menulisnya, haha, terima kasih

Insight baru penting lainnya

  • Kartu model paling baik diisi oleh orang-orang dengan peran yang berbeda: spesifikasi teknis umumnya hanya dapat diisi oleh pengembang; pertimbangan etika di seluruh aspek umumnya paling baik dipahami oleh orang-orang yang cenderung bekerja pada isu-isu etika.
  • Pengguna model sangat memperhatikan lisensi — khususnya, apakah sebuah model dapat digunakan secara legal untuk tugas tertentu.

Lampiran B: Analisis Lanskap

Ikhtisar kondisi dokumentasi model dalam Machine Learning

CONTOH MODEL CARD

Contoh kartu model dan varian yang sangat terkait meliputi:

KARTU MODEL UNTUK MODEL BAHASA BESAR

Model bahasa besar sering kali dirilis bersama dokumentasi terkait. Model bahasa besar yang memiliki kartu model terkait (atau alat dokumentasi terkait) meliputi:

ALAT GENERASI MODEL CARD

Alat untuk menghasilkan kartu model secara programatik atau interaktif meliputi:

KARTU MODEL ALAT PENDIDIKAN

Alat untuk memahami kartu model dan memahami cara membuat kartu model meliputi:

Silakan kutip sebagai: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

🤗 Hugging Face Hub→