دراسات المستخدم

جمهور بطاقة النموذج وحالات الاستخدام

أثناء بحثنا في مشهد أدوات توثيق النماذج (بطاقات البيانات وما إلى ذلك)، لاحظنا كيف يستفيد أصحاب المصلحة المختلفون من البنية التحتية القائمة لإنشاء نوع من بطاقة النموذج التي تركز معلوماتها على المجال الذي يحتاجونه.

من الأمثلة على ذلك «محللو الأعمال» أو أولئك الذين يركّزون على قطاع الأعمال (B2B) وكذلك الجمهور الداخلي فقط. النهج الثابت والأكثر يدويةً لهذا الجمهور هو استخدام صفحات Confluence. (إذا كتب مديرو المنتجات الصفحة، فإننا نفصل منشئي النموذج عن استهلاكها النظري؛ وإذا كتبها مهندسو التعلم الآلي، فقد يميلون إلى التأكيد على نوع معين من المعلومات فقط. [^1]) أو المقترح هو مزيج من قوالب HTML (Jinja) وفئات Metaflow ومفاتيح APi الخارجية، من أجل إنشاء بطاقات نموذج تتضمن منظورًا لمعلومات النموذج اللازمة لمجالهم/حالة الاستخدام الخاصة بهم.

أجرينا دراسة مستخدمين بهدف التحقق من بنية بطاقة نموذج مستمدة من الأدبيات، وفهم الأقسام/المجالات ذات الأهمية المرتبة من وجهات نظر أصحاب المصلحة المختلفين. هدفت الدراسة إلى التحقق من المكونات التالية:

• تخطيط بطاقة النموذج

خلال فحصنا لأحدث الممارسات في بطاقات النماذج، والتي رصدت الأقسام المتكررة في أعلى ~100 نموذج تم تنزيله من المنصة وكان لديها بطاقات نماذج. من هذا التحليل، قمنا بتفصيل الأقسام المتكررة في بطاقات النماذج والمعلومات المتكررة، وهذا مقترناً ببنية بطاقة نموذج Bloom، قادنا إلى النسخة الأولية من بنية بطاقة النموذج القياسية.

عندما بدأنا في هيكلة دراسات المستخدمين، تم استخدام نسختين من بطاقات النموذج - استخدما هيكل بطاقة النموذج الأولية - كمُبيّنات تفاعلية. كان الهدف من هذه المُبيّنات هو فهم وجهات نظر المستخدمين المختلفة حول العناصر البصرية لبطاقات النموذج، وكذلك المحتوى المُقدَّم للمستخدمين. سيُمكّننا النتيجة {المطلوبة} من فهم أعمق لما يجعل بطاقة النموذج أسهل في القراءة، مع الحفاظ على مستوى معين من التفاعلية داخل بطاقات النموذج، وفي الوقت نفسه تقديم المعلومات بطريقة سهلة الفهم [قابلة للتعامل معها].

• وجهات نظر أصحاب المصلحة

بما أن أشخاصًا مختلفين، بخلفيات تقنية متفاوتة، قد يتعاونون في تطوير نموذج وبطاقة النموذج اللاحقة، فقد سعينا إلى التحقق من الحاجة إلى وجهات نظر أصحاب المصلحة المختلفين. استنادًا إلى سهولة كتابة أقسام بطاقة النموذج المختلفة، والأقسام التي يقرؤها المرء في البداية

رتّب المشاركون الأقسام المختلفة لبطاقات النموذج من منظور شخص يقرأ بطاقة نموذج ومن منظور مؤلف بطاقة نموذج. طُبِّق نظام ترتيب - حيث يمثل الرقم 1 أعلى وزن والرقم 10 أدنى وزن - على الأقسام المختلفة التي يقرأها المستخدم عادةً أولاً في بطاقة نموذج، وعلى أقسام بطاقة النموذج التي يجد مؤلف بطاقة النموذج أنها الأسهل في الكتابة.

ملخص استجابات استبيان دراسة المستخدم

قدّمت دراسات المستخدمين الخاصة بنا وضوحاً إضافياً حول الأقسام التي يجد مختلف ملفات المستخدمين/أصحاب المصلحة أنها أكثر صعوبة أو أسهل في الكتابة.

تُظهر النتائج الموضحة أدناه أنه على الرغم من أن قسم التحيز والمخاطر والقيود يحتل المرتبة الثانية لكلٍّ من كتّاب بطاقات النموذج وقارئيها فيما يتعلق بـ بأي ترتيب تكتب بطاقة النموذج وما القسم الذي تنظر إليه أولاً على التوالي، إلا أنه يُذكر أيضاً بأنه القسم الأكثر تحدياً/الأطول في الكتابة. وقد عزّز ذلك/أيدى الحاجة إلى تقييم أقسام التحيز والمخاطر والقيود بشكل أعمق لمساعدة في كتابة هذا القسم الحاسم/الإلزامي.

استُخدمت هذه القوالب بعد ذلك لتوليد بطاقات النماذج لأكثر 200 نموذجًا تنزيلًا على Hugging Face (HF).

• بدأنا أولاً بسحب جميع نماذج Hugging Face الموجودة على المنصة، وبشكل خاص الأقسام الفرعية المتعلقة بالقيود والتحيز (حيث لم تكن الأقسام الفرعية المتعلقة بالمخاطر موجودة في الغالب).
• بناءً على المدخلات التي استُخدمت بشكل متواصل أكثر مع عدد أعلى من تنزيلات النموذج، مجمّعةً حسب نوع النموذج، يوفر الأداة نصوصاً مُوجَّهة ضمن أقسام التحيز والمخاطر والقيود. كما نوفر نصاً افتراضياً إذا لم يُحدَّد نوع النموذج.

باستخدام هذه المعلومات، عدنا إلى تحليلنا لجميع بطاقات النماذج على المنصة، مقترناً باقتراحات من باحثين آخرين وزملاء في HF، وإجراء أبحاث إضافية حول نوع المعلومات المُوجَّهة التي يمكننا تقديمها للمستخدمين أثناء إنشاء بطاقات النماذج. سمح لنا هذا النص المُوجَّه الافتراضي بتحقيق الأهداف:

1) لأولئك الذين لم ينشئوا بطاقات نماذج من قبل أو الذين لا ينشئون عادةً بطاقة نموذج أو أي نوع آخر من توثيق النموذج لنماذجهم، يتيح النص المُقترح لهؤلاء المستخدمين إنشاء بطاقة نموذج بسهولة. وقد أدى ذلك بدوره إلى زيادة عدد بطاقات النماذج التي تم إنشاؤها.

2) المستخدمون الذين يكتبون بطاقات نماذج بالفعل، النص المُقترح يدعوهم إلى إضافة المزيد إلى بطاقة النموذج الخاصة بهم، مما يُسهم في تطوير محتوى ومعايير بطاقات النماذج بشكل أكبر.

تفاصيل دراسة المستخدم

اخترنا أشخاصاً من خلفيات متنوعة ذات صلة بتعلم الآلة وتوثيق النماذج. أدناه، نُفصّل خصائصهم الديموغرافية، والأسئلة التي طُرحت عليهم، والرؤى المستخلصة من إجاباتهم. تتوفر التفاصيل الكاملة للإجابات في الملحق أ.

الخصائص الديموغرافية للمشارك

• مستشار الشؤون التقنية والتنظيمية
• مهندس تعلم آلي (x2)
• مناصر المطور
• المساعد التنفيذي
• قائد التحويل إلى إيرادات
• مدير السياسات/باحث في الذكاء الاصطناعي
• متدرب في البحث

ما هي المعلومات الأساسية التي ترغب في معرفتها أو تحتاج إلى معرفتها عن نموذج عند التفاعل مع نموذج تعلّم آلي؟

رأي:

• أعطى المشاركون الأولوية للمعلومات المتعلقة بمهمة/نطاق النموذج (x3)، وبيانات التدريب/إجراء التدريب (x2)، وكيفية استخدام النموذج (مع الكود) (x2)، والانحيازات والقيود، ورخصة النموذج

ملاحظات حول صيغ بطاقات النماذج المحددة

الصيغة 1:

بطاقة النموذج distilbert/distilgpt2 الحالية على Hub

ملاحظات:

• وجد المشاركون أن هذا تنسيق بطاقة النموذج موجز وشامل وسهل القراءة.
• لم يكن هناك إجماع حول الأقسام القابلة للطي (بعضهم أعجبوا بها وأرادوا المزيد، بينما لم يعجبها البعض الآخر).
• ذكر بعض المستجيبين أن “المخاطر والقيود” يجب أن تُدرج مع “الاستخدامات خارج النطاق”

الصيغة 2:

مساحة بطاقة النموذج التفاعلية لنزّين راجاني

ملاحظات:

• في حين أعجب هذا التنسيق بعدد قليل من المستجيبين حقًا، رأى معظمه أنه مُرهق أو أنه يُحمّل القارئ بمعلومات زائدة. وقد اقترح عدة أشخاص أن يمكن أن يكون هذا أداة مفيدة تُضاف فوق بطاقة النموذج الأساسية لتصل إلى جمهور أكثر تقدمًا.

الصيغة 3:

مساحة بطاقة النموذج شبه التفاعلية لـ Ezi Ozoani

ملاحظات:

• وجد عدة مستجيبين أن هذا التنسيق مُرهق، لكنهم وجدوه بشكل عام أقل إرهاقًا من التنسيق 2.
• عارض عدة مستجيبين التخطيط الحالي وقدّموا ملاحظات محددة حول الأقسام التي ينبغي إعطاؤها الأولوية داخل كل عمود.

ترتيب الأقسام

مرتّبة بناءً على الترتيب المتوسط. تُعرض الأسهم نسبةً إلى ترتيب القسم المرتبط بالسؤال في الاستبيان.

ملاحظات:

• عند كتابة بطاقات النماذج، ذكر المشاركون بشكل عام أنهم سيكتبون بطاقة النموذج بنفس الترتيب الذي ذُكرت فيه الأقسام في سؤال الاستبيان.
• عند ترتيب أقسام بطاقة النموذج حسب سهولة أو سرعة الكتابة، كان الإجماع على أن الأقسام المتعلقة بالاستخدامات والقيود والمخاطر هي الأصعب.
• عند قراءة بطاقات النماذج، أشار المستجيبون إلى أنهم اطلعوا على أقسام البطاقات بترتيب يقترب من – لكنه لا يتطابق تمامًا مع – الترتيب الذي ذُكرت فيه الأقسام في سؤال الاستبيان.

اطّلع على الملاحق

شكر وتقدير

نودّ أن نُعرب عن امتناننا لشكر Bibi Ofuya على صياغتها للأسئلة وتوجيهها بشأن الترتيب والعرض الموجهين للمستخدم خلال دراسات المستخدم.

[^1]: See https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

يُرجى الاستشهاد بها على النحو التالي: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub