Hugging Face's logo

Hub documentation

Apéndice

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Apéndice

Apéndice A: Estudio de usuario

Respuestas completas a las preguntas clave

¿Cómo definirías las tarjetas de modelo?

Conclusión: Los encuestados tenían, en general, una visión similar de lo que son las tarjetas de modelo: documentación centrada en temas como el entrenamiento, los casos de uso y los sesgos/limitaciones

  • Las tarjetas de modelo son descripciones de los modelos, tanto de cómo se entrenaron, sus casos de uso, como de los sesgos y limitaciones potenciales
  • Documentos que describen las características esenciales de un modelo para que el lector/usuario comprenda el artefacto que tiene delante, su contexto/entrenamiento, cómo puede utilizarse y sus limitaciones técnicas/éticas.
  • Sirven como un artefacto vivo de los modelos para documentarlos. Las tarjetas de modelo contienen información que va desde una descripción de alto nivel sobre para qué se puede usar el modelo específico, hasta limitaciones, sesgos, métricas y mucho más. Se utilizan principalmente para comprender qué hace el modelo.
  • Las tarjetas de modelo son para los modelos lo que los README de GitHub son para los proyectos de GitHub. Informan a las personas sobre toda la información que necesitan conocer sobre el modelo. Si no escribes una, nadie usará tu modelo.
  • Por lo que entiendo, una tarjeta de modelo utiliza ciertos benchmarks (geografía, cultura, sexo, etc.) para definir tanto la usabilidad como las limitaciones de un modelo. Es esencialmente la «etiqueta de valores nutricionales» de un modelo, que puede mostrar cómo se creó y educar a otros sobre su reutilización.
  • Las tarjetas de modelo son los metadatos y la documentación sobre el modelo, todo lo que necesito saber para usar el modelo correctamente: información sobre el modelo, qué artículo lo introdujo, en qué conjunto de datos se entrenó o afinó, a quién pertenece, si existen riesgos y limitaciones conocidas con este modelo, y cualquier información técnica útil.
  • Las tarjetas de modelo de IMO son una presentación breve de un modelo que incluye:
    • resumen breve de las particularidades arquitectónicas del modelo
    • describiendo los datos sobre los que fue entrenado
    • cuál es el rendimiento en los conjuntos de datos de referencia (métricas de precisión y velocidad, si es posible)
    • limitaciones
    • cómo usarlo en el contexto de la biblioteca Transformers
    • fuente (artículo original, repositorio de GitHub,…)
  • Documentación de fácil acceso que cualquier persona puede leer y aprender sobre los componentes críticos de los modelos y su impacto social

¿Qué te gusta de las tarjetas de modelo?

  • Son interesantes para enseñar a las personas sobre nuevos modelos
  • Como persona no técnica, la posibilidad de conocer el modelo y de entender sus fundamentos es una oportunidad para que el autor divulgue su innovación de manera transparente y explicable (es decir, confiable).
  • Me gustan las tarjetas de modelo interactivas con visuales y widgets que me permiten probar el modelo sin ejecutar ningún código.
  • Lo que me gusta de las buenas tarjetas de modelo es que puedes encontrar toda la información que necesitas sobre ese modelo en particular.
  • Las tarjetas de modelo son revolucionarias para el mundo de la ética en IA. Son uno de los primeros pasos tangibles para mitigar y educar sobre los sesgos en el aprendizaje automático. ¡Fomentan una mayor conciencia y responsabilidad!
  • Estructurado, exhaustivo, a más información, mejor.
  • Ayuda a comprender en qué es bueno (o malo) el modelo.
  • Concisión y accesibilidad

¿Qué no te gusta de las tarjetas de modelo?

  • Puede resultar demasiado técnico y/o denso
  • Contienen mucha información para diferentes audiencias (investigadores, ingenieros, no ingenieros), por lo que resulta difícil explorar las tarjetas de modelo con casos de uso previstos. * [NOTA: este comentario podría abordarse con vistas conmutables para diferentes audiencias]
  • Las buenas tarjetas de modelo requieren mucho tiempo para crearse. Resulta difícil probarlas para asegurarse de que la información esté actualizada. A menudo, las tarjetas de modelo tienen un formato completamente diferente, por lo que hay que averiguar cómo ha estructurado la suya cada persona en particular. * [NOTA: este comentario ayuda a demostrar el valor de un formato estandarizado y de las herramientas de automatización para facilitar la creación de tarjetas de modelo]
  • Sin la ayuda de la comunidad para aportar evaluaciones complementarias, las tarjetas de modelo podrían estar sujetas a sesgos inherentes de los que el desarrollador no sea consciente. Es una etapa temprana para ellas, pero sin evaluaciones más exhaustivas, la información de una tarjeta de modelo podría ser demasiado limitada.
  • Tarjetas de modelo vacías. Sin información de licencia: los clientes necesitan esa información y, por lo general, no la tienen.
  • Suelen ser demasiado concisos o demasiado verbosos.
  • escribiéndolos, jaja, gracias

Otros nuevos conocimientos clave

  • Las tarjetas de modelo se completan mejor cuando las redactan personas con roles diferentes: las especificaciones técnicas generalmente solo pueden ser completadas por los desarrolladores; las consideraciones éticas a lo largo del proceso suelen estar mejor informadas por personas que suelen trabajar en cuestiones éticas.
  • A los usuarios de modelos les importan mucho las licencias, en concreto, si un modelo puede usarse legalmente para una tarea específica.

Apéndice B: Análisis del panorama

Resumen del estado de la documentación de modelos en Machine Learning

EJEMPLOS DE TARJETAS DE MODELO

Los ejemplos de tarjetas de modelo y variantes estrechamente relacionadas incluyen:

TARJETAS DE MODELO PARA MODELOS DE LENGUAJE GRANDES

Los grandes modelos de lenguaje suelen publicarse con documentación asociada. Los grandes modelos de lenguaje que tienen una tarjeta de modelo asociada (o una herramienta de documentación relacionada) incluyen:

HERRAMIENTAS PARA LA GENERACIÓN DE TARJETAS DE MODELO

Las herramientas para generar tarjetas de modelo de forma programática o interactiva incluyen:

HERRAMIENTAS EDUCATIVAS DE TARJETA DE MODELO

Las herramientas para comprender las tarjetas de modelo y saber cómo crearlas incluyen:

Cítelo como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

🤗 Hugging Face Hub→