Estudos com Usuários

Públicos e casos de uso do cartão de modelo

Durante nossa investigação sobre o cenário de ferramentas de documentação de modelos (data cards etc.), notamos como diferentes partes interessadas utilizam a infraestrutura existente para criar um tipo de model card com informações focadas no domínio de que necessitam.

Um exemplo disso são os ‘analistas de negócios’ ou aqueles cujo foco é o B2B, bem como uma audiência exclusivamente interna. A abordagem estática e mais manual para esse público é o uso de páginas do Confluence. (se os PMs escrevem a página, estamos desconectando os criadores do modelo do seu consumo teórico; se os engenheiros de ML escrevem a página, eles podem tender a enfatizar apenas um certo tipo de informação. [^1]) ou uma combinação proposta de templates HTML (Jinja), classes Metaflow e chaves de API externas, a fim de criar model cards que incluam uma perspectiva das informações do modelo necessárias para seu domínio/caso de uso.

Conduzimos um estudo com usuários, com o objetivo de validar uma estrutura de model card informada pela literatura e de compreender as seções/áreas de importância classificada para as diferentes perspectivas das partes interessadas. O estudo visava validar os seguintes componentes:

• Layout do cartão de modelo

Durante nosso exame do estado da arte dos model cards, que observou seções recorrentes nos ~100 modelos mais baixados no hub que possuíam model cards. A partir dessa análise, catalogamos as seções e informações recorrentes mais frequentes nos model cards, e, combinado com a estrutura do model card do Bloom, isso nos levou à versão inicial de uma estrutura padrão para model cards.

À medida que começamos a estruturar nossos estudos de usuário, duas variações de model cards – que faziam uso da estrutura inicial do model card – foram utilizadas como demonstrações interativas. O objetivo dessas demonstrações era compreender não apenas as diferentes perspectivas dos usuários sobre os elementos visuais dos model cards, mas também o conteúdo apresentado a eles. O resultado {desired} nos permitiria entender melhor o que torna um model card mais fácil de ler, mantendo algum nível de interatividade dentro dos model cards, tudo isso enquanto apresenta as informações de uma maneira facilmente compreensível [acessível].

• Perspectivas das partes interessadas

Como diferentes pessoas, com backgrounds técnicos variados, poderiam estar colaborando em um modelo e, subsequentemente, no model card, buscamos validar a necessidade de perspectivas de diferentes stakeholders. Com base na facilidade de uso para escrever as diferentes seções do model card e nas seções que se leria primeiro

Os participantes classificaram as diferentes seções dos cartões de modelo na perspectiva de quem lê um cartão de modelo e, em seguida, na perspectiva de quem é autor de um cartão de modelo. Um esquema de ordenação — 1 sendo o peso mais alto e 10 sendo o mais baixo — foi aplicado às diferentes seções que o usuário normalmente leria primeiro em um cartão de modelo e às seções de um cartão de modelo que um autor de cartão de modelo acharia mais fácil de escrever.

Resumo das Respostas à Pesquisa de Estudos com Usuários

Nossos estudos com usuários proporcionaram maior clareza sobre as seções que diferentes perfis de usuários/interessados encontrariam mais desafiadoras ou mais fáceis de escrever.

Os resultados ilustrados abaixo mostram que, embora a seção de Viés, Riscos e Limitações ocupe o segundo lugar tanto para os autores quanto para os leitores de cartões de modelo em relação a Em que ordem você escreve o cartão de modelo e Em que seção você olha primeiro, respectivamente, ela também é apontada como a seção mais desafiadora/mais longa de ser escrita. Isso favoreceu/apoiou a necessidade de avaliar ainda mais as seções de Viés, Riscos e Limitações a fim de auxiliar na escrita dessa seção decisiva/imperativa.

Esses modelos foram então usados para gerar cartões de modelo para os 200 modelos mais baixados do Hugging Face (HF).

• Primeiro, começamos por buscar todos os modelos do Hugging Face no hub e, em particular, as seções sobre Limitações e Viés (as subseções “Riscos” estavam, em grande parte, ausentes).
• Com base nas entradas que foram mais continuamente usadas com um maior número de downloads de modelos, agrupadas por tipo de modelo, a ferramenta fornece texto sugerido nas seções de Viés, Riscos e Limitações. Também fornecemos um texto padrão se o tipo de modelo não for especificado.

Usando essas informações, retornamos à nossa análise de todos os cartões de modelo no hub, combinada com sugestões de outros pesquisadores e colegas da HF e pesquisa adicional sobre o tipo de informações solicitadas que poderíamos fornecer aos usuários enquanto eles criam cartões de modelo. Esses textos solicitados por padrão nos permitiram atender aos objetivos:

1) Para aqueles que nunca criaram cartões de modelo antes ou que normalmente não criam um cartão de modelo ou qualquer outro tipo de documentação de modelo para seus modelos, o texto sugerido permite que esses usuários criem facilmente um cartão de modelo. Isso, por sua vez, aumentou o número de cartões de modelo criados.

2) Usuários que já escrevem cartões de modelo: o texto sugerido os convida a adicionar mais informações ao cartão do modelo, desenvolvendo ainda mais o conteúdo/padrão dos cartões de modelo.

Detalhes do Estudo de Usuário

Selecionamos pessoas de diversas origens relevantes para o aprendizado de máquina e a documentação de modelos. Abaixo, detalhamos suas características demográficas, as perguntas que lhes foram feitas e os respectivos insights obtidos a partir de suas respostas. Os detalhes completos das respostas estão disponíveis no Apêndice A.

Dados demográficos dos respondentes

• Assessor Jurídico de Tecnologia e Assuntos Regulatórios
• Engenheiro de ML (x2)
• Developer Advocate
• Assistente Executivo
• Líder de Monetização
• Gerente de Políticas/Pesquisador de IA
• Estagiário de Pesquisa

Quais são as informações principais que você deseja ou precisa conhecer sobre um modelo ao interagir com um modelo de aprendizado de máquina?

Insight:

• Os respondentes priorizaram informações sobre a tarefa/domínio do modelo (x3), dados de treinamento/procedimento de treinamento (x2), como usar o modelo (com código) (x2), viés e limitações, e a licença do modelo

Feedback sobre Formatos Específicos de Cartões de Modelo

Formato 1:

Cartão do modelo distilbert/distilgpt2 atual no Hub

Insights:

• Os respondentes consideraram o formato deste cartão de modelo conciso, completo e legível.
• Não houve consenso sobre as seções recolhíveis (algumas pessoas as gostaram e queriam mais, outras não as gostaram).
• Alguns respondentes disseram que “Riscos e Limitações” deveria estar junto com “Usos Fora do Escopo”

Formato 2:

O espaço de Cartão de Modelo Interativo de Nazneen Rajani

Insights:

• Embora alguns respondentes tenham gostado muito desse formato, a maioria o considerou excessivo ou uma sobrecarga de informações. Vários sugeriram que isso poderia ser uma boa ferramenta para adicionar a um cartão de modelo base, voltado a públicos mais avançados.

Formato 3:

O Semi-Interactive Model Card Space de Ezi Ozoani

Insights:

• Vários respondentes consideraram esse formato esmagador, mas, em geral, acharam-no menos esmagador do que o formato 2.
• Vários respondentes discordaram do layout atual e forneceram feedback específico sobre quais seções devem ser priorizadas em cada coluna.

Rankings de Seções

Ordenado com base na classificação média. As setas são exibidas em relação à ordem da seção associada à pergunta na pesquisa.

Insights:

• Ao redigir model cards, os respondentes geralmente afirmaram que escreveriam um model card na mesma ordem em que as seções estavam listadas na pergunta da pesquisa.
• Ao classificar as seções do cartão do modelo pela facilidade/rapidez de escrita, o consenso foi que as seções sobre usos e limitações e riscos foram as mais difíceis.
• Ao ler os cartões de modelo, os respondentes relataram que consultaram as seções dos cartões em uma ordem próxima – mas não perfeitamente alinhada – à ordem em que as seções foram listadas na pergunta da pesquisa.

Confira o Apêndice

Agradecimentos

Gostaríamos de reconhecer e agradecer a Bibi Ofuya pela criação das perguntas e pela orientação sobre a ordenação e a apresentação focadas no usuário durante os estudos com usuários.

[^1]: See https://towardsdatascience.com/dag-card-is-the-new-model-card-70754847a111

---

Cite como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub