Modelo de Cartão de Modelo Anotado

Pronto para publicar? Consulte o Model Release Checklist para as etapas essenciais de uma liberação de modelo concisa, informativa e amigável ao usuário.

Template

arquivo modelcard_template.md

Direções

Preencher completamente um cartão de modelo requer a contribuição de alguns papéis diferentes. (Uma pessoa pode ter mais de um papel.) Referiremos a esses papéis como o desenvolvedor, que escreve o código e executa o treinamento; o especialista em sociotécnica, que é habilidoso em analisar a interação de longo prazo entre tecnologia e sociedade (isso inclui advogados, eticistas, sociólogos ou defensores de direitos); e o organizador do projeto, que compreende o escopo e o alcance gerais do modelo, pode preencher aproximadamente cada parte do cartão e atua como pessoa de contato para atualizações do cartão de modelo.

• O developer é necessário para preencher o Training Procedure e as Technical Specifications. Eles também são particularmente úteis para a seção “Limitations” de Bias, Risks, and Limitations. São responsáveis por fornecer os Results da Avaliação e, idealmente, trabalham com as outras funções para definir o restante da Avaliação: Testing Data, Factors & Metrics.

• O sociotécnico é necessário para preencher “Bias” e “Risks” dentro de Bias, Risks, and Limitations, e é particularmente útil para “Out of Scope Use” dentro de Uses.

• O organizador do projeto é necessário para preencher Detalhes do Modelo e Usos. Eles também podem preencher Dados de Treinamento. Os organizadores do projeto também podem ser responsáveis por Citação, Glossário, Contato do Model Card, Autores do Model Card e Mais Informações.

As instruções são fornecidas abaixo, em itálico.

Os nomes das variáveis de template aparecem em monospace.

---

Nome do Modelo

Visão geral da seção: Forneça o nome do modelo e um resumo de 1 a 2 frases sobre o que é o modelo.

model_id

model_summary

Índice

Visão geral da seção: Forneça isso com links para cada seção, para permitir que as pessoas naveguem facilmente pelo arquivo, usem o arquivo em outros locais com a TOC preservada, imprimam o conteúdo, etc.

Detalhes do Modelo

Visão geral da seção: Esta seção fornece informações básicas sobre o que é o modelo, seu status atual e sua origem. Deve ser útil para qualquer pessoa que queira fazer referência ao modelo.

Descrição do Modelo

model_description

Forneça detalhes básicos sobre o modelo. Isso inclui a arquitetura, a versão, se foi introduzido em um artigo, se uma implementação original está disponível e os criadores. Qualquer direito autoral deve ser atribuído aqui. Informações gerais sobre os procedimentos de treinamento, parâmetros e avisos importantes também podem ser mencionados nesta seção.

• Desenvolvido por: developers

Liste (e, idealmente, inclua links para) as pessoas que criaram o modelo.

• Financiado por: funded_by

Liste (e, idealmente, inclua links para) as fontes de financiamento que apoiaram ou viabilizaram este modelo financeiramente, computacionalmente ou de outra forma.

• Compartilhado por [opcional]: shared_by

Liste (e, idealmente, inclua links para) as pessoas/organizações que disponibilizam o modelo online.

• Tipo de modelo: model_type

Você pode nomear o “type” como:

1. Método de supervisão/aprendizado

2. Tipo de Aprendizado de Máquina

3. Modalidade

• Idioma(s) [NLP]: language

Use este campo quando o sistema usa ou processa linguagem natural (humana).

• Licença: license

Nome e link para a licença em uso.

• Modelo de Origem do Fine-tuning [opcional]: base_model

Se este modelo tiver outro modelo como base, faça um link para esse modelo aqui.

Fontes de modelos opcional

• Repositório: repo
• Artigo [opcional]: paper
• Demonstração [opcional]: demo

Forneça fontes para que o usuário possa ver diretamente o modelo e seus detalhes. Outros tipos de recursos – logs de treinamento, lições aprendidas, etc. – pertencem à seção Mais Informações. Se você incluir apenas um item para esta seção, faça um link para o repositório.

Usos

Visão geral da seção: Esta seção aborda questões sobre como o modelo é destinado a ser usado em diferentes contextos aplicados, discute os usuários previsíveis do modelo (incluindo aqueles afetados por ele) e descreve usos considerados fora do escopo ou uso indevido do modelo. Observe que esta seção não tem a intenção de incluir os detalhes de uso da licença. Para isso, faça um link diretamente para a licença.

Uso Direto

direct_use

Explique como o modelo pode ser usado sem ajuste fino, pós-processamento ou integração em um pipeline. Um trecho de código de exemplo é recomendado.

Uso a jusante opcional

downstream_use

Explique como este modelo pode ser usado quando ajustado para uma tarefa específica ou quando integrado a um ecossistema ou aplicativo maior. Um trecho de código de exemplo é recomendado.

Uso fora do escopo

out_of_scope_use

Liste como o modelo pode ser previsivelmente mal utilizado (usado de uma forma para a qual não funcionará) e aborde o que os usuários não devem fazer com o modelo.

Viés, Riscos e Limitações

Visão geral da seção: Esta seção identifica danos previsíveis, mal-entendidos e limitações técnicas e sociotécnicas. Ela também fornece informações sobre avisos e possíveis mitigações. Viés, riscos e limitações podem, às vezes, ser indissociáveis/ referir-se às mesmas questões. Em geral, viés e riscos são sociotécnicos, enquanto limitações são técnicas:

• Um bias é um estereótipo ou desempenho desproporcional (viés) para algumas subpopulações.
• Um risk é uma questão socialmente relevante que o modelo pode causar.
• Uma limitação é um modo de falha provável que pode ser tratado seguindo as Recomendações listadas.

bias_risks_limitations

Quais são os problemas conhecidos ou previsíveis decorrentes deste modelo?

Recomendações

bias_recommendations

Quais são as recomendações em relação aos problemas previsíveis? Isso pode incluir tudo, desde “reduzir a resolução da sua imagem” até filtrar conteúdo explícito.

Detalhes do Treinamento

Visão geral da seção: Esta seção fornece informações para descrever e replicar o treinamento, incluindo os dados de treinamento, a velocidade e o tamanho dos elementos de treinamento e o impacto ambiental do treinamento. Isso se relaciona fortemente com as Especificações Técnicas também, e o conteúdo aqui deve fazer link para essa seção quando for relevante para o procedimento de treinamento. É útil para pessoas que desejam saber mais sobre as entradas do modelo e a pegada de treinamento. É relevante para qualquer pessoa que queira conhecer os fundamentos do que o modelo está aprendendo.

Dados de Treinamento

training_data

Escreva 1 ou 2 frases sobre o que são os dados de treinamento. Idealmente, isso deve fazer um link para um Dataset Card para mais informações. Links para documentação relacionada ao pré-processamento de dados ou a filtragem adicional também podem ser incluídos aqui, bem como em Mais Informações.

Procedimento de Treinamento opcional

Pré-processamento

preprocessing

Detalhe a tokenização, o redimensionamento/reescritura (dependendo da modalidade), etc.

Velocidades, tamanhos, tempos

speeds_sizes_times

Detalhe a taxa de transferência, o horário de início/fim, os tamanhos dos checkpoints, etc.

Avaliação

Visão geral da seção: Esta seção descreve os protocolos de avaliação, o que está sendo medido na avaliação e fornece os resultados. A avaliação idealmente tem pelo menos duas partes, sendo uma delas voltada para a medição quantitativa do desempenho geral (Dados de teste, fatores e métricas), como pode ser feito com benchmarking; e outra voltada para o desempenho em relação a questões específicas de segurança social (Avaliação de impacto societal), como pode ser feito com red-teaming. Você também pode especificar os resultados de avaliação do seu modelo de forma estruturada nos metadados do cartão do modelo. Os resultados são analisados pelo Hub e exibidos em um widget na página do modelo. Consulte https://huggingface.co/docs/hub/model-cards#evaluation-results.

Dados de Teste, Fatores e Métricas

A avaliação é idealmente desagregada em relação a diferentes fatores, como tarefa, domínio e subgrupo populacional; e calculada com métricas que são mais significativas para os contextos de uso previsíveis. O desempenho de avaliação igual entre diferentes subgrupos é dito ser “justo” entre esses subgrupos; as métricas de justiça-alvo devem ser decididas com base em quais erros são mais prováveis de ser problemáticos à luz do uso do modelo. No entanto, esta seção é mais comumente usada para relatar o desempenho de avaliação agregado em diferentes benchmarks de tarefas.

Dados de Teste

testing_data

Descreva os dados de teste ou faça um link para o Dataset Card correspondente.

Fatores

testing_factors

Quais são as características previsíveis que influenciarão o comportamento do modelo? A avaliação deve ser idealmente desagregada em relação a esses fatores, a fim de revelar disparidades no desempenho.

Métricas

testing_metrics

Quais métricas serão usadas para a avaliação?

Resultados

results

Os resultados devem ser baseados nos Fatores e Métricas definidos acima.

Resumo

results_summary

O que os resultados indicam? Isso pode funcionar como um tipo de resumo para o público geral.

Avaliação de impacto social opcional

Use esta seção de texto livre para explicar como este modelo foi avaliado em relação ao risco de danos à sociedade, como segurança infantil, NCII, privacidade e violência. Isso pode assumir a forma de respostas às seguintes perguntas:

• Este modelo é seguro para crianças usarem? Por quê?
• Este modelo foi testado para avaliar riscos relacionados a imagens íntimas não consensuais (incluindo CSEM)?
• Este modelo foi testado para avaliar riscos relacionados a atividades violentas ou representações de violência? Quais foram os resultados?

Números quantitativos sobre cada problema também podem ser fornecidos.

Exame do Modelo opcional

Visão geral da seção: Esta é uma seção experimental que alguns desenvolvedores estão começando a adicionar, onde o trabalho sobre explicabilidade/interpretabilidade pode ser realizado.

model_examination

Impacto Ambiental

Visão geral da seção: Resume as informações necessárias para calcular impactos ambientais, como o consumo de eletricidade e as emissões de carbono.

• Tipo de hardware: hardware_type
• Horas usadas: hours_used
• Provedor de nuvem: cloud_provider
• Região de computação: cloud_region
• Carbono emitido: co2_emitted

As emissões de carbono podem ser estimadas usando a calculadora de impacto do Machine Learning apresentada em Lacoste et al. (2019).

Especificações técnicas opcional

Visão geral da seção: Esta seção inclui detalhes sobre o objetivo e a arquitetura do modelo, bem como a infraestrutura de computação. É útil para pessoas interessadas no desenvolvimento de modelos. A redação desta seção geralmente exige a participação direta do desenvolvedor do modelo.

Arquitetura do Modelo e Objetivo

model_specs

Infraestrutura de Computação

compute_infrastructure

Hardware

hardware_requirements

Quais são os requisitos mínimos de hardware, por exemplo, de processamento, armazenamento e memória?

Software

software

Citação opcional

Visão geral da seção: A citação preferida dos desenvolvedores para este modelo. Geralmente, trata-se de um artigo.

BibTeX

citation_bibtex

APA

citation_apa

Glossário opcional

Visão geral da seção: Esta seção define os termos comuns e como as métricas são calculadas.

glossary

Defina claramente os termos para que o conteúdo seja acessível a diferentes públicos.

Mais informações opcional

Visão geral da seção: Esta seção fornece links para textos sobre a criação de conjuntos de dados, especificações técnicas, lições aprendidas e resultados iniciais.

more_information

Autores do cartão do modelo opcional

Visão geral da seção: Esta seção lista as pessoas que criam o cartão do modelo, oferecendo reconhecimento e responsabilidade pelo trabalho detalhado envolvido em sua construção.

model_card_authors

Contato do Cartão do Modelo

Visão geral da seção: Fornece uma forma para que pessoas que tenham atualizações para o Model Card, sugestões ou perguntas, possam entrar em contato com os autores do Model Card

model_card_contact

Como começar com o Modelo

Visão geral da seção: Fornece um trecho de código para mostrar como usar o modelo.

get_started_code

---

Cite como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub