Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

CẢNH QUAN CỦA CÁC CÔNG CỤ TÀI LIỆU ML

Việc phát triển khung model cards vào năm 2018 được lấy cảm hứng từ các nỗ lực chính về khung tài liệu hóa như Data Statements for Natural Language Processing (Bender & Friedman, 2018) và Datasheets for Datasets (Gebru et al., 2018). Kể từ khi model cards được đề xuất, một số công cụ khác đã được đề xuất để tài liệu hóa và đánh giá các khía cạnh khác nhau của chu kỳ phát triển machine learning. Các công cụ này, bao gồm model cards và các nỗ lực tài liệu hóa liên quan được đề xuất trước model cards, có thể được đặt trong bối cảnh dựa trên trọng tâm của chúng (ví dụ: công cụ tập trung vào phần nào của vòng đời hệ thống ML?) và đối tượng mục tiêu (ví dụ: công cụ được thiết kế cho ai?). Trong Hình 1-2 bên dưới, chúng tôi tóm tắt một số công cụ tài liệu hóa nổi bật theo các chiều kích này, cung cấp mô tả bối cảnh cho từng công cụ và liên kết đến các ví dụ. Chúng tôi phân loại rộng rãi các công cụ tài liệu hóa thành các nhóm sau:

Tập trung vào dữ liệu, bao gồm các công cụ tài liệu tập trung vào các bộ dữ liệu được sử dụng trong vòng đời hệ thống machine learning
Tập trung vào mô hình và phương pháp, bao gồm các công cụ tài liệu tập trung vào mô hình và phương pháp học máy; và
Tập trung vào hệ thống, bao gồm các công cụ tài liệu tập trung vào hệ thống ML, bao gồm các mô hình, phương pháp, tập dữ liệu, API và các thành phần không phải AI/ML tương tác với nhau như một phần của hệ thống ML

Các nhóm này không loại trừ lẫn nhau; chúng bao gồm các khía cạnh chồng chéo trong vòng đời hệ thống ML. Ví dụ, system cards tập trung vào việc tài liệu hóa các hệ thống ML có thể bao gồm nhiều mô hình và bộ dữ liệu, do đó có thể chứa nội dung trùng lặp với các công cụ tài liệu hóa tập trung vào dữ liệu hoặc tập trung vào mô hình. Các công cụ được mô tả là một danh sách không đầy đủ các công cụ tài liệu hóa cho vòng đời hệ thống ML. Nhìn chung, chúng tôi đã bao gồm các công cụ có đặc điểm:

Tập trung vào tài liệu hóa một số (hoặc nhiều) khía cạnh của vòng đời hệ thống ML
Bao gồm việc phát hành một mẫu được thiết kế để sử dụng lặp lại, áp dụng và điều chỉnh

Tóm tắt các công cụ tài liệu ML

Hình 1

Giai đoạn của vòng đời hệ thống ML	Công cụ	Mô tả ngắn	Ví dụ
DỮ LIỆU	*Bảng thông số kỹ thuật* (Gebru et al., 2018)	“Chúng tôi khuyến nghị mỗi bộ dữ liệu nên đi kèm với một bảng thông tin dữ liệu (datasheet) ghi lại động cơ, quá trình tạo ra, thành phần, các mục đích sử dụng dự kiến, phương thức phân phối, công tác bảo trì và các thông tin khác.”	Xem, ví dụ, repo của Ivy Lee với các ví dụ
DỮ LIỆU	*Các tuyên bố về dữ liệu* (Bender & Friedman, 2018)(Bender et al., 2021)	“Một tuyên bố dữ liệu là một đặc tả của tập dữ liệu, cung cấp ngữ cảnh để các nhà phát triển và người dùng hiểu rõ hơn về cách các kết quả thực nghiệm có thể được tổng quát hóa, cách phần mềm có thể được triển khai phù hợp, và những thiên kiến nào có thể được phản ánh trong các hệ thống được xây dựng dựa trên phần mềm đó.”	Xem Các tuyên bố dữ liệu cho NLP Workshop
DỮ LIỆU	*Nhãn dinh dưỡng của bộ dữ liệu* (Holland et al., 2018)	“Nhãn dinh dưỡng của Dataset… là một khung chẩn đoán giúp giảm rào cản đối với phân tích dữ liệu chuẩn hóa bằng cách cung cấp một cái nhìn tổng quan cô đọng nhưng toàn diện về các “thành phần” của dataset trước khi phát triển mô hình AI.”	Xem Nhãn dinh dưỡng dữ liệu
DỮ LIỆU	*Thẻ dữ liệu cho NLP* (McMillan-Major et al., 2021)	“Chúng tôi trình bày hai nghiên cứu tình huống về việc tạo các mẫu tài liệu và hướng dẫn trong xử lý ngôn ngữ tự nhiên (NLP): hub dataset của Hugging Face (HF)[^1] và bộ chuẩn đánh giá cho Generation and its Evaluation and Metrics (GEM). Chúng tôi sử dụng thuật ngữ data card để chỉ tài liệu cho các dataset trong cả hai trường hợp.	Xem (McMillan-Major et al., 2021)
DỮ LIỆU	*Khung Tài liệu Chu kỳ Phát triển Dữ liệu* (Hutchinson et al., 2021)	“Chúng tôi giới thiệu một khung làm việc chặt chẽ cho tính minh bạch trong phát triển bộ dữ liệu, hỗ trợ việc ra quyết định và trách nhiệm giải trình. Khung làm việc này khai thác bản chất mang tính chu kỳ, hạ tầng và kỹ thuật của quá trình phát triển bộ dữ liệu để áp dụng các thực hành tốt nhất từ vòng đời phát triển phần mềm.”	Xem (Hutchinson et al., 2021), Phụ lục A để biết các mẫu
DỮ LIỆU	*Thẻ dữ liệu* (Pushkarna et al., 2021)	“Data Cards là các bản tóm tắt có cấu trúc về những sự kiện thiết yếu liên quan đến nhiều khía cạnh của các bộ dữ liệu ML, phục vụ cho các bên liên quan trong suốt vòng đời của bộ dữ liệu nhằm phát triển AI có trách nhiệm. Các bản tóm tắt này cung cấp lời giải thích về các quy trình và lý do đã định hình dữ liệu, và do đó, định hình các mô hình.”	Xem github của Data Cards Playbook
DỮ LIỆU	*CrowdWorkSheets* (Díaz et al., 2022)	“Chúng tôi giới thiệu một khung làm việc mới, CrowdWorkSheets, dành cho các nhà phát triển bộ dữ liệu nhằm hỗ trợ việc ghi chép minh bạch các điểm ra quyết định quan trọng ở các giai đoạn khác nhau của quy trình chú thích dữ liệu: việc xây dựng nhiệm vụ, lựa chọn người chú thích, lựa chọn nền tảng và hạ tầng, phân tích và đánh giá bộ dữ liệu, cũng như việc phát hành và bảo trì bộ dữ liệu.”	Xem (Díaz et al., 2022)
MÔ HÌNH VÀ PHƯƠNG PHÁP	*Thẻ mô hình* Mitchell et al. (2018)	“Model cards là những tài liệu ngắn đi kèm với các mô hình machine learning đã được huấn luyện, cung cấp đánh giá có chuẩn (benchmarked) trong nhiều điều kiện… liên quan đến các lĩnh vực ứng dụng dự kiến. Model cards cũng công bố ngữ cảnh mà các mô hình được dự định sử dụng, chi tiết về các quy trình đánh giá hiệu suất, và các thông tin liên quan khác.”	Xem https://huggingface.co/models, Sách hướng dẫn Model Card và Các ví dụ về Model Card
MÔ HÌNH VÀ PHƯƠNG PHÁP	*Thẻ giá trị* Shen et al. (2021)	“Chúng tôi giới thiệu Value Cards, một bộ công cụ dựa trên quá trình thảo luận, nhằm giúp sinh viên và chuyên gia ngành khoa học máy tính nhận thức được những tác động xã hội của các hệ thống ra quyết định dựa trên học máy…. Value Cards khuyến khích việc nghiên cứu và tranh luận về các chỉ số hiệu suất ML khác nhau cũng như những đánh đổi tiềm ẩn của chúng.”	Xem Shen et al. (2021), Mục 3.3
MÔ HÌNH VÀ PHƯƠNG PHÁP	*Thẻ phương pháp* Adkins et al. (2022)	“Chúng tôi đề xuất các thẻ phương pháp để hướng dẫn các kỹ sư ML trong quy trình phát triển mô hình… Thông tin bao gồm cả các yếu tố chỉ dẫn và mô tả, tập trung chính vào việc đảm bảo rằng các kỹ sư ML có thể sử dụng các phương pháp này một cách đúng đắn.”	Xem Adkins et al. (2022), Phụ lục A
MÔ HÌNH VÀ PHƯƠNG PHÁP	*Nhãn người dùng cho các mô hình ML* Seifert et al. (2019)	“Chúng tôi đề xuất cấp nhãn người tiêu dùng cho các mô hình ML đã được huấn luyện và công bố. Những nhãn này chủ yếu nhắm đến những người không chuyên về machine learning, chẳng hạn như người vận hành hệ thống ML, người thực thi quyết định và chính các đối tượng chịu tác động của quyết định”	Xem Seifert et al. (2019)
HỆ THỐNG	*Bảng thông tin* Arnold et al. (2019)	“FactSheet sẽ bao gồm các phần về tất cả các thuộc tính liên quan của một dịch vụ AI, chẳng hạn như mục đích sử dụng, hiệu suất, an toàn và bảo mật. Hiệu suất sẽ bao gồm các thước đo độ chính xác hoặc rủi ro phù hợp cùng với thông tin về thời gian.”	Xem IBM’s AI Factsheets 360 và Hind et al., (2020)
HỆ THỐNG	*Thẻ hệ thống* Procope et al. (2022)	“System Cards nhằm tăng cường tính minh bạch của các hệ thống ML bằng cách cung cấp cho các bên liên quan một cái nhìn tổng quan về các thành phần khác nhau của một hệ thống ML, cách các thành phần này tương tác với nhau, và cách các phần dữ liệu khác nhau cùng thông tin được bảo vệ được hệ thống sử dụng.”	Xem Thẻ Hệ thống Xếp hạng Feed Instagram của Meta
HỆ THỐNG	*Báo cáo phần thưởng cho RL* Gilbert et al. (2022)	“Chúng tôi phác thảo một khung để tài liệu hóa các hệ thống học đã triển khai, được gọi là Reward Reports… Chúng tôi trình bày Reward Reports như những tài liệu sống, theo dõi các cập nhật về lựa chọn thiết kế và các giả định đằng sau việc một hệ thống tự động cụ thể đang tối ưu hóa cho điều gì. Chúng được thiết kế để theo dõi các hiện tượng động phát sinh từ việc triển khai hệ thống, thay vì chỉ là các thuộc tính tĩnh của mô hình hoặc dữ liệu.”	Xem https://rewardreports.github.io
HỆ THỐNG	*Robustness Gym* Goel et al. (2021)	“Chúng tôi xác định các thách thức trong việc đánh giá các hệ thống NLP và đề xuất một giải pháp dưới dạng Robustness Gym (RG), một bộ công cụ đánh giá đơn giản và có thể mở rộng, thống nhất 4 phương pháp đánh giá tiêu chuẩn: các nhóm con, các phép biến đổi, các tập đánh giá và các cuộc tấn công đối kháng.”	Xem https://github.com/robustness-gym/robustness-gym
HỆ THỐNG	*VỀ ML* Raji và Yang, (2019)	“ABOUT ML (Ghi chú và Đánh chuẩn trên Việc Hiểu và Minh bạch của Chu kỳ Máy học) là sáng kiến nhiều năm, đa bên liên quan do PAI dẫn dắt. Sáng kiến này nhằm mục đích tập hợp nhiều góc nhìn đa dạng để phát triển, kiểm tra và triển khai các thực hành tài liệu hóa hệ thống máy học ở quy mô lớn.”	Xem thư viện tài nguyên của ABOUT ML

CÔNG CỤ TÀI LIỆU HƯỚNG TỚI DỮ LIỆU

Một số công cụ tài liệu được đề xuất tập trung vào các bộ dữ liệu được sử dụng trong vòng đời của hệ thống ML, bao gồm huấn luyện, phát triển, xác thực, tinh chỉnh và đánh giá các mô hình học máy như một phần của các chu trình liên tục. Các công cụ này thường tập trung vào nhiều khía cạnh của vòng đời dữ liệu (có thể cho một bộ dữ liệu cụ thể, một nhóm bộ dữ liệu, hoặc ở phạm vi rộng hơn), bao gồm cách dữ liệu được tổng hợp, thu thập, chú thích và cách dữ liệu nên được sử dụng.

Mở rộng khái niệm bảng thông số kỹ thuật (datasheet) trong ngành điện tử, Gebru et al. (2018) đề xuất sử dụng datasheet cho các bộ dữ liệu nhằm ghi lại các chi tiết liên quan đến quá trình tạo ra bộ dữ liệu, các ứng dụng tiềm năng và những mối quan ngại đi kèm.
Bender và Friedman (2018) đề xuất các tuyên bố dữ liệu cho xử lý ngôn ngữ tự nhiên. Bender, Friedman và McMillan-Major (2021) cập nhật khung tuyên bố dữ liệu ban đầu và cung cấp các tài nguyên, bao gồm hướng dẫn viết tuyên bố dữ liệu và chuyển đổi giữa phiên bản đầu tiên của schema và phiên bản mới hơn[^2].
Holland et al. (2018) đề xuất nhãn dinh dưỡng dữ liệu, tương tự như bảng thành phần dinh dưỡng của thực phẩm và nhãn công bố quyền riêng tư, như một công cụ để phân tích và ra quyết định về các tập dữ liệu. Nhóm Data Nutrition Label đã phát hành thiết kế cập nhật và giao diện cho nhãn này vào năm 2020 (Chmielinski et al., 2020)).
McMillan-Major et al. (2021) mô tả quy trình phát triển và các mẫu data cards cho NLP dưới dạng data cards trên Hugging Face Hub[^3] và data cards cho các bộ dữ liệu là một phần của bộ chuẩn NLP cho môi trường Generation and its Evaluation Metrics (GEM)[^4].
Hutchinson et al. (2021) mô tả nhu cầu về tài liệu hóa toàn diện cho bộ dữ liệu, và dựa trên các thực hành phát triển phần mềm, cung cấp các mẫu để tài liệu hóa một số khía cạnh của vòng đời phát triển bộ dữ liệu (cho mục đích của Bảng 1 và Bảng 2, chúng tôi gọi khung của họ là Dataset Development Lifecycle Documentation Framework).
Pushkarna et al. (2021) đề xuất data cards như một phần của data card playbook, một công cụ tài liệu lấy con người làm trung tâm, tập trung vào các bộ dữ liệu được sử dụng trong ngành công nghiệp và nghiên cứu.

CÔNG CỤ TÀI LIỆU TẬP TRUNG VÀO MÔ HÌNH VÀ PHƯƠNG PHÁP

Một nhóm công cụ tài liệu khác có thể được xem là tập trung vào các mô hình học máy và các phương pháp học máy. Chúng bao gồm:

Mitchell et al. (2018) đề xuất model cards cho việc báo cáo mô hình, đi kèm với các mô hình ML đã được huấn luyện và tài liệu hóa các vấn đề liên quan đến đánh giá, sử dụng và các vấn đề khác
Shen et al. (2021) đề xuất value cards để giảng dạy cho sinh viên và người thực hành về các giá trị liên quan đến mô hình ML
Seifert et al. (2019) đề xuất nhãn người dùng cho các mô hình ML để giúp những người không chuyên sử dụng hoặc bị ảnh hưởng bởi mô hình hiểu được các vấn đề chính liên quan đến mô hình.
Adkins et al. (2022) phân tích các khía cạnh của các công cụ tài liệu mô tả – mà họ cho rằng bao gồm model cards và data sheets – và lập luận cho việc tăng cường các công cụ quy định cho các kỹ sư ML. Họ đề xuất method cards, tập trung vào các phương pháp ML, và được thiết kế chủ yếu nhắm đến các bên liên quan kỹ thuật như nhà phát triển model và người đánh giá.
- Họ hình dung mối quan hệ giữa model cards và method cards, một phần, bằng cách nêu rõ: “Các phần và câu hỏi gợi ý mà chúng tôi đề xuất…[trong mẫu method card] tập trung vào các phương pháp ML đủ để tạo ra một mô hình ML phù hợp với đầu vào, đầu ra và tác vụ được xác định. Ví dụ về những phương pháp này bao gồm các phương pháp phát hiện đối tượng như Single-shot Detectors và các phương pháp mô hình hóa ngôn ngữ như Generative Pre-trained Transformers (GPT). Có thể tạo Model Cards cho các mô hình được tạo bằng những phương pháp này.”
- Họ cũng nêu rõ “Trong khi Model Cards và FactSheets tập trung chính vào việc tài liệu hóa các mô hình hiện có, Method Cards lại chú trọng hơn vào các lựa chọn phương pháp và thuật toán cơ bản cần được xem xét khi tạo và huấn luyện các mô hình này. Nếu dùng một phép so sánh thô, thì Model Cards và FactSheets cung cấp thông tin dinh dưỡng về các bữa ăn đã nấu, còn Method Cards cung cấp công thức nấu ăn.”

CÔNG CỤ TÀI LIỆU TẬP TRUNG VÀO HỆ THỐNG

Thay vì tập trung vào các mô hình, bộ dữ liệu hoặc phương pháp cụ thể, các công cụ tài liệu tập trung vào hệ thống xem xét cách các mô hình tương tác với nhau, với các bộ dữ liệu, phương pháp và với các thành phần ML khác để tạo thành các hệ thống ML.

Procope et al. (2022) đề xuất các thẻ hệ thống (system cards) để tài liệu hóa và giải thích các hệ thống AI – có thể bao gồm nhiều mô hình ML, công cụ AI và các công nghệ phi AI – phối hợp với nhau để hoàn thành các tác vụ.
Arnold et al. (2019) mở rộng ý tưởng về các tuyên bố tuân thủ đối với sản phẩm tiêu dùng sang các dịch vụ AI, đề xuất FactSheets để tài liệu hóa các khía cạnh của “dịch vụ AI” thường được truy cập thông qua API và có thể được cấu thành từ nhiều mô hình ML khác nhau. Hind et al. (2020) chia sẻ những suy ngẫm về việc xây dựng factsheets.
Gilbert et al. (2022) đề xuất Reward Reports for Reinforcement Learning cho các hệ thống, thừa nhận bản chất động của các hệ thống ML và nhu cầu về các nỗ lực tài liệu hóa nhằm đưa vào các cân nhắc về hiệu suất sau triển khai, đặc biệt là đối với các hệ thống học tăng cường.
Goel et al. (2021) phát triển Robustness Gym, một bộ công cụ đánh giá để kiểm tra nhiều khía cạnh của mạng nơ-ron sâu trong các hệ thống thực tế, cho phép so sánh giữa các phương pháp đánh giá.
Thông qua dự án ABOUT ML (Raji và Yang, 2019), Partnership on AI đang điều phối các nỗ lực giữa các nhóm bên liên quan trong cộng đồng machine learning nhằm phát triển các công cụ tài liệu toàn diện và có khả năng mở rộng cho các hệ thống ML.

SỰ PHÁT TRIỂN CỦA THẺ MÔ HÌNH

Kể từ khi Mitchell và cộng sự đề xuất về model card vào năm 2018, model card đã được các tổ chức khác nhau áp dụng và điều chỉnh, bao gồm các công ty công nghệ lớn và các startup phát triển cũng như lưu trữ các mô hình machine learning[^5], các nhà nghiên cứu mô tả các kỹ thuật mới[^6], và các bên liên quan của chính phủ đánh giá các mô hình cho nhiều dự án khác nhau[^7]. Model card cũng xuất hiện như một phần của các bộ công cụ giáo dục về Đạo đức AI, và nhiều tổ chức cùng nhà phát triển đã tạo ra các bản triển khai để tự động hóa hoặc bán tự động hóa việc tạo model card. Phụ lục A cung cấp một bộ các ví dụ về model card cho nhiều loại mô hình ML khác nhau do các tổ chức khác nhau tạo ra (bao gồm model card cho các large language model), các công cụ tạo model card, và các công cụ giáo dục về model card.

THẺ MÔ HÌNH TRÊN HUGGING FACE HUB

Kể từ năm 2018, các nền tảng và phương tiện mới để lưu trữ và chia sẻ model card cũng đã xuất hiện. Ví dụ, đặc biệt liên quan đến dự án này, Hugging Face lưu trữ model card trên Hugging Face Hub dưới dạng tệp README trong các repository liên quan đến các mô hình ML. Do đó, model card đóng vai trò là một hình thức tài liệu nổi bật cho người dùng các mô hình trên Hugging Face Hub. Như một phần của phân tích model card của chúng tôi, chúng tôi đã phát triển và đề xuất model card cho vài chục mô hình ML trên Hugging Face Hub, sử dụng các tính năng Pull Request (PR) và Discussion của Hub để thu thập phản hồi về model card, xác minh thông tin được bao gồm trong model card, và xuất bản model card cho các mô hình trên Hugging Face Hub. Tại thời điểm viết cuốn sách hướng dẫn này, tất cả các mô hình của Hugging Face trên Hugging Face Hub đều có một model card liên quan trên Hub[^8].

Số lượng lớn các mô hình được tải lên Hugging Face Hub (101.041 mô hình tại thời điểm viết bài) đã cho phép chúng tôi khám phá nội dung trong các thẻ mô hình trên hub: Chúng tôi bắt đầu bằng cách phân tích các thẻ mô hình của mô hình ngôn ngữ, nhằm xác định các mẫu (ví dụ: các phần và mục con lặp lại, với mục tiêu trả lời các câu hỏi ban đầu như:

1) Có bao nhiêu mô hình trong số này có thẻ mô hình (model card)?

2) Tỷ lệ phần trăm lượt tải xuống có liên quan đến thẻ mô hình là bao nhiêu?

Từ phân tích của chúng tôi đối với tất cả các mô hình trên hub, chúng tôi nhận thấy rằng phần lớn lượt tải xuống đến từ 200 mô hình hàng đầu.

Với sự tập trung liên tục vào các mô hình ngôn ngữ lớn, được sắp xếp theo số lượt tải xuống nhiều nhất và chỉ bao gồm các mô hình có sẵn thẻ mô hình, chúng tôi đã ghi nhận các phần xuất hiện thường xuyên nhất trong các thẻ mô hình tương ứng của chúng.

Mặc dù một số tiêu đề trong các thẻ mô hình có thể khác nhau giữa các mô hình, chúng tôi đã nhóm các thành phần/chủ đề của từng phần trong mỗi thẻ mô hình và sau đó ánh xạ chúng đến các tiêu đề phần xuất hiện thường xuyên nhất (chủ yếu được tìm thấy trong 200 mô hình được tải xuống nhiều nhất và với sự hỗ trợ/hướng dẫn từ thẻ mô hình của Bloom)

Xem Nghiên cứu người dùng

Xem Phụ lục

[^1]: Đối với từng công cụ, mô tả được trích từ bài báo được liên kết trong cột thứ hai.

[^2]: Xem https://techpolicylab.uw.edu/data-statements/ .

[^3]: Xem https://techpolicylab.uw.edu/data-statements/ .

[^4]: Xem https://techpolicylab.uw.edu/data-statements/ .

[^5]: Xem, ví dụ, Hugging Face Hub, Model Cards của Google Cloud https://modelcards.withgoogle.com/about .

[^6]: Xem Phụ lục A.

[^7]: Xem Hợp tác giữa GSA / Cục Điều tra Dân số Hoa Kỳ về Trình tạo Thẻ Mô hình.

[^8]: Khi nói đến “mô hình Hugging Face”, chúng tôi chỉ các mô hình do Hugging Face chia sẻ, không phải của tổ chức khác, trên Hub. Về mặt chính thức, đây là các mô hình không có ký tự ‘/’ trong model ID của chúng.

Vui lòng trích dẫn như sau: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

←Hướng dẫn Thẻ Mô hình Chủ đề nâng cao→