Accelerate documentation
Ví dụ Zoo
Bắt đầu
Hướng dẫn
Tổng quanThêm Accelerate vào mã của bạnQuy trình thực thiĐào tạo trên TPUChạy các script AccelerateKhởi động huấn luyện phân tán từ Jupyter Notebooks
Hướng dẫn cách làm
Accelerate
Bắt đầu tại đây!Bộ ước lượng bộ nhớ mô hìnhLượng tử hóa mô hìnhTrình theo dõi thí nghiệmProfilerCheckpointingXử lý sự cốVí dụ Zoo
Huấn luyện
Gradient accumulationLocal SGDHuấn luyện độ chính xác thấp (FP8)DeepSpeedSử dụng nhiều mô hình với DeepSpeedDDP Communication HooksSong song dữ liệu phân mảnh hoàn toànMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiBiên dịch
Suy luận
Khái niệm và nền tảng
Cơ chế bên trong của AccelerateNạp các mô hình lớn vào bộ nhớSo sánh hiệu năng giữa các cấu hình phân tánThực thi và trì hoãn các tác vụĐồng bộ hóa gradientFSDP so với DeepSpeedFSDP1 so với FSDP2Song song ngữ cảnhSong song chuỗiCác phương pháp huấn luyện độ chính xác thấpHuấn luyện trên TPU
Tham khảo
Ví dụ Zoo
Dưới đây là danh sách không đầy đủ các hướng dẫn và script giới thiệu Accelerate.
Ví dụ chính thức của Accelerate:
Ví dụ cơ bản
Các ví dụ này giới thiệu các tính năng cơ bản của Accelerate và là điểm khởi đầu tuyệt vời
- Ví dụ NLP tối giản
- Ví dụ NLP phân tán tối giản trong Jupyter Notebook
- Ví dụ thị giác máy tính tối giản
- Ví dụ thị giác máy tính phân tán tối giản trong Jupyter Notebook
- Sử dụng Accelerate trên Kaggle
Ví dụ cụ thể theo tính năng
Các ví dụ này giới thiệu các tính năng cụ thể mà framework Accelerate cung cấp
- Tích lũy gradient tự động nhận thức bộ nhớ
- Trạng thái kiểm tra
- Đánh giá chéo
- DeepSpeed
- Đa song song dữ liệu phân mảnh hoàn toàn
- Tích lũy gradient
- Trình tìm kích thước lô nhận thức bộ nhớ
- Tính toán chỉ số
- Sử dụng Tracker
- Sử dụng Megatron-LM
Ví dụ đầy đủ
Các ví dụ này giới thiệu đồng thời mọi tính năng trong Accelerate đã được trình bày trong “Ví dụ theo tính năng”
- Ví dụ NLP hoàn chỉnh
- Ví dụ thị giác máy tính hoàn chỉnh
- Ví dụ thị giác rất đầy đủ và có khả năng mở rộng, giới thiệu SLURM, hydra và cách sử dụng framework rất linh hoạt
- Ví dụ tinh chỉnh mô hình ngôn ngữ nhân quả
- Ví dụ tinh chỉnh mô hình ngôn ngữ có mặt nạ
- Ví dụ tiền huấn luyện giọng nói
- Ví dụ tinh chỉnh dịch thuật
- Ví dụ tinh chỉnh phân loại văn bản
- Ví dụ tinh chỉnh phân đoạn ngữ nghĩa
- Ví dụ tinh chỉnh cho câu hỏi và trả lời
- Ví dụ tinh chỉnh câu hỏi và trả lời bằng tìm kiếm chùm
- Ví dụ tinh chỉnh cho câu hỏi trả lời dạng nhiều lựa chọn
- Ví dụ tinh chỉnh nhận thực thể có tên
- Ví dụ tinh chỉnh phân loại hình ảnh
- Ví dụ tinh chỉnh tóm tắt
- Ví dụ đầu cuối về cách sử dụng tích hợp AWS SageMaker của Accelerate
- Các ví dụ Megatron-LM cho nhiều tác vụ NLP khác nhau
Ví dụ tích hợp
Đây là các hướng dẫn sử dụng từ các thư viện tích hợp với Accelerate:
Không tìm thấy tích hợp của bạn ở đây? Hãy tạo một PR để bao gồm nó!
Amphion
- Đào tạo Mô hình Text-to-Speech với Amphion
- Đào tạo Mô hình Chuyển đổi Giọng hát với Amphion
- Đào tạo Vocoder với Amphion
Catalyst
DALLE2-pytorch
Diffusers
fastai
GradsFlow
imagen-pytorch
Kornia
PyTorch Accelerated
PyTorch3D
Stable-Dreamfusion
Tez
trlx
Comfy-UI
Trong Khoa học
Dưới đây là danh sách không đầy đủ các bài báo sử dụng Accelerate.
Không tìm thấy bài báo của bạn ở đây? Hãy tạo một PR để thêm nó vào!
- Yuval Kirstain, Adam Polyak, Uriel Singer, Shahbuland Matiana, Joe Penna, Omer Levy: “Pick-a-Pic: An Open Dataset of User Preferences for Text-to-Image Generation”, 2023; arXiv:2305.01569.
- Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee-Peng Lim: “Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models”, 2023; arXiv:2305.04091.
- Arthur Câmara, Claudia Hauff: “Moving Stuff Around: A study on efficiency of moving documents into memory for Neural IR models”, 2022; arXiv:2205.08343.
- Ying Sheng, Lianmin Zheng, Binhang Yuan, Zhuohan Li, Max Ryabinin, Daniel Y. Fu, Zhiqiang Xie, Beidi Chen, Clark Barrett, Joseph E. Gonzalez, Percy Liang, Christopher Ré, Ion Stoica, Ce Zhang: “High-throughput Generative Inference of Large Language Models with a Single GPU”, 2023; arXiv:2303.06865.
- Peter Melchior, Yan Liang, ChangHoon Hahn, Andy Goulding: “Autoencoding Galaxy Spectra I: Architecture”, 2022; arXiv:2211.07890.
- Jiaao Chen, Aston Zhang, Mu Li, Alex Smola, Diyi Yang: “A Cheaper and Better Diffusion Language Model with Soft-Masked Noise”, 2023; arXiv:2304.04746.
- Ayaan Haque, Matthew Tancik, Alexei A. Efros, Aleksander Holynski, Angjoo Kanazawa: “Instruct-NeRF2NeRF: Editing 3D Scenes with Instructions”, 2023; arXiv:2303.12789.
- Luke Melas-Kyriazi, Christian Rupprecht, Iro Laina, Andrea Vedaldi: “RealFusion: 360° Reconstruction of Any Object from a Single Image”, 2023; arXiv:2302.10663.
- Xiaoshi Wu, Keqiang Sun, Feng Zhu, Rui Zhao, Hongsheng Li: “Better Aligning Text-to-Image Models with Human Preference”, 2023; arXiv:2303.14420.
- Yongliang Shen, Kaitao Song, Xu Tan, Dongsheng Li, Weiming Lu, Yueting Zhuang: “HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in HuggingFace”, 2023; arXiv:2303.17580.
- Yue Yang, Wenlin Yao, Hongming Zhang, Xiaoyang Wang, Dong Yu, Jianshu Chen: “Z-LaVI: Zero-Shot Language Solver Fueled by Visual Imagination”, 2022; arXiv:2210.12261.
- Sheng-Yen Chou, Pin-Yu Chen, Tsung-Yi Ho: “How to Backdoor Diffusion Models?”, 2022; arXiv:2212.05400.
- Junyoung Seo, Wooseok Jang, Min-Seop Kwak, Jaehoon Ko, Hyeonsu Kim, Junho Kim, Jin-Hwa Kim, Jiyoung Lee, Seungryong Kim: “Let 2D Diffusion Model Know 3D-Consistency for Robust Text-to-3D Generation”, 2023; arXiv:2303.07937.
- Or Patashnik, Daniel Garibi, Idan Azuri, Hadar Averbuch-Elor, Daniel Cohen-Or: “Localizing Object-level Shape Variations with Text-to-Image Diffusion Models”, 2023; arXiv:2303.11306.
- Dídac Surís, Sachit Menon, Carl Vondrick: “ViperGPT: Visual Inference via Python Execution for Reasoning”, 2023; arXiv:2303.08128.
- Chenyang Qi, Xiaodong Cun, Yong Zhang, Chenyang Lei, Xintao Wang, Ying Shan, Qifeng Chen: “FateZero: Fusing Attentions for Zero-shot Text-based Video Editing”, 2023; arXiv:2303.09535.
- Sean Welleck, Jiacheng Liu, Ximing Lu, Hannaneh Hajishirzi, Yejin Choi: “NaturalProver: Grounded Mathematical Proof Generation with Language Models”, 2022; arXiv:2205.12910.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure: Text-Guided Texturing of 3D Shapes”, 2023; arXiv:2302.01721.
- Puijin Cheng, Li Lin, Yijin Huang, Huaqing He, Wenhan Luo, Xiaoying Tang: “Learning Enhancement From Degradation: A Diffusion Model For Fundus Image Enhancement”, 2023; arXiv:2303.04603.
- Shun Shao, Yftah Ziser, Shay Cohen: “Erasure of Unaligned Attributes from Neural Representations”, 2023; arXiv:2302.02997.
- Seonghyeon Ye, Hyeonbin Hwang, Sohee Yang, Hyeongu Yun, Yireun Kim, Minjoon Seo: “In-Context Instruction Learning”, 2023; arXiv:2302.14691.
- Shikun Liu, Linxi Fan, Edward Johns, Zhiding Yu, Chaowei Xiao, Anima Anandkumar: “Prismer: A Vision-Language Model with An Ensemble of Experts”, 2023; arXiv:2303.02506.
- Haoyu Chen, Zhihua Wang, Yang Yang, Qilin Sun, Kede Ma: “Learning a Deep Color Difference Metric for Photographic Images”, 2023; arXiv:2303.14964.
- Van-Hoang Le, Hongyu Zhang: “Log Parsing with Prompt-based Few-shot Learning”, 2023; arXiv:2302.07435.
- Keito Kudo, Yoichi Aoki, Tatsuki Kuribayashi, Ana Brassard, Masashi Yoshikawa, Keisuke Sakaguchi, Kentaro Inui: “Do Deep Neural Networks Capture Compositionality in Arithmetic Reasoning?”, 2023; arXiv:2302.07866.
- Ruoyao Wang, Peter Jansen, Marc-Alexandre Côté, Prithviraj Ammanabrolu: “Behavior Cloned Transformers are Neurosymbolic Reasoners”, 2022; arXiv:2210.07382.
- Martin Wessel, Tomáš Horych, Terry Ruas, Akiko Aizawa, Bela Gipp, Timo Spinde: “Introducing MBIB — the first Media Bias Identification Benchmark Task and Dataset Collection”, 2023; arXiv:2304.13148. DOI: [https://dx.doi.org/10.1145/3539618.3591882 10.1145/3539618.3591882].
- Hila Chefer, Yuval Alaluf, Yael Vinker, Lior Wolf, Daniel Cohen-Or: “Attend-and-Excite: Attention-Based Semantic Guidance for Text-to-Image Diffusion Models”, 2023; arXiv:2301.13826.
- Marcio Fonseca, Yftah Ziser, Shay B. Cohen: “Factorizing Content and Budget Decisions in Abstractive Summarization of Long Documents”, 2022; arXiv:2205.12486.
- Elad Richardson, Gal Metzer, Yuval Alaluf, Raja Giryes, Daniel Cohen-Or: “TEXTure: Text-Guided Texturing of 3D Shapes”, 2023; arXiv:2302.01721.
- Tianxing He, Jingyu Zhang, Tianle Wang, Sachin Kumar, Kyunghyun Cho, James Glass, Yulia Tsvetkov: “On the Blind Spots of Model-Based Evaluation Metrics for Text Generation”, 2022; arXiv:2212.10020.
- Ori Ram, Yoav Levine, Itay Dalmedigos, Dor Muhlgay, Amnon Shashua, Kevin Leyton-Brown, Yoav Shoham: “In-Context Retrieval-Augmented Language Models”, 2023; arXiv:2302.00083.
- Dacheng Li, Rulin Shao, Hongyi Wang, Han Guo, Eric P. Xing, Hao Zhang: “MPCFormer: fast, performant and private Transformer inference with MPC”, 2022; arXiv:2211.01452.
- Baolin Peng, Michel Galley, Pengcheng He, Chris Brockett, Lars Liden, Elnaz Nouri, Zhou Yu, Bill Dolan, Jianfeng Gao: “GODEL: Large-Scale Pre-Training for Goal-Directed Dialog”, 2022; arXiv:2206.11309.
- Egil Rønningstad, Erik Velldal, Lilja Øvrelid: “Entity-Level Sentiment Analysis (ELSA): An exploratory task survey”, 2023, Proceedings of the 29th International Conference on Computational Linguistics, 2022, pages 6773-6783; arXiv:2304.14241.
- Charlie Snell, Ilya Kostrikov, Yi Su, Mengjiao Yang, Sergey Levine: “Offline RL for Natural Language Generation with Implicit Language Q Learning”, 2022; arXiv:2206.11871.
- Zhiruo Wang, Shuyan Zhou, Daniel Fried, Graham Neubig: “Execution-Based Evaluation for Open-Domain Code Generation”, 2022; arXiv:2212.10481.
- Minh-Long Luu, Zeyi Huang, Eric P. Xing, Yong Jae Lee, Haohan Wang: “Expeditious Saliency-guided Mix-up through Random Gradient Thresholding”, 2022; arXiv:2212.04875.
- Jun Hao Liew, Hanshu Yan, Daquan Zhou, Jiashi Feng: “MagicMix: Semantic Mixing with Diffusion Models”, 2022; arXiv:2210.16056.
- Yaqing Wang, Subhabrata Mukherjee, Xiaodong Liu, Jing Gao, Ahmed Hassan Awadallah, Jianfeng Gao: “LiST: Lite Prompted Self-training Makes Parameter-Efficient Few-shot Learners”, 2021; arXiv:2110.06274.