Accelerate documentation
Aperçu
Premiers pas
Tutoriels
AperçuAjouter Accelerate à votre codeProcessus d'exécutionEntraînement sur TPULancement des scripts AccelerateLancement de l'entraînement distribué depuis Jupyter Notebooks
Guides pratiques
Accelerate
Commencez ici !Estimateur de mémoire du modèleQuantification de modèleSuiveurs d'expérimentationsProfilerPoint de contrôleDépannageExemple Zoo
Entraînement
Accumulation de gradientsLocal SGDEntraînement en basse précision (FP8)DeepSpeedUtiliser plusieurs modèles avec DeepSpeedCrochets de communication DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiCompilation
Inférence
Concepts et fondamentaux
Mécanisme interne d'AccelerateCharger de grands modèles en mémoireComparaison des performances entre différentes configurations distribuéesExécuter et différer des tâchesSynchronisation des gradientsFSDP et DeepSpeedFSDP1 vs FSDP2Parallélisme de contexteParallélisme de séquenceMéthodes d'entraînement à basse précisionEntraînement sur des TPU
Référence
AccélérateurClasses avec étatLa ligne de commandeDataLoaders, Optimizers, SchedulersTraceurs d'expérimentationLanceursUtilitaires DeepSpeedJournalisationTravailler avec de grands modèlesGestionnaires de kwargsFP8Fonctions et classes utilitairesUtilitaires Megatron-LMUtilitaires de parallélisme de données entièrement fragmentées
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Aperçu
Bienvenue dans les tutoriels Accelerate ! Ces guides d’introduction vous aideront à vous familiariser avec l’utilisation d’Accelerate. Vous apprendrez comment modifier votre code pour qu’il fonctionne de manière transparente avec l’API, comment lancer correctement votre script, et bien plus encore !
Ces tutoriels supposent des connaissances de base en Python et une familiarité avec le framework PyTorch.
Si vous avez des questions sur Accelerate, n'hésitez pas à rejoindre notre forum et à poser vos questions à la communauté.
Update on GitHub