Accelerate documentation
Mulai di Sini!
Memulai
Tutorial
IkhtisarTambahkan Accelerate ke kode AndaProses eksekusiPelatihan TPUMeluncurkan skrip AccelerateMeluncurkan pelatihan terdistribusi dari Jupyter Notebooks
Panduan cara
Accelerate
Mulai di Sini!Perkiraan memori modelKuantisasi modelPelacak eksperimenProfilerCheckpointingPemecahan masalahContoh Zoo
Pelatihan
Akselerasi gradienLocal SGDPelatihan presisi rendah (FP8)DeepSpeedMenggunakan beberapa model dengan DeepSpeedHook Komunikasi DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiKompilasi
Inferensi
Konsep dan dasar-dasar
Mekanisme internal AccelerateMemuat model besar ke dalam memoriMembandingkan kinerja di antara konfigurasi terdistribusiMenjalankan dan menunda tugasSinkronisasi gradienFSDP vs DeepSpeedFSDP1 vs FSDP2Paralelisme konteksParalelisme urutanMetode pelatihan presisi rendahPelatihan pada TPU
Referensi
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Mulai di Sini!
Silakan gunakan alat interaktif di bawah ini untuk membantu Anda memulai belajar tentang fitur tertentu dari Accelerate dan cara memanfaatkannya! Alat ini akan memberikan Anda diff kode, penjelasan tentang apa yang sedang terjadi, serta beberapa tautan berguna untuk menjelajahi lebih dalam di dalam dokumentasi!
Sebagian besar contoh kode dimulai dari kode python berikut sebelum mengintegrasikan Accelerate dengan cara tertentu:
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()