Transformers documentation
병렬화 방법
병렬화 방법
멀티 GPU 구성은 단일 GPU에 맞지 않는 대형 모델을 메모리에 적재하고 학습을 가속하는 데 효과적입니다. 이는 워크로드를 여러 GPU에 걸쳐 병렬화하는 데 기반합니다. 데이터 병렬성, 텐서 병렬성, 파이프라인 병렬성, 모델 병렬성 등 여러 유형의 병렬성이 있으며, 각 유형은 데이터나 모델에 따라 워크로드를 서로 다른 방식으로 분할합니다.
이 가이드에서는 다양한 병렬화 방법, 이를 결합하는 방법, 그리고 사용 환경에 적합한 전략을 선택하는 방법에 대해 다룹니다. 분산 학습에 대한 자세한 내용은 Accelerate 문서를 참고하세요.
대규모 언어 모델 확장 방법에 대한 종합 가이드는 Ultrascale Playbook를 참고하세요. 대규모 학습을 위한 상세한 전략과 모범 사례를 제공합니다.
확장성 전략
Model Memory Calculator를 사용하여 모델에 필요한 메모리 용량을 계산하세요. 그런 다음 아래 표를 참고하여 환경에 맞는 전략을 선택하세요.
| 설정 | 시나리오 | 전략 |
|---|---|---|
| 단일 노드/멀티-GPU | 단일 GPU에 적합 | DistributedDataParallel 또는 ZeRO |
| 단일 GPU에 맞지 않음 | PipelineParallel, ZeRO 또는 TensorParallel | |
| 가장 큰 모델 레이어가 적합하지 않음 | TensorParallel 또는 ZeRO | |
| 멀티 노드/멀티 GPU | 노드 간 빠른 연결(NVLink 또는 NVSwitch) | ZeRO 또는 3D 병렬화(PipelineParallel, TensorParallel, DataParallel) |
| 노드 간 연결이 느린 | ZeRO 또는 3D 병렬화(PipelineParallel, TensorParallel, DataParallel) |
데이터 병렬
Data parallelism은 데이터를 여러 GPU에 고르게 분배합니다. 각 GPU는 모델의 사본을 보유하고 해당 GPU에 할당된 데이터 부분을 병렬로 처리합니다. 처리가 완료되면 각 GPU의 결과가 동기화되어 결합됩니다.
Data parallelism은 데이터를 병렬로 처리하여 학습 시간을 크게 줄여주며, 사용 가능한 GPU 수에 따라 확장할 수 있습니다. 그러나 각 GPU에서 결과를 동기화하는 과정이 오버헤드를 유발할 수 있습니다.
데이터 병렬성에는 DataParallel(DP)과 DistributedDataParallel(DDP)의 두 가지 유형이 있습니다.
DataParallel
DataParallel은 여러 GPU를 가진 단일 머신에서 분산 학습을 지원합니다.
- 기본 GPU인
GPU 0은 데이터 배치(batch)를 읽고 그 중 미니 배치(mini batch)를 다른 GPU로 전송합니다. - 최신 모델이
GPU 0에서 다른 GPU로 복제됩니다. - 각 GPU에서
forward패스가 수행되고, 그 출력은 손실을 계산하기 위해GPU 0으로 전송됩니다. - 손실은
backward패스를 위해GPU 0에서 다른 GPU로 분배됩니다. - 각 GPU의 그래디언트가
GPU 0으로 전송되어 평균이 계산됩니다.
DistributedDataParallel
DistributedDataParallel은 여러 GPU를 갖춘 여러 대의 머신에 걸친 분산 학습을 지원합니다.
- 메인 프로세스는 기본 GPU인
GPU 0에서 모델을 각 GPU로 복제합니다. - 각 GPU는 미니 배치의 데이터를 직접 처리합니다.
backward단계에서 로컬 그래디언트는 모든 GPU에 걸쳐 평균화됩니다.
DDP는 GPU 간 통신 오버헤드를 줄이고 각 GPU를 효율적으로 활용하며, 여러 대의 머신으로 확장할 수 있기 때문에 권장됩니다.
ZeRO 데이터 병렬
Zero Redundancy Optimizer는 메모리 효율이 더 높은 유형의 데이터 병렬성입니다. 데이터 병렬 프로세스에 걸쳐 매개변수, 기울기, 옵티마이저 상태를 분할하여 메모리 사용량을 줄임으로써 메모리 효율을 크게 향상시킵니다. ZeRO 단계는 세 가지가 있습니다:
- Stage 1은 옵티마이저 상태를 분할합니다
- Stage 2는 옵티마이저와 그라디언트 상태를 분할합니다
- Stage 3은 옵티마이저, 그래디언트, 매개변수를 분할합니다

모델 병렬
Model parallelism은 모델을 여러 GPU에 분산하는 기법입니다. 모델을 분할하는 방법은 여러 가지가 있지만, 일반적인 방법은 모델의 레이어를 GPU에 분배하는 것입니다. forward pass에서는 첫 번째 GPU가 데이터 배치(batch)를 처리한 다음, 다음 GPU에 있는 다음 레이어 그룹으로 전달합니다. backward pass에서는 데이터가 최종 레이어에서 첫 번째 레이어로 역방향으로 전송됩니다.
Model parallelism은 단일 GPU의 메모리에 담기에는 너무 큰 모델을 학습시키는 데 유용한 전략입니다. 그러나 한 번에 하나의 GPU만 활성화되므로 GPU 활용도가 불균형해집니다. GPU 간에 결과를 전달하는 과정은 통신 오버헤드를 추가하며, 이는 병목 현상을 유발할 수 있습니다.
파이프라인 병렬성
Pipeline parallelism은 개념적으로 model parallelism과 매우 유사하지만, 유휴 GPU 시간을 줄여주므로 더 효율적입니다. 각 GPU가 데이터 배치 처리를 완료할 때까지 기다리는 대신, pipeline parallelism은 데이터의 micro-batches를 생성합니다. 하나의 micro-batch가 처리를 마치면 즉시 다음 GPU로 전달됩니다. 이를 통해 각 GPU는 다른 GPU가 미니 배치 데이터 처리를 완전히 완료할 때까지 기다리지 않고도 데이터를 병렬로 처리할 수 있습니다.
Pipeline parallelism은 model parallelism과 동일한 이점을 공유하지만, GPU 활용도를 최적화하고 유휴 시간을 줄입니다. 그러나 모델이 nn.Sequential 모듈의 시퀀스로 재작성되어야 할 수 있고, 마지막 forward pass가 backward pass가 완료될 때까지 기다려야 하므로 유휴 시간을 완전히 제거할 수 없기 때문에 pipeline parallelism은 더 복잡할 수 있습니다.
Tensor 병렬성
Tensor parallelism은 대형 텐서 계산을 여러 GPU에 분산합니다. 텐서는 수평 또는 수직으로 슬라이스되고, 각 슬라이스는 개별 GPU에서 처리됩니다. 각 GPU는 자신의 텐서 슬라이스에 대해 계산을 수행하고, 최종 결과를 재구성하기 위해 끝에서 결과가 동기화됩니다.
Tensor parallelism은 단일 GPU의 메모리에 맞지 않는 대규모 모델을 학습하는 데 효과적입니다. 각 GPU가 자신의 tensor 슬라이스를 병렬로 처리할 수 있어 더 빠르고 효율적이며, 다른 병렬화 기법과 결합하여 사용할 수도 있습니다. 다만 다른 병렬화 기법과 마찬가지로, tensor parallelism은 GPU 간 통신 오버헤드를 추가합니다.
추론에 사용하는 방법을 배우려면 Tensor parallelism 가이드를 참조하세요.
하이브리드 병렬
병렬화 방법을 조합하여 더 큰 메모리 절감 효과를 얻고, 수십억 개 이상의 파라미터를 가진 모델을 더 효율적으로 학습할 수 있습니다.
데이터 병렬성 및 파이프라인 병렬성
Data and pipeline parallelism은 데이터를 여러 GPU에 분산하고, 각 미니 배치의 데이터를 마이크로 배치로 나누어 파이프라인 병렬성을 달성합니다.
각 데이터 병렬 랭크는 두 개의 GPU가 있는 것처럼 보이는 것이 아니라 하나의 GPU만 있는 것처럼 프로세스를 처리하지만, GPU 0과 1은 데이터의 마이크로 배치(offload)를 GPU 2와 3으로 오프로드하여 유휴 시간을 줄일 수 있습니다.
이 접근 방식은 유휴 GPU 사용률을 줄여 병렬 데이터 처리를 최적화합니다.

ZeRO 데이터 병렬성, 파이프라인 병렬성 및 모델 병렬성(3D 병렬성)
데이터, 파이프라인 및 모델 병렬성을 결합하여 3D 병렬성을 구성함으로써 메모리와 연산 효율성을 최적화합니다.
메모리 효율성은 모델을 여러 GPU에 분할하고, 파이프라인을 생성하기 위해 스테이지로 나누는 방식으로 달성됩니다. 이를 통해 GPU가 데이터의 마이크로 배치에 대해 병렬로 작업할 수 있으며, 모델, 옵티마이저, 활성화 값의 메모리 사용량이 줄어듭니다.
ZeRO 데이터 병렬화를 통해 각 GPU가 모델, 옵티마이저, 활성화 값의 일부만 저장하도록 하여 계산 효율성을 달성합니다. 이를 통해 데이터 병렬 노드 간에 더 높은 통신 대역폭을 확보할 수 있으며, 통신이 다른 파이프라인 단계와 독립적으로 또는 병렬로 수행될 수 있기 때문입니다.
이 접근 방식은 수조 개의 파라미터를 가진 극도로 큰 모델까지 확장 가능합니다.
