모델 병렬화¶

개요¶

RBLN vLLM은 두 가지 모델 병렬화 방식을 제공합니다.

vLLM-수준 병렬화

프레임워크가 vLLM 표준 병렬화 파라미터에 따라 모델을 여러 워커 프로세스에 분산합니다.

Rebellions Scalable Design(RSD)

RBLN 컴파일러가 모델을 디바이스 간(User-level RSD) 또는 디바이스 내부의 칩렛 간(Internal RSD)으로 분할합니다.

기능별 지원 여부는 Feature Matrix의 병렬화 섹션에서 확인할 수 있습니다.

vLLM-수준 병렬화¶

vLLM은 모델 실행을 여러 워커 프로세스에 분산하고, rbln-ccl을 통해 프로세스 간 통신을 조정합니다.

Rank는 병렬 실행에 참여하는 워커 프로세스를 식별합니다.

1
2
3

vllm serve <MODEL_ID> \
  --model-impl vllm \
  --tensor-parallel-size 4

1
2
3
4

vllm serve <MODEL_ID> \
  --model-impl vllm \
  --pipeline-parallel-size 2 \
  --max-num-seqs 8

1
2
3
4
5

vllm serve <MODEL_ID> \
  --model-impl vllm \
  --data-parallel-size 4 \
  --max-num-seqs 8 \
  --max-num-batched-tokens 1024

1
2
3
4
5
6

vllm serve <MOE_MODEL_ID> \
  --model-impl vllm \
  --data-parallel-size 4 \
  --enable-expert-parallel \
  --max-num-seqs 8 \
  --max-num-batched-tokens 1024

Rebellions Scalable Design(RSD)¶

RSD에서는 RBLN 컴파일러가 모델 분할을 담당합니다. 컴파일러가 연산 그래프를 분할하고 필요한 통신 연산을 컴파일된 바이너리에 포함합니다.

분할 범위는 하드웨어와 model implementation에 따라 다릅니다. ATOM™의 transformers에서는 User-level RSD로 사용자가 지정한 수의 칩에 모델을 분할하며, 칩 하나를 NPU 디바이스 하나로 셉니다. Rebel100™에서는 두 model implementation 모두 Internal RSD로 NPU 카드 하나에 포함된 서로 연결된 칩렛 4개에 모델을 자동으로 분할합니다. 배경 설명은 RSD 개요에서 확인할 수 있습니다.

1
2
3

vllm serve <MODEL_ID> \
  --model-impl transformers \
  --rbln-num-devices-per-local-rank 4