gpt-oss-20b(데이터 병렬)¶

설치¶

vllm-rbln 설치는 RBLN vLLM의 설치 방법을 따릅니다. 이 페이지의 예시 스크립트는 vllm-rbln 저장소의 examples/ 아래에 있으므로, 소스 코드 설치로 저장소를 받아 두면 함께 준비됩니다.

프로파일러 활성화¶

RBLN_PROFILER=1을 설정하면 RBLN 프로파일러가 활성화됩니다.

1

export RBLN_PROFILER=1

이 외에 Rebel100™을 위해 추가로 설정할 옵션은 없습니다.

추론을 통한 프로파일링 데이터 추출¶

데이터 병렬 실행 구성은 vllm-rbln의 data_parallel_offline.py를 참고합니다. 프로파일링할 때는 모델에 맞는 실행 설정을 유지하고, LLM 생성 시 profiler_config를 전달합니다. 워밍업 후 start_profile()과 stop_profile()로 추론 구간을 지정합니다.

RBLN 프로파일러는 vllm model implementation에서 동작하며, LLM에 model_impl="vllm"을 지정해 선택합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17

llm = LLM(
    model=model,
    model_impl="vllm",
    tensor_parallel_size=tp_size,
    enable_expert_parallel=enable_ep,
    block_size=block_size,
    max_num_batched_tokens=128,
    max_num_seqs=1,
    profiler_config={
        "profiler": "torch",
        "torch_profiler_dir": "./profile",
    },
)
llm.generate(prompts, SamplingParams(temperature=0.0, max_tokens=2))
llm.start_profile()
outputs = llm.generate(prompts, sampling_params)
llm.stop_profile()

--dp-size로 데이터 병렬 크기를, --enable-expert-parallel로 Expert Parallelism을 지정합니다. 아래는 랭크 2개를 실행하는 예시입니다.

1
2
3
4
5
6

$ cd vllm-rbln
$ RBLN_PROFILER=1 \
    python3 examples/vllm/features/data_parallel/data_parallel_offline.py \
    --model openai/gpt-oss-20b \
    --dp-size 2 \
    --enable-expert-parallel

실행이 끝나면 랭크 수만큼의 산출물이 남습니다. RBLN 프로파일러의 트레이스는 랭크별 디렉터리 아래에, PyTorch 프로파일러의 chrometrace는 torch_profiler_dir로 지정한 디렉터리에 랭크마다 하나씩 놓입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# RBLN 프로파일러 — 랭크마다 디렉터리가 하나씩 생깁니다
$ ls rank_0/session_0
rbln_{date}_{time}.pb            # 전체 트레이스. Perfetto로 이 파일을 엽니다
rbln_{date}_{time}_0.pb          # 실행 단위별 트레이스
rbln_{date}_{time}_1.pb
...
$ ls rank_1/session_0
rbln_{date}_{time}.pb
rbln_{date}_{time}_0.pb
...

# PyTorch 프로파일러 — 랭크별 chrometrace가 한 디렉터리에 모입니다
$ ls profile
dp0_pp0_tp0_dcp0_ep0_rank0.{timestamp}.pt.trace.json.gz
dp1_pp0_tp0_dcp0_ep1_rank0.{timestamp}.pt.trace.json.gz

MoE 모델의 집합 통신¶

여러 디바이스에 걸쳐 모델을 실행하면 랭크들이 집합 통신(CCL)으로 데이터를 주고받습니다. Expert Parallelism으로 실행한 MoE 모델에서는 ccl_all_gather_into_tensor와 ccl_reduce_scatter_tensor가 한 쌍을 이루어 모델 전체에 걸쳐 레이어마다 반복되며, 스크린샷은 그중 한 레이어를 확대한 것입니다.

레이어 하나는 Device Workload 슬라이스 두 개와 집합 통신 두 개로 나타납니다. 스크린샷에서는 i1_0_Device Workload_24 → i1_0_ccl_all_gather_into_tensor_1 → i1_0_Device Workload_25 → i1_0_ccl_reduce_scatter_tensor_1이 한 레이어이고, i1_0_Device Workload_26과 i1_0_ccl_all_gather_into_tensor_2부터 다음 레이어가 시작합니다. ccl_all_gather_into_tensor로 토큰을 모으고, 뒤따르는 Device Workload에서 라우팅과 각 랭크가 맡은 expert의 연산을 수행한 뒤, ccl_reduce_scatter_tensor로 결과를 다시 나눕니다.

앞의 Device Workload에는 input_layernorm이나 attn_qkv_proj_weight처럼 어텐션의 명령어가 놓이고, 뒤의 Device Workload에는 mlp_router_weight나 custom_moe_glu_mxfp4처럼 라우팅과 expert 연산의 명령어가 놓입니다. 스크린샷은 이 네 구간을 표시하고 칩렛을 모두 펼친 것으로, 어텐션과 MoE 모두 칩렛 4개에 나뉘어 수행되는 것을 확인할 수 있습니다.

집합 통신은 전체 실행 구간과 명령어 스트림 실행 구간으로 구분해 표시됩니다. Host 아래에서 Device Workload와 나란히 표시되는 CCL Workload 트랙은 집합 통신 한 건의 전체 실행 구간을 나타냅니다. CCL 그룹 안의 CCL Command 트랙은 같은 이름의 슬라이스로 해당 집합 통신의 명령어 스트림 실행 구간을 나타냅니다.

집합 통신은 모든 랭크가 함께 수행하는 하나의 연산이므로, 같은 이름의 슬라이스가 랭크별 트레이스에 각각 나타납니다. 이 슬라이스는 해당 랭크가 그 집합 통신에 머문 전체 구간을 나타내므로, 여러 트레이스에서 같은 이름을 비교하면 각 랭크가 다른 랭크를 기다리는 데 쓴 시간을 확인할 수 있습니다.

랭크별 트레이스 병합¶

랭크별 트레이스를 하나씩 따로 열면 랭크 사이의 관계를 보기 어렵습니다. Perfetto UI에서는 chrometrace 여러 개를 하나의 타임라인으로 병합할 수 있습니다. chrometrace는 호스트 시계를 기준으로 시각을 기록하고 파일마다 같은 기준 시각을 baseTimeNanoseconds로 함께 담으므로, 랭크가 다른 파일들도 하나의 시간축 위에 놓입니다.

병합하면 랭크별 트랙이 각각 구분된 채로 시간축만 공유합니다. 스크린샷에서는 같은 이름의 집합 통신이 두 랭크에서 같은 시간대에 끝나는 것을 확인할 수 있습니다.

플러그인 활성화를 포함한 구체적인 절차는 여러 트레이스를 하나의 타임라인에서 보기에서 설명합니다.