설정 가이드¶

CLI 옵션: --rbln-sub-block-size

기본값: prefill chunk size, 즉 max_num_batched_tokens 값.

Prefix 캐시에서 재사용 여부를 확인하는 단위인 sub-block의 크기를 토큰 수로 지정합니다.

• 값은 0보다 커야 합니다.
• 모든 KV 캐시 그룹의 block_size는 이 값보다 크고, 이 값의 배수여야 합니다.
• enable_sub_block_cache가 꺼진 상태에서 지정하면 오류가 발생합니다.

자세한 내용은 Prefix Caching에서 확인할 수 있습니다.

CLI 옵션: --rbln-use-custom-sampler

기본값: True.

RBLNSampler를 사용해 RBLN NPU에서 샘플링을 실행합니다.

--no-rbln-use-custom-sampler를 지정하면 upstream vLLM 샘플러를 사용합니다.

CLI 옵션: --rbln-enforce-model-fp32

기본값: False.

모델 설정에 지정된 dtype과 관계없이 fp32를 사용하도록 강제합니다.

CLI 옵션: --rbln-use-dynamic-kv-cache

기본값: unset(지원되는 설정에서 자동 활성화).

컴파일된 모델의 디바이스 배치 정보와 디바이스 용량을 기준으로 KV 캐시 크기를 정합니다. 워밍업 후 컴파일 산출물의 메모리 프로파일을 읽고, 디바이스에 맞게 캐시 크기를 조정합니다.

캐시의 블록 개수는 런타임에 변경할 수 있습니다. 컴파일 시에는 적은 수의 블록을 기준으로 사용하고, 실제 블록 수는 런타임에 결정합니다.

설정에 따른 동작은 다음과 같습니다.

• 미지정: 동적 크기 조정을 사용하되, 지원하지 않는 설정에서는 자동으로 끕니다.
• --rbln-use-dynamic-kv-cache: 동적 크기 조정을 반드시 사용합니다. 해당 설정에서 캐시 크기를 결정할 수 없으면 엔진이 시작되지 않습니다.
• --no-rbln-use-dynamic-kv-cache: 동적 크기 조정을 끄고 컴파일 전 추정치를 유지합니다.

CLI 옵션: --rbln-enable-sub-block-cache

기본값: True.

prefix caching이 활성화된 경우 sub_block_size 단위의 sub-block prefix caching을 활성화합니다. 자세한 내용은 Prefix Caching에서 확인할 수 있습니다.

CLI 옵션: --rbln-specialize-moe-decode

기본값: True.

mixture-of-experts(MoE) 모델에서 배치의 모든 요청이 decode 단계일 때 사용할 특화 그래프를 컴파일합니다.

CLI 옵션: --rbln-use-moe-tokens-mask

기본값: True.

MoE expert kernel에 token mask를 적용합니다.

CLI 옵션: --rbln-use-all2all-dispatch

기본값: False.

MoE data-parallel dispatch에 all-gather 대신 all-to-all dispatch를 사용합니다.

CLI 옵션: --rbln-use-all2all-combine

기본값: False.

MoE data-parallel combine에 reduce-scatter 대신 all-to-all combine을 사용합니다.

CLI 옵션: --rbln-decode-batch-bucket-strategy

기본값: exponential.

decode batch bucket 생성 방식을 exponential, linear, manual 중에서 선택합니다.

각 decode 배치는 현재 요청 수 이상인 bucket 크기 중 가장 작은 크기로 패딩됩니다. 따라서 새로운 배치 크기가 나타나도 그래프를 다시 컴파일하지 않습니다.

CLI 옵션: --rbln-decode-batch-bucket-min

기본값: 1.

가장 작은 decode batch bucket의 크기를 지정합니다.

CLI 옵션: --rbln-decode-batch-bucket-step

기본값: 2.

decode batch bucket 사이의 간격을 지정합니다.

• exponential: 이전 bucket 크기를 나눌 값.
• linear: 이전 bucket 크기에서 뺄 값.

CLI 옵션: --rbln-decode-batch-bucket-limit

기본값: 1.

decode batch bucket의 최대 개수를 지정합니다.

CLI 옵션: --rbln-decode-batch-bucket-manual-buckets

기본값: [].

decode_batch_bucket_strategy가 manual일 때 사용할 decode 배치 크기 목록을 지정합니다.

각 값은 0보다 커야 하며, 중복될 수 없습니다.

CLI 옵션: --rbln-use-w8a8

기본값: False.

W8A8 양자화 실행을 활성화합니다.

W8A8은 커널이 fp8 activation을 지원하는 NPU에서만 실행할 수 있습니다. W8A16은 모든 RBLN NPU에서 지원합니다.

CLI 옵션: --rbln-compile-dtype

기본값: "".

선택값: "", float16, bfloat16.

컴파일된 그래프가 NPU에서 실행될 dtype을 지정합니다. ""로 설정하면 대상 NPU에 대한 컴파일러 기본 dtype을 사용합니다.

RBLN Compiler v0.12.0 이상이 필요합니다.

CLI 옵션: --rbln-num-devices-per-local-rank

기본값: 1.

하나의 local rank(엔진 프로세스)에 할당할 RBLN NPU 디바이스 수를 지정합니다.

컴파일러는 Rebellions Scalable Design(RSD) 방식으로 모델을 여러 디바이스에 분할합니다. 단일 프로세스로 실행하므로 런타임 오버헤드를 줄일 수 있습니다.

Rebel100™: 1만 지원합니다. 카드 내부의 칩렛 4개에 대한 분할은 컴파일러가 처리합니다.

자세한 내용은 모델 병렬화에서 확인할 수 있습니다.

CLI 옵션: --rbln-sub-block-size

기본값: prefill chunk size, 즉 max_num_batched_tokens 값.

Prefix 캐시에서 재사용 여부를 확인하는 단위인 sub-block의 크기를 토큰 수로 지정합니다.

• 값은 max_num_batched_tokens의 배수여야 합니다.
• attention 블록 크기는 이 값의 배수여야 합니다.

자세한 내용은 Prefix Caching에서 확인할 수 있습니다.

CLI 옵션: --rbln-use-custom-sampler

기본값: True.

RBLNSampler를 사용해 RBLN NPU에서 샘플링을 실행합니다.

--no-rbln-use-custom-sampler를 지정하면 upstream vLLM 샘플러를 사용합니다.

CLI 옵션: --rbln-optimum-overrides

기본값: {}.

컴파일 시 RBLN vLLM이 엔진 설정을 바탕으로 생성한 optimum-rbln 모델 설정을 덮어씁니다.

미리 컴파일된 모델에는 device 항목만 적용됩니다.

사용 가능한 항목은 RblnModelConfig에서 확인할 수 있습니다. 아래에서는 이 페이지의 엔진 설정과 연관된 항목을 설명합니다.

기본값: None.

생략하면 디바이스 ID는 [0, 1, ..., N - 1]이며, N은 설정된 디바이스 수입니다.

사용할 디바이스 ID를 지정합니다. 기본 할당은 optimum_overrides의 최상위 device로 설정하고, 특정 서브모듈의 할당은 해당 서브모듈의 설정 키 아래에 지정합니다. 디바이스 ID의 개수는 설정된 디바이스 수와 일치해야 합니다.

Vision encoder와 language model 같은 서브모듈을 서로 다른 디바이스에 배치하는 방법은 세부 디바이스 할당에서 확인할 수 있습니다.

기본값: None.

생략하면 배치 크기가 max_num_seqs인 디코더 하나만 컴파일합니다. 값을 지정하면 각 배치 크기마다 디코더를 하나씩 컴파일합니다. 엔진은 각 decode 단계에서 처리할 요청 수 이상의 배치 크기 중 가장 작은 크기의 디코더를 선택합니다.

배치 크기의 입력 순서는 상관없으며, 각 값은 max_num_seqs 이하여야 합니다. 리스트에 max_num_seqs가 없으면 자동으로 추가됩니다. 설정 예시는 동적 배치 크기에서 확인할 수 있습니다.

다음 예시는 sub_block_size를 설정하고, optimum_overrides로 visual 및 language_model 서브모듈에 디바이스를 할당합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

from vllm import LLM

llm = LLM(
    ...,
    additional_config={
        "sub_block_size": 256,
        "optimum_overrides": {
            "visual": {
                "device": [0],
            },
            "language_model": {
                "device": [1, 2, 3, 4],
            },
        },
    },
)