Qwen3-VL-2B(VLM)¶

두 submodule을 NPU 1개에서 컴파일하고 로드하기¶

Rebel100™에서는 visual과 LM이 각각 NPU 1개에서 실행됩니다. Model Zoo 예제는 두 레벨 모두 create_runtimes를 False로 지정하므로, 컴파일 단계에서는 runtime을 만들지 않고 컴파일 결과물만 생성해 저장합니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import os

from optimum.rbln import RBLNAutoModelForImageTextToText

model_id = "Qwen/Qwen3-VL-2B-Instruct"
model = RBLNAutoModelForImageTextToText.from_pretrained(
    model_id,
    export=True,
    rbln_config={
        "visual": {
            "max_seq_len": 16384,
            "num_devices": 1,
            "create_runtimes": False,  # 컴파일 시 visual runtime을 만들지 않음
        },
        "num_devices": 1,
        "kvcache_partition_len": 8_192,
        "max_seq_len": 262_144,
        "create_runtimes": False,  # 컴파일 시 LM runtime을 만들지 않음
    },
)
model.save_pretrained(os.path.basename(model_id))

로드할 때는 rbln_config의 device로 각 runtime의 위치를 지정합니다. Model Zoo inference.py는 visual과 LM을 모두 device 0에 올립니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

import os

from optimum.rbln import RBLNAutoModelForImageTextToText

model_id = "Qwen/Qwen3-VL-2B-Instruct"
model = RBLNAutoModelForImageTextToText.from_pretrained(
    os.path.basename(model_id),
    export=False,
    rbln_config={
        "visual": {
            "device": 0,  # visual은 device 0
        },
        "device": 0,  # LM은 device 0
    },
)

이 배치에서는 ViT 그래프, LM 그래프, KV cache가 모두 NPU 1개의 메모리에 들어가야 합니다. 배치 크기나 컨텍스트 길이를 늘리다가 runtime 생성에 실패하면 아래 그 외 시나리오를 참고해 워크로드를 줄이면 됩니다.

ViT 입력 길이 버케팅: visual.max_seq_len¶

Qwen3-VL의 ViT는 이미지(또는 비디오 프레임) 한 장 단위로 실행되며, 그래프 모양은 컴파일 타임에 고정됩니다. 즉 max_seq_len=16384로 컴파일한 ViT는 실제 입력이 1,024 패치든 16,384 패치든 항상 16,384 패치 분량을 계산합니다. 실제 서빙에서는 한 요청에 크기가 다양한 여러 이미지, 혹은 프레임 수가 다른 비디오가 섞여 들어오므로, 가장 큰 입력 기준으로 단일 max_seq_len을 설정하면 작은 입력에서도 그 용량을 그대로 소모하므로 지연이 늘고 메모리가 낭비됩니다.

optimum-rbln은 이 문제를 multi-size 입력에 대한 버케팅 전략으로 해결합니다. visual.max_seq_len은 int 하나뿐 아니라 List[int]도 받으며, 동작은 다음과 같습니다.

• 리스트로 지정하면 optimum-rbln은 길이마다 별도의 ViT 그래프를 한꺼번에 컴파일합니다.
• 추론 시 실제 패치 수에 맞춰 그 값을 담을 수 있는 가장 작은 버킷이 자동으로 선택됩니다.
• 모든 버킷보다 큰 입력이 들어오면 에러가 발생합니다. 리스트의 가장 큰 값은 워크로드 상한을 포함할 수 있도록 설정해야 합니다.

Model Zoo compile.py의 단일 값(max_seq_len: 16384)을 리스트로 바꿔 세 개의 버킷을 함께 컴파일하는 예제입니다.

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21

import os

from optimum.rbln import RBLNAutoModelForImageTextToText

model_id = "Qwen/Qwen3-VL-2B-Instruct"
model = RBLNAutoModelForImageTextToText.from_pretrained(
    model_id,
    export=True,
    rbln_config={
        "visual": {
            "max_seq_len": [1024, 3136, 16384],  # ← 세 개의 버킷을 함께 컴파일
            "num_devices": 1,
            "create_runtimes": False,
        },
        "num_devices": 1,
        "kvcache_partition_len": 8_192,
        "max_seq_len": 262_144,
        "create_runtimes": False,
    },
)
model.save_pretrained(os.path.basename(model_id))

이렇게 컴파일한 모델은 런타임에 다음과 같이 동작합니다.

1

patches = (H / 16) × (W / 16)

디코더 배치 크기 버케팅: decoder_batch_sizes¶

Qwen3-VL의 언어 모델 디코더 역시 그래프 모양이 컴파일 타임에 고정됩니다. batch_size=4로 컴파일된 디코더는 실제 배치가 3이든 4든 항상 4 슬롯 분량을 계산합니다. 하지만 실제 서빙(continuous batching, in-flight batching)에서는 요청마다 끝나는 시점이 달라 실제 배치 크기가 자주 줄어듭니다. 이때마다 사용되지 않는 슬롯에 대한 계산이 그대로 낭비됩니다.

decoder_batch_sizes는 이 문제를 디코더 그래프 차원의 버케팅으로 해결합니다. LM 측 top-level 필드(RBLNDecoderOnlyModelConfig에 정의)이며 List[int]를 받고, 동작은 다음과 같습니다.

• 리스트로 주면 optimum-rbln은 배치 크기마다 별도의 디코더 그래프(decoder_batch_{N})를 함께 컴파일합니다.
• 모든 값은 batch_size 이하여야 하며, 최댓값은 batch_size와 같아야 합니다(작으면 자동으로 추가되며 경고가 출력됩니다).
• 추론 시에는 실제 배치 크기를 기준으로 가장 적합한 디코더 그래프가 선택되어 디코딩 단계에서 사용됩니다.

Model Zoo compile.py 설정에 batch_size=4를 추가하고 1, 2, 4 세 개의 디코더 그래프를 함께 만드는 예제입니다. max_seq_len도 32,768로 낮췄습니다. batch_size=4에서는 Model Zoo의 262,144 토큰 컨텍스트가 ViT와 함께 Rebel100™ 1장에 들어가지 않아 로드 시 Failed to create RBLN runtime ... Lack of device memory 오류가 발생합니다. 32,768이면 두 submodule이 NPU 1장에 함께 로드됩니다. 더 큰 batch에서 전체 컨텍스트를 유지하려면 visual을 다른 NPU에 배치해야 합니다(다중 모듈 모델 문제 해결 참고).

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

rbln_config = {
    "visual": {
        "max_seq_len": 16384,
        "num_devices": 1,
        "create_runtimes": False,
    },
    "num_devices": 1,
    "kvcache_partition_len": 8_192,
    "max_seq_len": 32_768,  # ← batch_size=4에서 262_144는 Rebel100™ 1장에 들어가지 않음
    "batch_size": 4,
    "decoder_batch_sizes": [1, 2, 4],  # ← 3개의 디코더 그래프 함께 컴파일
    "create_runtimes": False,
}

이렇게 컴파일한 모델은 런타임에 입력으로 들어오는 실제 배치 크기에 따라 다음과 같은 디코더 그래프를 사용합니다.

그 외 시나리오¶

특정 메모리, device 환경이나 컴파일, 추론 워크플로우는 다중 모듈 모델 트러블슈팅에서 단계별로 다룹니다. 자주 마주치는 시나리오와 해당 가이드는 다음과 같습니다.