콘텐츠로 이동

Recipes

RBLN NPU에서 모델을 서빙하기 위한 설정 모음입니다.

vllm serve는 모델을 OpenAI 호환 추론 서버로 실행합니다. RBLN NPU에서는 모델을 어떻게 컴파일할지 결정하는 옵션도 함께 받습니다.

1
vllm serve <model>

각 recipe는 모델 하나를 서빙하는 검증된 설정입니다. 설치할 패키지, 서버 실행 설정, 클라이언트 요청 예시가 들어 있습니다.

Recipe 찾기

  1. 사용할 NPU를 고르고 모델을 찾습니다.
  2. Recipe를 열어 필요한 패키지, 하드웨어, 설정을 확인합니다.
  3. Recipe를 실행한 뒤 요청을 보내 서버가 응답하는지 확인합니다.

Recipe는 검증된 설정일 뿐 고정된 요구사항은 아닙니다. 그대로 실행해도 되고, 직접 설정을 만드는 출발점으로 삼아도 됩니다. 새로운 variant는 검증되는 대로 추가됩니다.

  • 지원하는 모델 아키텍처는 RBLN vLLM에서 확인할 수 있습니다.
  • 사용할 수 있는 설정 옵션은 설정 가이드에 정리되어 있습니다.
  • 모델별 기능 지원 범위는 Feature Matrix에서 확인할 수 있습니다.

지원 모델

모델 작업 아키텍처
A.X-4.0-Light 텍스트 생성 Dense
A.X-K2 텍스트 생성 MoE
blip2-opt-2.7b 멀티모달 Dense
blip2-opt-6.7b 멀티모달 Dense
Cosmos-Reason1-7B 멀티모달 Dense
DeepSeek-R1-Distill-Llama-8B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-1.5B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-14B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-32B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-7B 텍스트 생성 Dense
DeepSeek-V3.2 텍스트 생성 MoE
EXAONE-3.0-7.8B-Instruct 텍스트 생성 Dense
EXAONE-3.5-2.4B-Instruct 텍스트 생성 Dense
EXAONE-3.5-32B-Instruct 텍스트 생성 Dense
EXAONE-3.5-7.8B-Instruct 텍스트 생성 Dense
gemma-2-9b-it 텍스트 생성 Dense
gemma-2b-it 텍스트 생성 Dense
gemma-3-12b-it 멀티모달 Dense
gemma-3-27b-it 멀티모달 Dense
gemma-3-4b-it 멀티모달 Dense
gemma-4-26B-A4b-it 멀티모달 MoE
gemma-4-31B-it 멀티모달 Dense
gemma-7b-it 텍스트 생성 Dense
gpt-oss-120b 텍스트 생성 MoE
gpt-oss-20b 텍스트 생성 MoE
gpt2-large 텍스트 생성 Dense
gpt2-medium 텍스트 생성 Dense
gpt2-xl 텍스트 생성 Dense
gpt2 텍스트 생성 Dense
Idefics3-8B-Llama3 멀티모달 Dense
KONI-Llama3.1-8B-Instruct-20241024 텍스트 생성 Dense
Llama-2-13b-chat-hf 텍스트 생성 Dense
Llama-2-7b-chat-hf 텍스트 생성 Dense
Meta-Llama-3-8B-Instruct 텍스트 생성 Dense
Llama-3.1-8B-Instruct 텍스트 생성 Dense
Llama-3.2-3B-Instruct 텍스트 생성 Dense
llava-1.5-7b-hf 멀티모달 Dense
llava-v1.6-mistral-7b-hf 멀티모달 Dense
Midm-2.0-Base-Instruct 텍스트 생성 Dense
Midm-2.0-Mini-Instruct 텍스트 생성 Dense
MiniMax-M2.7 텍스트 생성 MoE
Mistral-7B-Instruct-v0.3 텍스트 생성 Dense
opt-2.7b 텍스트 생성 Dense
opt-6.7b 텍스트 생성 Dense
paligemma-3b-mix-224 멀티모달 Dense
paligemma2-3b-mix-224 멀티모달 Dense
phi-2 텍스트 생성 Dense
pixtral-12b 멀티모달 Dense
Qwen2-7B-Instruct 텍스트 생성 Dense
Qwen2-VL-7B-Instruct 멀티모달 Dense
Qwen2.5-0.5B-Instruct 텍스트 생성 Dense
Qwen2.5-1.5B-Instruct 텍스트 생성 Dense
Qwen2.5-14B-Instruct 텍스트 생성 Dense
Qwen2.5-32B-Instruct 텍스트 생성 Dense
Qwen2.5-3B-Instruct 텍스트 생성 Dense
Qwen2.5-7B-Instruct 텍스트 생성 Dense
Qwen2.5-VL-7B-Instruct 멀티모달 Dense
Qwen3-0.6B 텍스트 생성 Dense
Qwen3-1.7B 텍스트 생성 Dense
Qwen3-30B-A3B 텍스트 생성 MoE
Qwen3-32B 텍스트 생성 Dense
Qwen3-4B 텍스트 생성 Dense
Qwen3-8B 텍스트 생성 Dense
Qwen3-VL-2B-Instruct 멀티모달 Dense
Qwen3-VL-30B-A3B-Instruct 멀티모달 MoE
Qwen3-VL-4B-Instruct 멀티모달 Dense
Qwen3-VL-8B-Instruct 멀티모달 Dense
Qwen3.5-0.8B 멀티모달 Dense
Qwen3.5-27B 멀티모달 Dense
Qwen3.5-2B 멀티모달 Dense
Qwen3.5-4B 멀티모달 Dense
Qwen3.5-9B 멀티모달 Dense
Qwen3.6-27B 멀티모달 Dense
Qwen3.8-27B 멀티모달 Dense
salamandra-7b-instruct 텍스트 생성 Dense
SOLAR-10.7B-Instruct-v1.0 텍스트 생성 Dense
whisper-base 음성 인식 —
whisper-large-v3-turbo 음성 인식 —
whisper-large-v3 음성 인식 —
whisper-medium 음성 인식 —
whisper-small 음성 인식 —
whisper-tiny 음성 인식 —
모델 작업 아키텍처
A.X-4.0-Light 텍스트 생성 Dense
bge-base-en-v1.5 임베딩 —
bge-large-en-v1.5 임베딩 —
bge-m3 임베딩 —
bge-reranker-base 리랭킹 —
bge-reranker-large 리랭킹 —
bge-reranker-v2-m3 리랭킹 —
bge-small-en-v1.5 임베딩 —
blip2-opt-2.7b 멀티모달 Dense
blip2-opt-6.7b 멀티모달 Dense
Cosmos-Reason1-7B 멀티모달 Dense
DeepSeek-R1-Distill-Llama-70B 텍스트 생성 Dense
DeepSeek-R1-Distill-Llama-8B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-1.5B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-14B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-32B 텍스트 생성 Dense
DeepSeek-R1-Distill-Qwen-7B 텍스트 생성 Dense
EXAONE-3.0-7.8B-Instruct 텍스트 생성 Dense
EXAONE-3.5-2.4B-Instruct 텍스트 생성 Dense
EXAONE-3.5-32B-Instruct 텍스트 생성 Dense
EXAONE-3.5-7.8B-Instruct 텍스트 생성 Dense
EXAONE-4.5-33B 멀티모달 Dense
gemma-2-2b-it 텍스트 생성 Dense
gemma-2-9b-it 텍스트 생성 Dense
gemma-2b-it 텍스트 생성 Dense
gemma-3-12b-it 멀티모달 Dense
gemma-3-27b-it 멀티모달 Dense
gemma-3-4b-it 멀티모달 Dense
gemma-4-26B-A4b-it 멀티모달 MoE
gemma-4-31B-it 멀티모달 Dense
gemma-7b-it 텍스트 생성 Dense
gpt-oss-20b 텍스트 생성 MoE
gpt2-large 텍스트 생성 Dense
gpt2-medium 텍스트 생성 Dense
gpt2-xl 텍스트 생성 Dense
gpt2 텍스트 생성 Dense
Idefics3-8B-Llama3 멀티모달 Dense
KONI-Llama3.1-8B-Instruct-20241024 텍스트 생성 Dense
Llama-2-13b-chat-hf 텍스트 생성 Dense
Llama-2-7b-chat-hf 텍스트 생성 Dense
Meta-Llama-3-8B-Instruct 텍스트 생성 Dense
Llama-3.1-70B-Instruct 텍스트 생성 Dense
Llama-3.1-8B-Instruct 텍스트 생성 Dense
Llama-3.2-1B-Instruct 텍스트 생성 Dense
Llama-3.2-3B-Instruct 텍스트 생성 Dense
Llama-3.3-70B-Instruct 텍스트 생성 Dense
llava-1.5-7b-hf 멀티모달 Dense
llava-v1.6-mistral-7b-hf 멀티모달 Dense
Midm-2.0-Base-Instruct 텍스트 생성 Dense
Midm-2.0-Mini-Instruct 텍스트 생성 Dense
Mistral-7B-Instruct-v0.3 텍스트 생성 Dense
opt-125m 텍스트 생성 Dense
opt-2.7b 텍스트 생성 Dense
opt-6.7b 텍스트 생성 Dense
opt-66b 텍스트 생성 Dense
paligemma-3b-mix-224 멀티모달 Dense
paligemma2-3b-mix-224 멀티모달 Dense
phi-2 텍스트 생성 Dense
pixtral-12b 멀티모달 Dense
Qwen2-7B-Instruct 텍스트 생성 Dense
Qwen2-VL-7B-Instruct 멀티모달 Dense
Qwen2.5-0.5B-Instruct 텍스트 생성 Dense
Qwen2.5-1.5B-Instruct 텍스트 생성 Dense
Qwen2.5-14B-Instruct 텍스트 생성 Dense
Qwen2.5-32B-Instruct 텍스트 생성 Dense
Qwen2.5-3B-Instruct 텍스트 생성 Dense
Qwen2.5-72B-Instruct 텍스트 생성 Dense
Qwen2.5-7B-Instruct 텍스트 생성 Dense
Qwen2.5-VL-7B-Instruct 멀티모달 Dense
Qwen3-0.6B 텍스트 생성 Dense
Qwen3-1.7B 텍스트 생성 Dense
Qwen3-30B-A3B 텍스트 생성 MoE
Qwen3-32B 텍스트 생성 Dense
Qwen3-4B 텍스트 생성 Dense
Qwen3-8B 텍스트 생성 Dense
Qwen3-Embedding-0.6B 임베딩 —
Qwen3-Embedding-4B 임베딩 —
Qwen3-Reranker-0.6B 리랭킹 —
Qwen3-Reranker-4B 리랭킹 —
Qwen3-VL-2B-Instruct 멀티모달 Dense
Qwen3-VL-30B-A3B-Instruct 멀티모달 MoE
Qwen3-VL-32B-Instruct 멀티모달 Dense
Qwen3-VL-4B-Instruct 멀티모달 Dense
Qwen3-VL-8B-Instruct 멀티모달 Dense
Qwen3.5-0.8B 멀티모달 Dense
Qwen3.5-27B 멀티모달 Dense
Qwen3.5-2B 멀티모달 Dense
Qwen3.5-4B 멀티모달 Dense
Qwen3.5-9B 멀티모달 Dense
Qwen3.6-27B 멀티모달 Dense
Qwen3.8-27B 멀티모달 Dense
salamandra-7b-instruct 텍스트 생성 Dense
SOLAR-10.7B-Instruct-v1.0 텍스트 생성 Dense
twitter-roberta-base-emotion 분류 —
whisper-base 음성 인식 —
whisper-large-v3-turbo 음성 인식 —
whisper-large-v3 음성 인식 —
whisper-medium 음성 인식 —
whisper-small 음성 인식 —
whisper-tiny 음성 인식 —