소프트웨어 스택과 버전¶

요청 라우팅¶

GatewayClass provider는 기본값이 Istio이며 agentgateway도 사용할 수 있습니다. 이 provider가 Gateway API 및 Gateway API Inference Extension(GAIE) CRD의 Gateway, HTTPRoute, InferencePool 리소스를 구현합니다. llm-d 라우터의 Endpoint Picker(EPP)는 prefix 캐시 친화도와 부하에 따라 요청별 prefill 및 decode 인스턴스를 선택하고 decode Pod의 라우팅 사이드카는 요청을 먼저 prefill로 보냅니다. 플랫폼에서 CRD와 provider를 설치하며 서빙 차트가 EPP와 라우팅 사이드카를 실행합니다.

모델 서빙¶

RBLN vLLM(vllm-rbln)은 RBLN NPU에서 vLLM을 실행합니다. prefill과 decode 인스턴스 모두에서 MiniMax-M2.7을 서빙하며 클라이언트 연동의 OpenAI 호환 API를 제공합니다. KV 캐시는 플러그인 2개가 처리합니다. lmcache-rbln은 LMCache의 RBLN 확장으로, 디바이스 메모리의 KV를 호스트 메모리 또는 NVMe로 오프로딩합니다(KV 캐시 오프로딩). 이 설계에서는 prefill에서만 실행하며 tier 2인 Rebellions Direct Storage(RDS)로 KV를 오프로딩합니다. nixl-rbln은 NIXL의 RBLN 백엔드로(Disaggregated Prefill / Decode), NUMA-local NIC을 통해 prefill이 생성한 KV를 RDMA로 decode에 전송합니다. 이 세 구성 요소는 모두 modelserver 이미지에 포함됩니다.

런타임과 컴파일러¶

RBLN PyTorch(torch-rbln)는 RBLN NPU용 PyTorch 확장이고 RBLN Compiler(rebel-compiler)는 모델 그래프를 컴파일합니다. 컴파일 결과는 컴파일 캐시 볼륨에 저장되며 컴파일러 버전이 일치할 때만 재사용합니다. 컴파일 캐시를 참고하세요. 두 구성 요소 모두 modelserver 이미지에 포함됩니다.

디바이스 할당¶

RBLN NPU Operator는 NPU를 DRA 디바이스로 게시합니다. dranet은 RoCE NIC을 DRA 디바이스로 게시합니다. 두 구성 요소의 배포 방법은 노드 준비를, 디바이스를 Pod에 할당하는 방법은 디바이스 할당을 참고하세요.

노드¶

RBLN Driver는 RBLN NPU용 커널 드라이버입니다. RoCE NIC 드라이버는 NIC 벤더가 제공하며 호스트 OS에 설치합니다. 드라이버 배포 방법과 RDS 설정 방법은 노드 준비를 참고하세요.

모니터링 기능은 선택 사항이며 기본값은 비활성 상태입니다. monitoring.enabled를 설정하면 기본값으로 VictoriaMetrics Operator가 메트릭을 수집합니다. Prometheus Operator도 선택할 수 있습니다. tracing.enabled를 설정하면 OpenTelemetry collector가 트레이스를 수집합니다. 모니터링을 참고하세요.

구성 요소 간 상호작용¶

요청 경로, prefix 캐시 예측, nixl-rbln의 KV 전송, lmcache-rbln의 KV 오프로딩은 Rebel100™ 기반 Coding Assistant › 아키텍처에 설명합니다. 요청 경로 밖의 상호작용은 디바이스 게시입니다.

• 디바이스 게시: RBLN NPU Operator는 NPU를, dranet은 RoCE NIC을 DRA 디바이스로 게시합니다(디바이스 할당 참고).

modelserver 이미지¶

modelserver 이미지 rbln-serve에는 RBLN SDK 0.12.0이 들어 있습니다. 따라서 이미지 태그 하나가 prefill과 decode Pod이 실행하는 SDK 패키지 버전을 모두 고정합니다. 아래 탭마다 해당 이미지에 들어 있는 Python과 RBLN SDK 패키지 버전을 정리했습니다. 함께 포함된 vLLM, LMCache, NIXL의 버전은 앞의 표와 같습니다.

태그 형식은 <SDK_VERSION>-<OS>-py<PYTHON_VERSION>입니다. 검증에는 0.12.0-ubi10.2-py3.12를 사용했으며, 이미지는 다음 기반 운영체제별로 제공합니다. 다른 운영체제의 이미지를 사용하려면 modelserver.image.tag를 해당 태그로 설정하세요.

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubi10.2-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubi10.0-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubi9.8-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubi9.6-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubuntu24.04-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-ubuntu22.04-py3.10

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-alma9.8-py3.12

1

docker pull repo.rebellions.ai/rebellions/rbln-serve:0.12.0-rocky9.8-py3.12