NVIDIA Triton 추론 서버¶

NVIDIA Triton 추론 서버는 머신러닝 모델을 서빙하는 오픈소스 소프트웨어입니다. NVIDIA Triton 추론 서버의 Python backend와 vLLM backend를 이용하여 리벨리온 NPU에서 모델을 서빙할 수 있습니다. 대형 언어 모델(LLM)을 위한 vLLM backend는 RBLN vLLM과 통합되어 Continuous Batching을 지원합니다.

시작하기¶

RBLN NPU를 효과적으로 이용하기 위해서는 rebel-compiler 패키지가 설치되어 있어야 합니다.

Docker에서 NVIDIA Triton Inference Server를 실행하려면 nvcr.io/nvidia/tritonserver:26.07-vllm-python-py3 이미지를 사용합니다. 관련된 자세한 정보는 Llama3-8B 서빙 튜토리얼 내의 3단계의 On-premises 섹션에서 확인할 수 있습니다.

튜토리얼¶

다음 튜토리얼에서는 NVIDIA Triton Inference Server를 이용하여 RBLN NPU에서 모델을 서빙하는 방법을 소개합니다.

• ResNet50 서빙 : NVIDIA Triton 추론 서버를 이용한 Image classification 모델 서빙 예시
• YOLOv8 서빙 : NVIDIA Triton 추론 서버를 이용한 Object Detection 모델 서빙 예시
• Llama3-8B 서빙 : vLLM 백엔드를 이용한 NVIDIA Triton Inference Server에서 LLM 모델 서빙 예시
• Flash Attention을 이용한 Llama3.1-8B 서빙 : Flash Attention을 적용한 NVIDIA Triton Inference Server에서 LLM 모델 서빙 예시