RBLN SDK 유저 가이드¶
RBLN SDK는 리벨리온 Neural Processing Unit (RBLN NPU)에서 사용자의 딥러닝 모델을 쉽게 구동할 수 있도록 도와주는 소프트웨어 스택입니다. RBLN NPU를 위한 별도의 최적화나 튜닝작업 없이도 사용자의 딥러닝 모델을 쉽게 구동할 수 있으며, RBLN NPU가 제공하는 강력한 전력 효율 및 성능을 활용한 서빙 파이프라인을 구축할 수 있습니다.
RBLN SDK는 프로덕션 환경에서 원활한 모델 배포를 지원하는 리벨리온의 고유 구성 요소로 이루어져 있습니다:
드라이버
컴파일러
런타임
프로파일러
서빙 프레임워크
RBLN SDK는 텐서플로우, 파이토치, 허깅페이스 등으로 훈련된 딥러닝 모델을 지원하여 RBLN NPU 기반의 서빙 환경에서 구동할 수 있습니다.
RBLN NPU를 활용한 서빙 환경 구축에 들어가는 사용자의 노력을 최소화 함으로써, 사용자가 온전히 자신의 서비스 목적에 맞는 딥러닝 모델 개발에 집중할 수 있도록 하는 것이 RBLN SDK의 설계 철학 입니다. 다음 다이어그램은 RBLN SDK를 사용하여 고객의 딥러닝 모델을 RBLN NPU에서 구동하는 과정을 보여줍니다:
- 사전 훈련된 모델 준비
- RBLN 컴파일러를 이용한 모델 컴파일
- 파이썬과 C/C++ 런타임 API을 이용한 모델 추론
- RBLN 프로파일러를 통한 분석 & 조정
- vLLM, Triton Inference Server, TorchServe를 이용한 모델 서빙
시작하기¶
아래 링크들은 RBLN SDK 유저 가이드 목차이며, RBLN SDK 사용과 관련된 질문이나 피드백이 있다면 언제든지 문의 바랍니다.
-
- 설치
- C/C++ 런타임 API
- 튜토리얼