콘텐츠로 이동

RBLN SDK 유저 가이드

RBLN SDK는 리벨리온 Neural Processing Unit (RBLN NPU)에서 사용자의 딥러닝 모델을 쉽게 구동할 수 있도록 도와주는 소프트웨어 스택입니다. RBLN NPU를 위한 별도의 최적화나 튜닝작업 없이도 사용자의 딥러닝 모델을 쉽게 구동할 수 있으며, RBLN NPU가 제공하는 강력한 전력 효율 및 성능을 활용한 서빙 파이프라인을 구축할 수 있습니다.

RBLN SDK는 프로덕션 환경에서 원활한 모델 배포를 지원하는 리벨리온의 고유 구성 요소로 이루어져 있습니다:

  • 드라이버
  • 컴파일러
  • 런타임
  • 프로파일러
  • 서빙 프레임워크

RBLN SDK는 텐서플로우, 파이토치, 허깅페이스 등으로 훈련된 딥러닝 모델을 지원하여 RBLN NPU 기반의 서빙 환경에서 구동할 수 있습니다.

RBLN NPU를 활용한 서빙 환경 구축에 들어가는 사용자의 노력을 최소화 함으로써, 사용자가 온전히 자신의 서비스 목적에 맞는 딥러닝 모델 개발에 집중할 수 있도록 하는 것이 RBLN SDK의 설계 철학 입니다. 다음 다이어그램은 RBLN SDK를 사용하여 고객의 딥러닝 모델을 RBLN NPU에서 구동하는 과정을 보여줍니다:

  1. 사전 훈련된 모델 준비
  2. RBLN 컴파일러를 이용한 모델 컴파일
  3. 파이썬과 C/C++ 런타임 API을 이용한 모델 추론
  4. RBLN 프로파일러를 통한 분석 & 조정
  5. vLLM, Triton Inference Server, TorchServe를 이용한 모델 서빙

시작하기

아래 링크들은 RBLN SDK 유저 가이드 목차이며, RBLN SDK 사용과 관련된 질문이나 피드백이 있다면 언제든지 문의 바랍니다.