링크

RBLN SDK 설치를 축하드립니다! 이제 RBLN NPU에서 파이토치와 텐서플로우 모델을 구동할 준비가 완료되었습니다.

RBLN SDK 사용법을 빠르게 파악하는데 도움이 되는 자료들을 해당 페이지에 따로 모아두었습니다.

튜토리얼

먼저 아래의 튜토리얼을 통해 RBLN SDK 사용법을 빠르게 파악할 수 있습니다:

• 기본
  • 파이토치(비전) ResNet50 예제를 통해 토치비전 라이브러리에서 제공하는 파이토치 모델을 컴파일 및 추론할 수 있습니다.
  • 파이토치(자연어처리) BERT-base 예제를 통해 파이토치 모델을 컴파일 및 추론할 수 있습니다.
  • 텐서플로우(비전) EfficientNet-B0 예제를 통해 텐서플로우 케라스 어플리케이션 라이브러리에서 제공하는 텐서플로우 모델을 컴파일 및 추론할 수 있습니다.
  • 텐서플로우(자연어처리) BERT-base 예제를 통해 텐서플로우 모델을 컴파일 및 추론할 수 있습니다.
• 고급
  • 동시실행(Concurrent Processing) 예제는 비동기모드의 RBLN 런타임의 사용법을 설명합니다.
  • 대규모 언어 모델(LLM) 서빙
    • Triton 추론 서버를 사용하여 LLM 서빙 예제는 RBLN SDK와 Nvidia Triton 추론서버를 사용하여 Llama2-7B 모델을 서빙하는 방법을 설명합니다.
    • Continuous Batching 사용하여 LLM 서빙 예제는 vLLM을 사용하여 대규모 언어 모델을 효율적으로 서빙하는 방법을 설명합니다.

모델주

RBLN 모델주가 제공하는 파이토치 및 텐서플로우 모델들을 확인하고, 각 모델을 RBLN SDK로 컴파일 및 추론할 수 있는 명령어를 확인할 수 있습니다:

• 모델주(Model Zoo) > 파이토치
• 모델주(Model Zoo) > 텐서플로우

허깅페이스 transformers와 diffusers 모델들을 단일 또는 다중 NPU에서 동작시킬 수 있습니다:

• 허깅페이스 모델 지원 > optimum-rbln