콘텐츠로 이동

튜토리얼

아래의 튜토리얼을 통해 RBLN SDK의 사용 방법을 빠르게 파악할 수 있습니다.

RBLN 컴파일러

PyTorch와 TensorFlow를 위한 RBLN 파이썬 컴파일/런타임 API 사용 방법을 소개하고 있습니다.

  • PyTorch PyTorch Resnet50 (Vision)
    RBLN 컴파일러의 파이썬 API를 사용하여 ResNet50 예제를 통해 토치비전 라이브러리에서 제공하는 파이토치 모델을 컴파일 및 추론할 수 있습니다.

  • PyTorch PyTorch BERT (NLP)
    RBLN 컴파일러의 파이썬 API를 사용하여 BERT-base 예제를 통해 파이토치 모델을 컴파일 및 추론할 수 있습니다.

  • Tensorflow TensorFlow EfficientNetB0 (Vision)
    RBLN 컴파일러의 파이썬 API를 사용하여 EfficientNet-B0 예제를 통해 TensorFlow 케라스 어플리케이션 라이브러리에서 제공하는 TensorFlow 모델을 컴파일 및 추론할 수 있습니다.

  • Tensorflow TensorFlow BERT (NLP)
    RBLN 컴파일러의 파이썬 API를 사용하여 BERT-base 예제를 통해 TensorFlow 모델을 컴파일 및 추론할 수 있습니다.

  • Concurrent_processing Concurrent Processing
    RBLN 런타임을 사용하여 AI 모델을 비동기모드로 실행할 수 있습니다.

RBLN C/C++ 런타임 API

RBLN 컴파일러를 활용하여 사전 컴파일된 모델을 추론하기 위한 RBLN C/C++ 런타임 API 사용 방법을 소개합니다.

  • C/C++ Image Classification
    RBLN C/C++ 런타임 API를 사용하여 파이토치 ResNet50 모델을 배포할 수 있습니다.

  • C/C++ Object Detection
    RBLN C/C++ 런타임 API를 사용하여 파이토치 YOLOv8 모델을 배포할 수 있습니다.

  • C/C++ Text Generation
    RBLN C/C++ 런타임 API를 사용하여 Llama3-8b 모델을 배포할 수 있습니다.

허깅페이스 모델 지원

optimum-rbln을 사용하여 허깅페이스 모델의 컴파일과 모델 추론을 하는 방법을 소개합니다.

  • Huggingface SDXL-Turbo (Image Generation)
    optimum-rbln을 사용하여 SDXL-Turbo의 컴파일 및 배포를 할 수 있고, 이미지를 생성할 수 있습니다.

  • Huggingface Llama3-8B (Chatbot)
    optimum-rbln을 사용하여 여러개의 RBLN NPU들로 Llama3-8B를 컴파일 및 배포할 수 있습니다.

모델 프로파일링

RBLN 런타임으로 모델을 추론할때, 프로파일링과 분석하는 방법을 소개하고 있습니다.

  • Profiler 모델 프로파일 방법
    RBLN 런타임을 사용하여 모델을 추론 할 때 프로피일 할 수 있습니다.

  • Profiler Perfetto 기반 분석
    시각화 도구인 Perfetto를 사용하여 프로파일링 결과를 분석할 수 있습니다.

  • Profiler YOLOv8 (Object Detection)
    YOLOv8l을 프로파일링 하고, Perfetto를 사용하여 프로파일링 된 결과를 분석할 수 있습니다.

  • Profiler Stable Diffusion 3 (Image Generation)
    stable-diffusion-3-text-to-image을 프로파일링 하고, Perfetto를 사용하여 프로파일링 된 결과를 분석 할 수 있습니다.

  • Profiler Llama3-8B (Text Generation)
    Llama3-8B을 프로파일링 하고, Perfetto를 사용하여 프로파일링 된 결과를 분석할 수 있습니다.

모델 서빙

vLLM을 지원하는 Nvidia Triton 추론 서버와 TorchServe를 사용하여 컴파일된 AI 모델을 서빙하는 방법을 소개합니다.