콘텐츠로 이동

튜토리얼

아래의 튜토리얼을 통해 RBLN SDK의 사용 방법을 빠르게 파악할 수 있습니다.

RBLN 컴파일러

PyTorch와 TensorFlow를 위한 RBLN 파이썬 컴파일/런타임 API 사용 방법을 소개합니다. TensorFlow 튜토리얼은 TensorFlow 2.18과 tf_keras(Keras 2 API)를 대상으로 하며, Keras 3는 지원하지 않습니다.

  • PyTorch PyTorch ResNet50(Vision)
    RBLN 컴파일 API로 TorchVision ResNet50 모델을 컴파일하고 추론할 수 있습니다.

  • PyTorch PyTorch BERT(NLP)
    RBLN 컴파일 API로 PyTorch BERT-base 모델을 컴파일하고 추론할 수 있습니다.

  • TensorFlow TensorFlow EfficientNetB0(Vision)
    RBLN 컴파일 API로 TF Keras Applications EfficientNet-B0 모델을 컴파일하고 추론할 수 있습니다.

  • Concurrent_processing Concurrent Processing
    RBLN 런타임 API(AsyncRuntime)로 모델을 비동기로 실행할 수 있습니다.

  • Bucketing Bucketing 버케팅(Bucketing)
    하나의 런타임으로 여러 입력 형태를 지원하도록 모델을 컴파일할 수 있습니다.

RBLN C/C++ 런타임 API

RBLN C/C++ 런타임 API로 사전 컴파일된 모델을 배포하는 방법을 소개합니다.

  • C/C++ Image Classification
    RBLN C/C++ 런타임 API로 PyTorch ResNet50 모델을 배포할 수 있습니다.

  • C/C++ Object Detection
    RBLN C/C++ 런타임 API로 PyTorch YOLOv8 모델을 배포할 수 있습니다.

RBLN Optimum(허깅페이스 모델 지원)

RBLN Optimum으로 허깅페이스 모델을 컴파일하고 추론하는 방법을 소개합니다.

  • HuggingFace Llama3-8B(Chatbot)
    RBLN Optimum으로 Rebel100™ NPU 한 개에서 Llama3-8B 모델을 컴파일하고 배포할 수 있습니다.

  • HuggingFace Qwen3-VL-2B(VLM)
    RBLN Optimum으로 Rebel100™에서 Vision-Language Model을 효과적으로 실행할 수 있습니다.

  • HuggingFace Gemma-4-31B(버케팅)
    dense 구조의 Gemma4 모델을 버케팅으로 컴파일해, 하나의 런타임으로 여러 입력 형태를 처리할 수 있습니다.

RBLN 프로파일러

RBLN 런타임으로 모델을 추론할 때 프로파일링하고 분석하는 방법을 소개합니다.

  • Profiler Qwen3-1.7B(Text Generation)
    Qwen3-1.7B를 프로파일링하고, Rebel100™ 디바이스의 칩렛에 분산된 연산을 분석할 수 있습니다.

  • Profiler gpt-oss-20b
    RBLN vLLM으로 서빙하는 gpt-oss-20b를 프로파일링하고, Rebel100™에서의 실행을 분석할 수 있습니다.

  • Profiler gpt-oss-20b(Data Parallelism)
    data parallelism으로 여러 rank에 나누어 실행한 gpt-oss-20b를 프로파일링할 수 있습니다.

RBLN PyTorch

torch-rbln으로 RBLN NPU에서 PyTorch 코드를 실행하는 방법을 소개합니다.

모델 서빙

RBLN vLLM, NVIDIA Triton 추론 서버, Ray Serve, TorchServe로 모델을 서빙하는 방법을 소개합니다.