콘텐츠로 이동

설치 가이드

Quick Installation

설치 매트릭스에서 환경을 선택하고, 해당 조합에 맞는 명령어를 복사하여 설치할 수 있습니다.

RBLN SDK Setup Deep Dive

이 섹션에서는 RBLN SDK의 각 컴포넌트별 설치 방법을 안내합니다. RBLN 드라이버와 RBLN 컴파일러는 다른 컴포넌트를 사용하기 위해 필수적이므로 반드시 먼저 설치해야 합니다. 나머지 컴포넌트들은 순서와 관계없이 필요한 것만 설치하면 됩니다.

RBLN 드라이버

rbln-smi로 드라이버 상태 확인

rbln-smi 명령어를 실행하여 알맞은 드라이버가 로드되었는지, 각 NPU에 정상적으로 접근할 수 있는지 확인합니다. 정상적인 환경에서는 아래와 같은 출력이 나타납니다.

$ rbln-smi
+-------------------------------------------------------------------------------------------------+
|                                Device Information KMD ver: 3.4.1                                |
+-----+-----------+---------+---------------+------+---------+------+---------------------+-------+
| NPU |    Name   |  Device |   PCI BUS ID  | Temp |  Power  | Perf |  Memory(used/total) |  Util |
+=====+===========+=========+===============+======+=========+======+=====================+=======+
| 0   | RBLN-CA22 | rbln0   |  0000:1b:00.0 |  35C |  18.4W  | P14  |    0.0B / 15.7GiB   |   0.0 |
| 1   | RBLN-CA22 | rbln1   |  0000:1c:00.0 |  34C |  18.2W  | P14  |    0.0B / 15.7GiB   |   0.0 |
+-----+-----------+---------+---------------+------+---------+------+---------------------+-------+
+-------------------------------------------------------------------------------------------------+
|                                       Context Information                                       |
+-----+---------------------+--------------+-----+----------+------+---------------------+--------+
| NPU |       Process       |      PID     | CTX | Priority | PTID |       Memalloc      | Status |
+-----+---------------------+--------------+-----+----------+------+---------------------+--------+
| N/A | N/A                 |   N/A        | N/A |   N/A    |  N/A |                 N/A |  N/A   |
+-----+---------------------+--------------+-----+----------+------+---------------------+--------+

위와 같은 표가 출력되면 커널 드라이버가 정상적으로 동작 중이므로, 나머지 드라이버 안내는 건너뛰고 RBLN 컴파일러로 이동해도 좋습니다.

rbln-smi 명령이 없거나 표가 비어 있다면, 이 섹션에서 안내하는 설치 단계를 마친 뒤 컴파일러 섹션으로 이동합니다.

RBLN 드라이버는 리눅스 커널 드라이버와 펌웨어를 포함하여, 운영체제가 RBLN NPU 디바이스를 인식할 수 있도록 합니다. 일반적으로 클라우드 서버에는 사전 설치되어 있습니다.

드라이버 설치 절차는 다음 문서에 정리되어 있습니다.

RBLN 컴파일러(rebel-compiler)

RBLN 컴파일러(rebel-compiler)는 RBLN SDK의 핵심 컴포넌트로, 사전 훈련된 모델을 RBLN NPU에서 실행 가능한 형식으로 변환합니다. 또한 파이썬 및 C/C++ 런타임 환경과 프로파일링 도구를 제공합니다. RBLN 컴파일러를 설치하기 위해서는 RBLN Portal 계정이 필요합니다.

주요 특징

  • 컴파일 API: 사전 훈련된 모델을 RBLN NPU에서 실행 가능한 형식으로 변환합니다.
  • 런타임 API:
    1. 파이썬 런타임: .whl 패키지로 설치합니다.
    2. C/C++ 런타임: GPG 키 등록과 apt 기반 설치가 필요합니다. 자세한 내용은 C/C++ 런타임 설치에서 확인할 수 있습니다.
  • 프로파일러 지원: RBLN Profiler를 통해 성능 분석 및 최적화를 제공합니다.

설치

  • .whl 패키지로 배포되며, 다음 명령어로 설치할 수 있습니다:
1
2
3
$ pip install \
  --extra-index-url https://pypi.rbln.ai/simple \
  rebel-compiler==0.12.0

RBLN vLLM(vllm-rbln)

RBLN vLLM(vllm-rbln)은 RBLN NPU에서 프론티어급 대형 언어 모델(LLM) 추론 및 서빙을 제공하는 vLLM용 하드웨어 플러그인입니다.

주요 특징

  • vLLM 통합: vLLM 라이브러리를 통해 RBLN NPU에서 LLM을 서빙합니다.
  • 사용법: RBLN vLLM Recipes에서 다양한 모델의 배포 예제를 확인할 수 있습니다.

설치

  • .whl 패키지로 배포되며, 다음 명령어로 설치할 수 있습니다:
1
2
3
4
$ pip install \
  --extra-index-url https://wheels.vllm.ai/0.30.0/cpu \
  --extra-index-url https://download.pytorch.org/whl/cpu \
  vllm-rbln==0.12.0

Note

vllm-rbln을 설치하면 호환되는 버전의 torch-rbln과 optimum-rbln도 함께 설치되므로, RBLN PyTorch와 RBLN Optimum 설치 단계는 건너뛰어도 됩니다.

  • 소스 코드에서 설치, 호환되는 추가 패키지 설치 및 사용법은 RBLN vLLM 개요에서 확인할 수 있습니다.

RBLN Optimum(optimum-rbln)

RBLN Optimum(optimum-rbln)은 HuggingFace API와 통합되어, transformers와 diffusers를 통해 제공된 모델들을 RBLN NPU에서 손쉽게 컴파일하고 실행할 수 있도록 지원합니다.

주요 특징

  • HuggingFace 통합: transformers와 diffusers의 모델에 대해 RBLN SDK 기반 추론을 손쉽게 지원합니다.
  • 간편한 배포: RBLN NPU에서 모델 최적화와 컴파일, 로딩을 지원합니다.
  • 사용법: RBLN Model Zoo에서 다양한 모델에 대한 예제를 확인할 수 있습니다.

설치

Note

RBLN vLLM을 설치했다면 optimum-rbln은 이미 설치되어 있습니다. RBLN vLLM 없이 RBLN Optimum만 사용하는 경우에만 별도로 설치합니다.

  • .whl 패키지로 배포되며, 다음 명령어로 설치할 수 있습니다:
1
2
3
$ pip install \
  --extra-index-url https://download.pytorch.org/whl/cpu \
  optimum-rbln==0.12.0

RBLN PyTorch(torch-rbln)

RBLN PyTorch(torch-rbln)은 PyTorch 워크로드를 RBLN NPU에서 실행할 수 있게 하는 PyTorch out-of-tree 확장입니다. 이 패키지는 import torch 시 자동으로 로드됩니다. 자세한 내용은 RBLN PyTorch 개요에서 확인할 수 있습니다.

주요 특징

설치

Note

RBLN vLLM을 설치했다면 torch-rbln은 이미 설치되어 있습니다. RBLN vLLM 없이 RBLN PyTorch만 사용하는 경우에만 별도로 설치합니다.

  • 전제 조건: RBLN 컴파일러 문서에 따라 rebel-compiler를 설치합니다.
  • .whl 패키지로 배포되며, RBLN 컴파일러가 설치되어 있다면 다음 명령어로 설치할 수 있습니다:
1
2
3
4
5
$ pip install \
  --index-url https://download.pytorch.org/whl/cpu \
  torch==2.13.0+cpu
$ pip install \
  torch-rbln==0.12.0

RBLN vLLM Recipes

RBLN vLLM Recipes는 RBLN vLLM으로 다양한 모델을 RBLN NPU에서 바로 서빙할 수 있도록 모델별 사용 가능한 배포 명령어와 적절한 조합(configuration)을 제공합니다. 각 레시피는 하나의 모델을 다루며, vllm serve 명령과 OpenAI 호환 API에 보내는 요청 예제를 함께 제공합니다. 각 모델별 레시피는 vLLM Recipes에서 확인할 수 있습니다.

주요 특징

  • 하드웨어별 명령: 사용하는 RBLN NPU에 따라 서빙 명령과 병렬화 설정을 확인할 수 있습니다.
  • 실행: 각 레시피는 설치 명령, 서빙 명령, 클라이언트 요청을 함께 제공합니다.

설치

  • 별도의 설치가 필요하지 않습니다. 각 레시피에는 필요한 패키지(일반적으로 rebel-compiler와 vllm-rbln)가 안내되어 있습니다.

RBLN Model Zoo

RBLN Model Zoo는 RBLN NPU에서 다양한 모델을 컴파일 및 실행할 수 있도록 모델별 예제를 제공합니다. RBLN NPU에 자체 모델을 적용할 때 유용한 참고 자료로 활용할 수 있습니다.

주요 특징

  • 다양한 모델: 음성, 텍스트, 영상 등 다양한 태스크와 모델에 대한 실행 스크립트를 포함합니다.
  • 구현 가이드: RBLN NPU를 이용하여 모델의 컴파일 및 실행 시나리오를 개발하는 방법에 대한 단계별 지침을 제공합니다.

설치

  • GitHub에서 호스팅되며, 다음 명령어로 저장소를 클론할 수 있습니다:
1
$ git clone --recursive https://github.com/RBLN-SW/rbln-model-zoo.git

서빙 프레임워크

서빙 프레임워크에서는 RBLN NPU를 NVIDIA Triton Inference Server, TorchServe와 같은 인기 서빙 솔루션과 통합하는 방법을 제시합니다. vLLM을 이용한 LLM 서빙은 RBLN vLLM에서 확인할 수 있습니다.

주요 특징

설치

다음 단계

이제 RBLN SDK 설치가 완료되었습니다. PyTorch 및 TensorFlow 모델을 RBLN NPU에서 실행하는 자세한 방법은 각 컴포넌트의 튜토리얼에 정리되어 있습니다.