TorchServe

TorchServe는 PyTorch 모델 서빙에 최적화된 오픈소스 소프트웨어입니다. TorchServe 환경에서 Custom handler에 RBLN SDK를 활용하여 리벨리온의 고성능 NPU 기반의 효율적인 서빙을 할 수 있습니다.

시작하기

TorchServe 설치

TorchServe GitHub 저장소에서 TorchServe 의존성을 쉽게 설치 할 수 있는 스크립트를 제공합니다. 설치 스크립트가 성공적으로 실행되면, Torchserve에 필요한 패키지들을 설치합니다.

$ git clone https://github.com/pytorch/serve.git
$ cd serve
$ python3 ./ts_scripts/install_dependencies.py
$ pip3 install torchserve torch-model-archiver torch-workflow-archiver

자세한 구성 정보는 TorchServe 공식 문서를 참고 바랍니다.

튜토리얼

사용자가 TorchServe 환경의 서빙을 이용할 수 있도록 튜토리얼을 제공합니다.

• Resnet50 서빙 : TorchServe를 이용한 이미지 분류(Image classification) 모델 서빙 예시
• YOLOv8 서빙 : TorchServe를 이용한 객체 감지 (Object detection) 모델 서빙 예시
• Llama3-8B 서빙 : vLLM 백앤드를 이용한 TorchServe에서 LLM 모델 서빙 예시
• Flash Attention을 이용한 Llama3.1-8B 서빙 : Flash Attention을 적용한 TorchServe에서 LLM 모델 서빙 예시