문제 해결¶

이 페이지에서는 자주 발생하는 문제의 해결 방법과 빠른 복구를 위한 팁, 그리고 원활한 사용을 돕는 안내를 제공합니다.

1. vllm와 vllm-rbln 패키지 임포트 실패¶

증상¶

import vllm; print(vllm.__path__)가 None으로 출력되는 경우
vllm-rbln plugin이 vllm에 등록되지 않아 UnspecifiedPlatform로 시작하는 경우

원인¶

v0.8.1 이전 버전에서 vllm-rbln 패키지는 vllm의 수정본이었습니다. v0.8.1부터는 vllm-rbln은 새로운 플러그인 시스템을 기반으로 구축되었습니다. 이러한 변경으로 인해 설치과정 중 충돌이 발생하여 vllm이 제대로 설치되지 않는 문제가 발생할 수 있습니다.

해결 방안¶

vllm 또는 vllm-rbln의 0.8.4 이전 버전을 사용한 적이 있다면, 재설치하기 전에 두 패키지를 모두 제거해야 합니다.

2. 모델 로드 실패¶

증상¶

[rank0]: AttributeError: 'ModelConfig' object has no attribute 'compiled_model_dir'라는 에러가 발생한 경우
모델 경로에서 .rbln files를 찾지 못한 경우

원인¶

현재 vllm-rbln은 사전 컴파일된 모델의 추론만 지원합니다. vLLM에서 torch.compile을 사용한 컴파일 지원은 곧 추가될 예정입니다.

해결 방안¶

vLLM 추론 이전에 optimum-rbln을 활용해서 모델을 컴파일해야 하고, 컴파일한 모델을 vLLM에서 사용해야합니다.

3. Import 실패¶

증상¶

1 2	`ImportError: libcudart.so.12: cannot open shared object file: No such file or directory ImportError: libc10_cuda.so: cannot open shared object file: No such file or directory`

원인¶

vLLM의 PyPI 패키지와 함께 설치되는 xformers 패키지는 libcudart.so.12, libc10_cuda.so와 같은 CUDA 관련 공유 라이브러리를 로드하려고 시도합니다. 이는 PyPI로 배포되는 vLLM 패키지가 CUDA 환경을 기준으로 사전 빌드되어 있기 때문입니다. RBLN 환경에서는 CUDA 라이브러리를 로드하면 위와 같은 import 오류가 발생합니다.

해결 방법¶

아래 두 가지 방법 중 편한 방식을 선택해 해결할 수 있습니다. 1. xformers 패키지를 수동으로 제거합니다. xformers는 vLLM RBLN에서 사용되지 않으므로 제거해도 문제 없습니다. 2. PyPI에서 제공되는 사전 빌드 패키지 대신 소스 코드에서 직접 빌드해 설치합니다. CUDA 라이브러리 로드를 방지하기 위해 이 방법을 권장합니다. 자세한 설치 방법은 설치 가이드(소스 빌드)를 참고하세요.