문제 해결

이 페이지에서는 자주 발생하는 문제의 해결 방법과 빠른 복구를 위한 팁, 그리고 원활한 사용을 돕는 안내를 제공합니다.

1. vllm와 vllm-rbln 패키지 임포트 실패

증상

• import vllm; print(vllm.__path__)가 None으로 출력되는 경우
• vllm-rbln plugin이 vllm에 등록되지 않아 UnspecifiedPlatform로 시작하는 경우

원인

v0.8.1 이전 버전에서 vllm-rbln 패키지는 vllm의 수정본이었습니다. v0.8.1부터는 vllm-rbln은 새로운 플러그인 시스템을 기반으로 구축되었습니다. 이러한 변경으로 인해 설치과정 중 충돌이 발생하여 vllm이 제대로 설치되지 않는 문제가 발생할 수 있습니다.

해결 방안

vllm 또는 vllm-rbln의 0.8.4 이전 버전을 사용한 적이 있다면, 재설치하기 전에 두 패키지를 모두 제거해야 합니다.

2. 모델 로드 실패

증상

• [rank0]: AttributeError: 'ModelConfig' object has no attribute 'compiled_model_dir'라는 에러가 발생한 경우
• 모델 경로에서 .rbln files를 찾지 못한 경우

원인

현재 vllm-rbln은 사전 컴파일된 모델의 추론만 지원합니다. vLLM에서 torch.compile을 사용한 컴파일 지원은 곧 추가될 예정입니다.

해결 방안

vLLM 추론 이전에 optimum-rbln을 활용해서 모델을 컴파일해야 하고, 컴파일한 모델을 vLLM에서 사용해야합니다.