운영¶
개요¶
이 섹션은 설치한 서빙 스택을 운영하는 방법을 다룹니다.
사전 준비
이 섹션은 Kubernetes 배포의 절차로 설치한 서빙 스택이 요청을 처리하고 있는 상태를 전제로 합니다. 모니터링은 선택 사항입니다. 메트릭을 수집하는 monitoring.enabled와 트레이스를 수집하는 tracing.enabled의 기본값은 모두 false입니다. 메트릭을 수집하려면 클러스터에 VictoriaMetrics Operator(기본) 또는 Prometheus Operator가 있어야 합니다. 트레이스를 수집하려면 클러스터에 OpenTelemetry(OTel) collector가 있어야 합니다.
다음 표는 이 섹션의 문서와 각 문서가 다루는 내용입니다.
| 문서 | 다루는 내용 |
|---|---|
| 모니터링 | 메트릭 수집 대상, prefix 캐시 hit 메트릭, NPU 디바이스 메트릭, 트레이스 |
| 확장 및 업그레이드 | 복제본 수와 P:D 비율 조정, 변경 방법별 규칙과 영향, 롤링 업데이트, 버전 호환성, 제거 |
| 장애 대응 | 증상별 진단, P/D role별 장애 영향, P/D 전송 실패, RoCE NIC 장애, NPU 및 RDS 디바이스 장애 |
관련 문서¶
- Kubernetes 배포 - 설치 절차, 디바이스 할당, 컴파일 캐시, 시작 및 준비 상태 프로브
- 서빙 설정 - 서빙 인자, 환경 변수, 각 값을 정한 근거
- 소프트웨어 스택과 버전 - 검증된 SDK 및 Kubernetes 조합
- 검증 및 제한 사항 - 검증한 Target Configuration과 서빙 구성, 재현 방법
- llm-d Cluster Observability - 라우팅 계층의 텔레메트리
- RBLN 메트릭 익스포터 - NPU 디바이스 텔레메트리
- RBLN NPU Operator 설치 및 RBLN NPU Operator 업그레이드 - RBLN Driver 및 RBLN NPU Operator 설치와 업그레이드
- RBLN Cloud Native Stack(RCNS) - 함께 검증한 Kubernetes 버전과 플랫폼 구성 요소 버전