NPU 드라이버 자동 업그레이드¶

업그레이드 정책¶

노드 상태¶

현재 상태는 노드의 rebellions.ai/npu-driver-upgrade-state 레이블로 확인합니다.

maxParallelUpgrades는 동시 업그레이드 수를 제한합니다. 실패 노드도 슬롯을 점유하며, Skip·완료 노드는 점유하지 않습니다.

롤아웃 상태¶

다음 명령으로 롤아웃 상태를 조회합니다.

1
2

kubectl get rblnclusterpolicy
kubectl get rblnclusterpolicy <POLICY_NAME> -o yaml

status.driverUpgrade에는 다음 필드가 표시됩니다.

업그레이드 조건¶

status.conditions에서 다음 Condition의 status와 reason을 확인할 수 있습니다.

UpgradeIncomplete=False일 때 Skip 노드가 있으면 RolloutInProgress, 없으면 NoSkippedNodes로 표시됩니다. 실패 노드가 모든 업그레이드 슬롯을 점유하고 진행 중인 노드가 없다면 UpgradeDegraded=True, UpgradeStalled=False로 표시됩니다.

동작 중인 드라이버 확인¶

대상 노드의 새 드라이버 Pod가 Ready인지 확인하고, rbln-smi를 실행하여 업그레이드된 드라이버 버전을 확인합니다.

1
2

kubectl get pods -n rbln-system -o wide -l app.kubernetes.io/component=rbln-driver
kubectl exec -n rbln-system <DRIVER_POD> -c rbln-driver-container -- rbln-smi

드라이버 설치 상태¶

드라이버를 교체하는 동안 RBLNClusterPolicy 인스턴스가 notReady로 표시될 수 있습니다. 계속 준비되지 않은 상태라면 다음 메시지에 나온 노드와 드라이버 initContainer 로그를 확인합니다.

1

kubectl get rblnclusterpolicy <POLICY_NAME> -o jsonpath='{.status.conditions[?(@.type=="Ready")].message}'

노드 상태와 어노테이션¶

1
2

kubectl get nodes -L rebellions.ai/npu-driver-upgrade-state
kubectl describe node <NODE_NAME>

아래 어노테이션 이름에는 모두 rebellions.ai/ 접두사가 붙습니다.

어노테이션 메시지가 잘린 경우 상세 원인은 오퍼레이터 로그에서 확인할 수 있습니다.

이벤트¶

1
2
3

kubectl get events -A \
  --field-selector involvedObject.kind=Node,involvedObject.name=<NODE_NAME> \
  --sort-by=.lastTimestamp

상태 확인¶

제외된 노드와 각 노드의 진행 상태를 확인합니다.

1
2
3
4

kubectl get nodes \
  -L rebellions.ai/npu.present \
  -L rebellions.ai/npu-driver-upgrade-state \
  -L rebellions.ai/npu-driver-upgrade.skip

Skip 사유¶

rebellions.ai/* 리소스를 요청하거나 컨테이너 모드 NPU DRA claim을 사용하는 Pod가 eviction 대상입니다. 기본 컨테이너 DeviceClass는 npu.rebellions.ai이며, rebellions.ai/*와 연결된 사용자 정의 클래스도 포함됩니다.

노드의 rebellions.ai/npu-driver-upgrade-skip-reason 어노테이션에서 원인을 확인합니다. PodDisruptionBudget이 eviction을 막으면 원인이 eviction 타임아웃으로 표시될 수 있습니다.

드라이버 Pod 타임아웃¶

이미지 풀이나 컨테이너 시작 실패는 DriverUpgradePodStuck 경고로 표시됩니다. podRestartTimeoutSeconds가 지나거나(기본값 1800초), 준비되지 않은 컨테이너가 10회를 넘게 재시작하면 노드는 upgrade-failed가 됩니다. 각 타임아웃 값은 타임아웃 설정에 정리되어 있습니다.

재시도 경로¶

원인을 해결한 뒤 재시도를 요청하고 상태를 확인합니다.

1
2

kubectl annotate node <NODE_NAME> rebellions.ai/npu-driver-upgrade-requested=true --overwrite
kubectl get node <NODE_NAME> -L rebellions.ai/npu-driver-upgrade-state

자동 업그레이드를 껐다면 다시 켠 뒤 재시도를 요청해야 합니다. 다시 켜는 것만으로 실패 노드의 재시도가 보장되지는 않습니다.

명시적인 재시도 요청 외에는 다음 조건에서 업그레이드가 다시 진행됩니다.

검증 단계에서 실패한 노드는 Pod가 Ready가 되는 것만으로 복구되지 않습니다. 명시적으로 재시도를 요청하거나 드라이버 버전·컨테이너 설정을 변경해야 합니다.