오퍼레이터 관찰가능성¶

RBLN NPU Operator의 상태는 메트릭, Kubernetes 이벤트와 리소스의 Ready 조건, 로그로 확인합니다. NPU 사용률·온도·전력은 Metrics Exporter에서 확인할 수 있습니다.

오퍼레이터 메트릭¶

오퍼레이터는 RBLNClusterPolicy 인스턴스와 RBLNDriver 인스턴스의 조정(reconcile) 결과, NPU 노드 수, 드라이버 업그레이드 진행 상황 같은 자체 상태 메트릭을 Prometheus 형식으로 노출합니다. Helm에서 operator.metrics.enabled 값을 사용하여 활성화 여부를 설정할 수 있습니다(기본값 true).

1
2
3
4

operator:
  metrics:
    serviceMonitor:
      enabled: true

1
2
3

kubectl create clusterrolebinding rbln-operator-metrics-scraper \
  --clusterrole=rbln-npu-operator-metrics-reader \
  --serviceaccount=<MONITORING_NAMESPACE>:<PROMETHEUS_SERVICE_ACCOUNT>

1

kubectl get clusterrolebinding rbln-operator-metrics-scraper

오퍼레이터 이벤트¶

오퍼레이터는 상태 변경과 오류를 Kubernetes 이벤트로 기록합니다. kubectl describe로 발생 시점과 내용을 확인할 수 있습니다. 커스텀 리소스의 오류는 다음 표와 같이 Ready 조건에도 표시됩니다. 이벤트 보존 기간이 지난 뒤에는 Ready 조건에서 현재 상태를 확인할 수 있습니다.

오퍼레이터는 상태가 바뀔 때 이벤트를 한 번만 기록합니다. 상태가 그대로면 조정(reconcile) 루프를 반복해도 이벤트를 다시 기록하지 않습니다. DriverUpgradePodStuck은 예외로, 드라이버 Pod 교체 단계에서 대기하는 동안 반복해서 기록합니다. 네 가지 드라이버 검증 경고(InvalidSpec, ConflictingNodeSelector, DriverImageNotFound, DriverFamilyLabelMissing)는 이벤트 사유와 리소스 세대(metadata.generation)의 조합마다 한 번씩만 기록합니다. 따라서 리소스 설정이 바뀌지 않은 상태에서 문제가 해결되었다가 다시 발생하면 Ready 조건만 갱신하고 이벤트는 다시 기록하지 않습니다. 노드 라우팅 이벤트 두 가지는 조정 과정에서 노드 소유자가 바뀔 때만 기록합니다.

두 CRD 모두 클러스터 범위이므로, 이벤트는 오퍼레이터 네임스페이스가 아니라 default 네임스페이스에 기록됩니다.

드라이버 자동 업그레이드 중에는 오퍼레이터가 각 노드에 DriverUpgradeStarted → DriverUpgradeCompleted 순서로 이벤트를 기록하며, 단계가 실패하면 DriverUpgradeSkipped 또는 DriverUpgradeFailed를 기록합니다. 각 이벤트가 표시하는 상태는 이벤트에서 확인할 수 있습니다.

1
2
3

kubectl get events -A \
  --field-selector involvedObject.kind=Node,involvedObject.name=<NODE_NAME> \
  --sort-by=.lastTimestamp

1

kubectl describe rblnclusterpolicy <name>

1

kubectl describe rblndriver <name>

1
2

kubectl logs -n <NAMESPACE> deployment/rbln-npu-operator-controller-manager
kubectl get rblnclusterpolicy <name> -o jsonpath='{.status.conditions}'

드라이버와 RSMD 준비 상태¶

RBLNDriver의 .status.nodePools는 드라이버 Pod의 준비 상태를, .status.smd는 RSMD의 준비 상태를 표시합니다. 드라이버 Pod가 준비되어도 RSMD가 준비되지 않으면 SmdNotReady 사유와 함께 Ready=False로 표시됩니다.

1
2
3

kubectl get rblndriver
kubectl get rblndriver <DRIVER_NAME> -o jsonpath='{.status.nodePools}{"\n"}'
kubectl get rblndriver <DRIVER_NAME> -o jsonpath='{.status.smd}{"\n"}'

로깅¶

오퍼레이터는 Kubernetes 클라이언트 라이브러리가 생성하는 레코드를 포함한 구조화된 로그를 stdout에 출력합니다. 다음 차트 값으로 로그를 설정합니다.

1
2
3
4
5
6

operator:
  logging:
    level: info              # error | info | debug | panic 또는 logr V(N)을 뜻하는 정수 N
    encoder: json            # json | console
    timeEncoding: rfc3339nano
    develMode: false