RBLN 메트릭 게시자¶

RBLN SDK는 Rebellions NPU 디바이스와 관련된 상세 메트릭을 Prometheus 형식으로 노출하는 Metrics Exporter를 제공합니다. 이 메트릭들은 Prometheus가 쉽게 수집하고 Grafana를 사용하여 시각화할 수 있도록 설계되어, Rebellions NPU 디바이스를 전반적으로 모니터링할 수 있도록 돕습니다.

배포¶

1단계: NPU 노드 준비¶

디바이스 플러그인 문서에 설명된 대로 RBLN NPU가 장착된 쿠버네티스 노드를 준비하고 RBLN 드라이버를 설치하세요.

2단계: 프로메테우스 배포¶

쿠버네티스 클러스터에 프로메테우스를 헬름(Helm) 또는 오퍼레이터(Operator)를 사용하여 배포하세요.

프로메테우스를 미리 배포하지 않아도 RBLN 메트릭 게시자를 배포할 수 있습니다.

3단계: RBLN 메트릭 게시자 배포¶

각 노드에 RBLN 메트릭 게시자를 데몬셋(DaemonSet) 파드로 배포하세요.

$ kubectl apply -f https://raw.githubusercontent.com/rebellions-sw/rbln-metrics-exporter/refs/heads/main/deployments/kubernetes/daemonset.yaml

제공된 매니페스트에는 Metrics Exporter가 RBLN NPU가 장착된 노드에만 배포되도록 하는 어피니티(affinity) 규칙이 포함되어 있습니다. 특히, nodeAffinity를 사용하여 rebellions.ai/npu.present 레이블이 "true"로 설정된 노드를 대상으로 하며, 이 레이블은 일반적으로 rbln-npu-feature-discovery에 의해 설정됩니다.

affinity:
  nodeAffinity:
    requiredDuringSchedulingIgnoredDuringExecution:
      nodeSelectorTerms:
        - matchExpressions:
            - key: rebellions.ai/npu.present
              operator: In
              values:
                - "true"

Kubernetes 모드¶

Kubernetes 환경이 아닐 때는 pod 리소스 조회와 라벨 의존성을 비활성화할 수 있습니다.

매니페스트 env: RBLN_METRICS_EXPORTER_KUBERNETES_MODE=off
바이너리 플래그: ./rbln-metrics-exporter --kubernetes-mode=off

Prometheus 규약 메트릭 이름¶

Exporter는 Prometheus 명명 규약을 따르는 메트릭 이름(rbln_npu_temperature, rbln_npu_power 등)을 내보냅니다. 이는 Metrics Exporter v0.2.4부터 적용된 변경으로, 그 이전 버전으로 설치된 환경에서는 대시보드와 알람을 새 이름으로 마이그레이션해야 합니다. 기존 RBLN_DEVICE_STATUS:* 이름은 deprecated 상태이며 향후 릴리스에서 제거됩니다.

NPU Operator(차트 0.4.3 이상)는 기본적으로 PROMETHEUS_METRIC_NAMES=true로 exporter를 배포하므로, 대시보드와 알람은 메트릭 정보에 정리된 rbln_npu_* 이름으로 조회해야 합니다.

기존 메트릭 이름에서의 마이그레이션

RBLN_DEVICE_STATUS:* 이름을 기준으로 매칭하는 기존 대시보드와 알람은 오퍼레이터 차트를 0.4.3으로 업그레이드하기 전에 rbln_npu_* 이름으로 변경해야 합니다. 전환 기간 동안 기존 이름을 유지하려면 Helm 값의 metricsExporter.env로 exporter Pod에 PROMETHEUS_METRIC_NAMES=false를 전달해야 합니다. 기존 이름이 제거되는 릴리스 전에 마이그레이션을 완료해야 합니다.

4단계: (선택 사항) Prometheus 메트릭 스크랩 설정¶

Prometheus가 RBLN Metrics Exporter에서 메트릭을 자동으로 찾아 스크랩하게 하려면, ServiceMonitor 리소스를 생성할 수 있습니다. Prometheus Operator를 사용한다면 특히 유용하게 사용할 수 있습니다. 다음은 ServiceMonitor 설정 예시입니다:

---
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  name: rbln-metrics-exporter
  namespace: monitoring
  labels:
    release: prometheus  # Must match the serviceMonitorSelector you configured when installing Prometheus so that this ServiceMonitor is discovered
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: rbln-metrics-exporter
  namespaceSelector:
    matchNames:
      - kube-system
  endpoints:
  - port: metrics
    path: /metrics
    interval: 30s
    scrapeTimeout: 10s

ServiceMonitor의 selector 레이블이 RBLN Metrics Exporter 파드의 레이블과 일치하는지, 그리고 release 레이블(사용하는 경우)이 Prometheus 배포와 일치하는지 확인하세요. 이 ServiceMonitor는 kubectl apply -f servicemonitor.yaml 명령으로 적용할 수 있습니다.

5단계: (선택 사항) 그라파나 배포¶

프로메테우스 메트릭을 그라파나 대시보드로 시각화하려면, 쿠버네티스 클러스터에 그라파나를 헬름(Helm) 또는 오퍼레이터(Operator)를 사용하여 배포하세요.

메트릭 정보¶

다음 메트릭들은 각 NPU 디바이스에 대해 내보내지며, 디바이스 식별자(UUID), 카드 이름, 캐릭터 디바이스 노드(rblnN)로 태그가 지정됩니다.

이름	기존 별칭(deprecated)	설명	단위	최소 버전
`rbln_npu_temperature`	`RBLN_DEVICE_STATUS:TEMPERATURE`	온도	°C	`v0.2.0`
`rbln_npu_power`	`RBLN_DEVICE_STATUS:CARD_POWER`	전력 사용량	W	`v0.2.0`
`rbln_npu_memory_used`	`RBLN_DEVICE_STATUS:DRAM_USED`	사용 중인 DRAM	Bytes	`v0.2.0`
`rbln_npu_memory_total`	`RBLN_DEVICE_STATUS:DRAM_TOTAL`	총 DRAM	Bytes	`v0.2.0`
`rbln_npu_utilization`	`RBLN_DEVICE_STATUS:UTILIZATION`	활용률	%	`v0.2.0`
`rbln_npu_health`	`RBLN_DEVICE_STATUS:HEALTH`	NPU 상태	0/1	`v0.2.0`
`rbln_npu_device_status`	N/A	디바이스 상태 머신 상태 (`state` 라벨별 시리즈, 현재 상태만 1)	0/1	`v0.3.0`
`rbln_npu_power_state`	N/A	DVFS 성능 상태	레벨	`v0.3.0`
`rbln_npu_clock_frequency_mhz`	N/A	`clock` 라벨이 가리키는 블록의 클럭 주파수	MHz	`v0.3.0`
`rbln_npu_pcie_link_speed_gts`	N/A	현재 PCIe 링크 속도	GT/s	`v0.3.0`
`rbln_npu_pcie_link_width`	N/A	현재 PCIe 링크 폭	레인	`v0.3.0`
`rbln_npu_device_info`	N/A	디바이스 식별 정보와 정적 속성을 라벨로 노출	항상 1	`v0.3.0`
`rbln_up`	N/A	마지막 `rbln-smd` 메트릭 수집 성공 여부	0/1	`v0.3.1`

Note

rbln_npu_health(기존 RBLN_DEVICE_STATUS:HEALTH)는 이진 상태 지표입니다. 0은 NPU가 활성 상태임을, 1은 비활성 상태임을 의미합니다.

Note

rbln_up은 Exporter 시작 후 첫 수집 사이클 전까지는 0으로 노출합니다.

Exporter는 다음 메트릭을 확인하지 못한 경우 해당 메트릭을 노출하지 않습니다.

rbln_npu_power_state: 데몬이 성능 상태 값을 제공하지 않는 디바이스
rbln_npu_clock_frequency_mhz: 플랫폼이 구현하지 않은 클럭
rbln_npu_pcie_link_speed_gts, rbln_npu_pcie_link_width: 토폴로지 정보를 조회하지 못한 디바이스

공통 NPU 메트릭 라벨 속성¶

라벨	설명
`name`	커널 드라이버가 노출하는 캐릭터 디바이스 노드(`Device.name`, 예: `rbln0`)
`uuid`	NPU 디바이스의 전역 고유 식별자(`Device.uuid`)
`card`	`Device.card_name`에서 노출되는 카드 제품명(예: `RBLN-CA25`)
`deviceID`	프로토에 보고된 PCIe 디바이스 ID(`Device.dev_id`, 예: `1250`)
`hostname`	해당 NPU를 사용하는 파드가 스케줄된 쿠버네티스 노드 이름
`driver_version`	`VersionInfo.drv_version`에서 반환되는 커널 드라이버 버전
`firmware_version`	`VersionInfo.fw_version`에서 반환되는 NPU 펌웨어 버전

Kubernetes NPU 메트릭 라벨 속성¶

라벨	설명
`namespace`	NPU를 사용하는 워크로드의 `Pod.metadata.namespace`
`container`	NPU를 소비하는 컨테이너 이름(`Pod.spec.containers[].name`)
`pod`	NPU 할당을 보유한 파드 이름(`Pod.metadata.name`)

메트릭별 추가 라벨 속성¶

rbln_npu_device_status와 rbln_npu_clock_frequency_mhz는 공통 라벨에 더해 각각 state, clock 라벨을 사용합니다.

라벨	사용 메트릭	값
`state`	`rbln_npu_device_status`	`ready` · `busy` · `init` · `fault` · `finish` · `not_found`
`clock`	`rbln_npu_clock_frequency_mhz`	`cp0` · `cp1` · `dc0` · `dc1` · `bus` · `shm` · `dram`

디바이스 정보 메트릭 라벨 속성¶

rbln_npu_device_info는 공통 라벨에 더해 다음 라벨로 디바이스의 정적 속성을 노출합니다.

라벨	설명
`smc_version`	SMC 펌웨어 버전
`pci_bus_id`	PCI 버스 주소
`numa_node`	디바이스가 연결된 NUMA 노드 번호(NUMA 정보가 없으면 `-1`)
`rsd_group`	디바이스가 속한 RSD 그룹
`cpu_list`	디바이스의 로컬 CPU 목록
`is_vf`	SR-IOV 가상 함수(VF) 여부(`true`/`false`)
`parent_name`	VF인 경우 부모 물리 디바이스 이름
`num_vfs`	물리 디바이스에 구성된 VF 수

Note

numa_node, rsd_group, cpu_list는 토폴로지 정보를 조회하지 못한 경우 Exporter는 이 라벨을 빈 값으로 노출합니다.

메트릭 예제¶

다음은 Exporter가 생성하는 메트릭 텍스트 형식의 예시입니다(Prometheus 규약 이름이며, 기존 이름도 동일한 형태를 따릅니다).

# HELP rbln_npu_temperature NPU temperature (C)
# TYPE rbln_npu_temperature gauge
rbln_npu_temperature{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 36
rbln_npu_temperature{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 37

# HELP rbln_npu_power Card power usage (W)
# TYPE rbln_npu_power gauge
rbln_npu_power{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 55.174204
rbln_npu_power{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 55.150208

# HELP rbln_npu_memory_used DRAM used (bytes)
# TYPE rbln_npu_memory_used gauge
rbln_npu_memory_used{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_memory_used{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0

# HELP rbln_npu_memory_total DRAM total (bytes)
# TYPE rbln_npu_memory_total gauge
rbln_npu_memory_total{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1.6877879296e+10
rbln_npu_memory_total{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1.6877879296e+10

# HELP rbln_npu_utilization Utilization (%)
# TYPE rbln_npu_utilization gauge
rbln_npu_utilization{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_utilization{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0

# HELP rbln_npu_health NPU health status
# TYPE rbln_npu_health gauge
rbln_npu_health{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_health{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0

# HELP rbln_npu_device_status NPU device state machine status (1 = device is in the labeled state)
# TYPE rbln_npu_device_status gauge
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="busy",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="fault",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="finish",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="init",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="not_found",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",state="ready",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="busy",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="fault",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="finish",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="init",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="not_found",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 0
rbln_npu_device_status{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",state="ready",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1

# HELP rbln_npu_power_state DVFS performance state (0 = highest performance)
# TYPE rbln_npu_power_state gauge
rbln_npu_power_state{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 14
rbln_npu_power_state{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 14

# HELP rbln_npu_clock_frequency_mhz Clock frequency of the labeled block (MHz)
# TYPE rbln_npu_clock_frequency_mhz gauge
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="bus",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1000
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="bus",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1000
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="cp0",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="cp0",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="dc0",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="dc0",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="dc1",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="dc1",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1500
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="shm",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 700
rbln_npu_clock_frequency_mhz{card="RBLN-CA25",clock="shm",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 700

# HELP rbln_npu_pcie_link_speed_gts Current PCIe link speed (GT/s)
# TYPE rbln_npu_pcie_link_speed_gts gauge
rbln_npu_pcie_link_speed_gts{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 32
rbln_npu_pcie_link_speed_gts{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 32

# HELP rbln_npu_pcie_link_width Current PCIe link width (lanes)
# TYPE rbln_npu_pcie_link_width gauge
rbln_npu_pcie_link_width{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln0",namespace="default",pod="npu-pod",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 16
rbln_npu_pcie_link_width{card="RBLN-CA25",container="ubuntu",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",name="rbln1",namespace="default",pod="npu-pod",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 16

# HELP rbln_npu_device_info Device identity and static attributes as labels (value is always 1)
# TYPE rbln_npu_device_info gauge
rbln_npu_device_info{card="RBLN-CA25",container="ubuntu",cpu_list="0-31",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",is_vf="false",name="rbln0",namespace="default",num_vfs="0",numa_node="-1",parent_name="",pci_bus_id="0000:05:00.0",pod="npu-pod",rsd_group="rsd1",smc_version="3.2.2",uuid="55668c63-d739-4193-8212-ad7ba933520c"} 1
rbln_npu_device_info{card="RBLN-CA25",container="ubuntu",cpu_list="0-31",deviceID="1250",driver_version="3.2.2",firmware_version="3.2.2",hostname="sw-mpc-clsdk-bm-worker-01",is_vf="false",name="rbln1",namespace="default",num_vfs="0",numa_node="-1",parent_name="",pci_bus_id="0000:06:00.0",pod="npu-pod",rsd_group="rsd1",smc_version="3.2.2",uuid="84389d45-ebf3-4b74-9d80-6ec8a09d8be4"} 1

# HELP rbln_up 1 if the last metrics collection from rbln-smd succeeded, 0 otherwise
# TYPE rbln_up gauge
rbln_up 1