환경 변수¶

RBLN PyTorch는 환경 변수에서 설정을 읽습니다. TORCH_RBLN_* 변수는 torch-rbln의 설정입니다. 디바이스 매핑에 사용하는 RBLN_* 변수는 RBLN 런타임의 설정이지만 torch-rbln이 해석하므로 이 문서에서도 다룹니다. 런타임에 읽는다고 명시된 변수를 제외하면 프로세스를 시작하기 전에 설정해야 합니다.

변수를 읽는 시점에 따라 설정 변경이 반영되는 시점도 달라집니다.

로깅과 진단¶

1

export TORCH_RBLN_LOG_LEVEL=INFO

실행과 fallback¶

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 설정 가능한 모든 fallback 범주를 비활성화합니다. 앞에서 설명한 경로는 여전히 CPU에서 실행됩니다.
export TORCH_RBLN_DISABLE_FALLBACK=all

# 미지원 연산자만 오류로 표시합니다.
export TORCH_RBLN_DISABLE_FALLBACK=unsupported_op

# 두 범주를 비활성화합니다.
export TORCH_RBLN_DISABLE_FALLBACK=compile_error,strided_copy_error

# 기본 설정으로 되돌립니다.
unset TORCH_RBLN_DISABLE_FALLBACK

디바이스 매핑¶

기본적으로 각 물리 NPU는 논리 디바이스 rbln:N에 1:1로 매핑됩니다. ATOM™에서 Rebellions Scalable Design(RSD)을 사용해 여러 NPU를 하나의 논리 디바이스로 묶으려면 그룹 설정 변수 중 하나를 설정합니다. Rebel100™에서는 이 변수를 설정해서는 안 됩니다. 카드 내부 칩렛 네 개가 고정된 RSD-4 그룹을 이루며 여러 카드는 rbln-ccl로 연결합니다(튜토리얼: rbln-ccl 집합 통신). 다음의 모든 ID는 RBLN_VISIBLE_DEVICES가 노출한 NPU 목록의 인덱스입니다.

우선순위: RBLN_DEVICE_MAP > RBLN_NPUS_PER_DEVICE > 기본 1:1 매핑.

NPU 네 개가 노출된 경우의 예입니다.

NPU 여섯 개가 노출되고 RBLN_NPUS_PER_DEVICE=4이면 rbln:0 = NPU [0, 1, 2, 3]입니다. NPU 4, 5는 사용하지 않으며 경고가 표시됩니다.

[RBLN] Device Topology Initialized:
+----------------+------------------+---------------------+
| Logical Device | Physical NPU IDs | Status              |
+----------------+------------------+---------------------+
| rbln:0         | [ 0, 1 ]         | Active (Aggregated) |
| rbln:1         | [ 2, 3 ]         | Active (Aggregated) |
+----------------+------------------+---------------------+

[RBLN] Device Topology Initialized:
+----------------+------------------+---------------------+
| Logical Device | Physical NPU IDs | Status              |
+----------------+------------------+---------------------+
| rbln:0         | [ 0, 1 ]         | Active (Aggregated) |
| -              | [ 2 ]            | Unused              |
+----------------+------------------+---------------------+
[Warning] 1 physical NPU(s) are unused due to grouping constraints.

분산 실행¶

제어 평면 변수는 import 시점이 아니라 torch.distributed.init_process_group(backend="rbln-ccl")이 프로세스 그룹을 만들 때 읽습니다.

단일 호스트에서는 기본값으로 충분합니다. torchrun으로 NPU당 프로세스 하나를 실행하고 디바이스 최초 사용 전에 RBLN_VISIBLE_DEVICES로 각 프로세스에 NPU 하나를 지정한 뒤 init_process_group(backend="rbln-ccl")을 호출합니다. 실행 방법은 튜토리얼: rbln-ccl 집합 통신에서 확인할 수 있습니다. 여러 호스트에서는 모든 rank에서 init_process_group 전에 RBLN_ROOT_IP와 RBLN_LOCAL_IP를 설정합니다. 호스트에 RDMA 인터페이스가 여러 개 있으면 RBLN_RDMA_HCA 또는 RBLN_RDMA_IP로 데이터 평면 NIC도 지정합니다.

프로파일링¶

프로세스에 RBLN_PROFILER=1을 설정하면 torch.profiler.profile(activities=[ProfilerActivity.CPU, ProfilerActivity.PrivateUse1]) 영역에서 ATen 호출과 함께 RBLN 디바이스 이벤트를 기록합니다. 프로세스가 종료될 때 런타임은 RBLN Profiler 도구에서 사용할 자체 프로파일 파일(rbln_<timestamp>.pb)도 저장합니다. 실행 예는 튜토리얼: Rebel100™ 프로파일링에서 확인할 수 있습니다.

ABI 검사¶

import torch는 torch-rbln 빌드와 로드한 librbln.so가 같은 rebel ABI 규약을 사용하는지 확인합니다. 관련 메시지는 문제 해결에서 확인할 수 있습니다.

메모리¶

개발 전용 옵션¶

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# NaN/Inf 검사 없이 벤치마크합니다.
export TORCH_RBLN_DEV_DISABLE_OP_CPU_FALLBACK=nan_inf

# CPU fallback 없이 pdb에서 실행합니다.
export TORCH_RBLN_DEV_DISABLE_OP_CPU_FALLBACK=trace

# 여러 검사를 비활성화합니다.
export TORCH_RBLN_DEV_DISABLE_OP_CPU_FALLBACK=dtype,scalar

# 기본 설정으로 되돌립니다.
unset TORCH_RBLN_DEV_DISABLE_OP_CPU_FALLBACK

관련 문서¶

• 실행 방식 - 각 변수가 바꾸는 동작
• 문제 해결 - 증상별로 사용할 변수
• RBLN Compiler › 문제 해결 - 런타임에서 RBLN_VISIBLE_DEVICES로 디바이스 선택
• RBLN Profiler - RBLN_PROFILER와 프로파일러 출력