콘텐츠로 이동

레퍼런스 디자인

개요

레퍼런스 디자인은 Rebellions가 Rebel100™에서 동작을 확인한 서빙 스택 구성을 실제 실행한 그대로 공개하는 예시 문서입니다. 에이전트 워크로드를 대상으로 설치한 소프트웨어 버전과 서빙에 사용한 인자를 포함하며 각 인자별로 해당 값을 선택한 이유를 기록합니다.

이 디자인 문서 시리즈의 목적은 재현성과 확장성입니다. 문서에 적힌 구성을 그대로 배포하면 해당 문서에서 검증한 동작을 재현할 수 있습니다. 서빙 규모를 확장할 때는 해당 구성을 출발점으로 삼는 것을 권장합니다.

레퍼런스 디자인은 다음에 해당하지 않습니다.

  • 레퍼런스 디자인은 튜토리얼이 아닙니다. 개별 기능의 사용법은 시작하기와 각 소프트웨어의 튜토리얼에서 확인할 수 있습니다. 이 시리즈는 하나의 완전한 구성을 다룹니다.
  • 레퍼런스 디자인은 벤치마크가 아닙니다. 서빙 성능은 워크로드에 따라 달라지므로 배포 규모를 정하기 전에 자체 워크로드로 설계를 평가하는 것을 권장합니다.
  • 레퍼런스 디자인은 납품 사양서가 아닙니다. 하드웨어 구성은 기술적 기준선으로만 설명합니다.

대상 독자

역할 이 시리즈에서 다루는 내용
AI 엔지니어 모델 선택과 병렬화, KV 캐시, speculative decoding 인자의 선정 근거 및 값을 변경했을 때의 영향
시스템 관리자 하드웨어, 네트워크, 스토리지 요구 사항, Kubernetes 배포 토폴로지, 운영 중 확인할 메트릭과 장애 유형

상태 배지

각 구성 요소와 설명에는 확인 범위를 나타내는 배지가 붙습니다. 배지가 없는 설명을 Validated로 해석해서는 안 됩니다.

배지 의미
Validated 해당 문서의 검증 및 제한 사항 페이지에 기록된 검증에서 동작을 확인했습니다. 노드 수나 P/D 배치에 따라 달라지는 항목은 Target Configuration에서 확인한 경우에만 표시합니다.
Default configuration 검증에서 동작은 확인했지만 성능에 주는 효과는 평가하지 않았습니다.
Optional 표준 설정에는 포함되지 않으며 필요에 따라 활성화할 수 있습니다. 영향은 별도로 설명합니다.
Experimental 동작이 확인되지 않았거나 인터페이스가 변경될 수 있습니다. 프로덕션 환경에서는 사용을 권장하지 않습니다.
Unverified 값이나 설명을 뒷받침할 근거가 아직 없습니다. 근거를 확보하는 대로 갱신합니다.

특히 Default configuration과 Validated를 구분해야 합니다. 동작을 확인했다는 사실만으로 성능 효과가 입증되지는 않습니다.

Target Configuration

각 레퍼런스 디자인은 하나의 Target Configuration을 정의합니다. 제품 도입 단위를 기준으로 권장하는 구성이자 확장 계획의 기준점입니다. 검증은 Target Configuration 자체에서 수행하므로 권장 구성과 별도의 검증 구성을 나누지 않고 하나의 구성을 제시합니다.

상태 배지는 Target Configuration의 각 부분을 어디까지 확인했는지 나타냅니다. Target Configuration에 포함되어 있어도 어느 검증에서도 사용하지 않은 부분에는 Unverified로 표시하였습니다. 서빙 인자, 기능, 정확도처럼 인스턴스 하나 안에서 결정되는 항목은 Target Configuration과 P/D 분리 구성 및 P/D role별 병렬화가 같은 구성에서 확인했으면 Validated 또는 Default configuration으로 표시합니다. 그 밖의 구성에서 확인한 결과는 배지의 근거로 삼지 않습니다.

표기 규칙

  • 엔드포인트, 호스트 이름, 인증 정보는 http://<gateway>:80/v1처럼 placeholder로 표기합니다.

문서 구성

각 레퍼런스 디자인은 다음 8개 문서로 구성됩니다. 해당 설계의 개요 페이지에서 각 문서로 이동할 수 있습니다.

문서 내용
개요 워크로드 정의, 구성 요약, 검증 방법, 검증 범위
하드웨어 서버, NPU, 네트워크, 스토리지 요구 사항과 선정 근거
소프트웨어 스택과 버전 구성 요소와 고정 버전
Kubernetes 배포 배포 토폴로지, 리소스, 시작 절차
서빙 설정 서빙 인자의 표준 설정과 각 값의 선정 근거
클라이언트 연동 API 사용법과 클라이언트 및 에이전트 연동
운영 확인할 메트릭, 장애 유형, 운영 절차
검증 및 제한 사항 검증 방법, 정확도 결과, 알려진 제한 사항

레퍼런스 디자인 목록

설계 워크로드 모델 상태
Rebel100™ 기반 Coding Assistant 코딩 에이전트 서빙 MiniMax-M2.7 4노드, 32-NPU Target Configuration(4P4D)에서 Validated

레퍼런스 디자인에 관한 질문이나 의견은 문의하기 페이지로 보내 주시기 바랍니다.