차트 구성 참고 자료¶

이 문서는 차트를 구성하거나 변경할 때 참고할 차트 values를 정리합니다. 설치 절차는 이 문서가 아니라 서빙 스택 설치(Helm 차트)에서 다룹니다.

주요 차트 설정¶

다음 표는 자주 사용하는 차트 values입니다. 모든 values와 기본값을 확인하는 방법은 전체 values 목록 및 오타 검증 범위에 정리되어 있습니다.

설치 후 변경, 롤백 및 제거는 운영을 참고하세요.

주요 구성 변경¶

변경 종류마다 적용 방법은 다음과 같습니다.

1

kubectl -n <ns> rollout restart deploy/<release-name>-epp   # pluginsCustomConfig 변경 후 EPP를 다시 시작합니다.

외부 노출 및 게이트웨이 Service¶

차트는 스택을 클러스터 외부에 노출하지 않습니다. 게이트웨이 Service를 클러스터에서 운영하는 인그레스나 로드 밸런서에 연결하세요.

차트는 서빙 엔드포인트의 인증이나 권한 부여를 제공하지 않습니다. 인증과 권한 부여는 게이트웨이 계층이나 게이트웨이 앞에서 처리하세요.

클러스터가 관리하는 Gateway에 연결: 차트의 Gateway 대신 기존 Gateway를 사용하려면 다음 values를 설정하세요. 기존 Gateway에 연결하는 방식은 Unverified입니다.

1
2
3
4
5
6
7

gateway:
  enabled: false
  name: <gateway-name>                 # 기존 Gateway
  gatewayClassName: <gateway-class>    # 기존 Gateway의 클래스
llm-d-router-gateway:
  httpRoute:
    inferenceGatewayName: <gateway-name>   # gateway.name과 같은 이름

차트는 게이트웨이 Service를 생성하지 않습니다. Istio가 Gateway에서 <gateway-name>-istio라는 이름으로 게이트웨이 Service를 생성합니다. 차트 기본 Gateway 이름을 쓰면 게이트웨이 Service 이름은 최초 추론에서 사용하는 <release-name>-inference-gateway-istio가 됩니다. LoadBalancer 주소를 할당받을 수 없는 클러스터에서는 gateway.annotations로 게이트웨이 Service 유형을 ClusterIP로 바꾸세요.

1
2
3

gateway:
  annotations:
    networking.istio.io/service-type: ClusterIP

전체 values 목록 및 오타 검증 범위¶

주요 차트 설정 표는 자주 사용하는 values만 다룹니다. 모든 values와 기본값은 다음 명령으로 확인합니다.

1
2
3
4
5

# 차트에 포함된 모든 기본값을 확인합니다(레지스트리에서 직접 조회 가능).
helm show values oci://repo.rebellions.ai/rebellions/coding-assistant-stack --version <CHART_VERSION>

# 특정 값이 렌더링 결과에 어떻게 반영되는지 확인합니다.
helm template <release-name> ./coding-assistant-stack -n <ns> --set <key>=<value> | less

podOverrides로 다음 필드를 지정하면 렌더링이 실패합니다. '대신 사용할 키' 열의 키를 사용하세요. 렌더링 오류 메시지도 대신 사용할 키를 안내합니다.

볼륨, 마운트, 컨테이너를 추가하려면 modelserver.extraVolumes, modelserver.extraVolumeMounts, modelserver.extraContainers, modelserver.extraInitContainers를 사용하세요.