Compile Cache¶
개요¶
두 model implementation 모두 VLLM_CACHE_ROOT(기본값: ~/.cache/vllm)에 저장된 컴파일 모델을 재사용합니다. 아래 포함 항목에 나열된 설정을 변경하면 모델을 다시 컴파일합니다.
vllm model implementation¶
캐시 동작¶
캐시는 워밍업이 성공적으로 완료된 뒤에만 저장됩니다. 워밍업을 중단하면 캐시가 저장되지 않습니다.
VLLM_DISABLE_COMPILE_CACHE=1을 설정하면 캐시를 재사용하지 않고 매 실행마다 다시 컴파일합니다.
저장 형식¶
컴파일된 그래프는 mega cache 번들(.bin)로 저장됩니다.
저장 위치¶
$VLLM_CACHE_ROOT/rbln
캐시 키¶
포함:
max_model_len,block_size,max_num_seqs,max_num_batched_tokens등을 포함한 vLLM 설정.- 아래 제외 항목을 뺀 RBLN 옵션.
제외:
use_custom_sampler. Sampler 그래프는 별도로 컴파일되며 캐시되지 않습니다.enable_sub_block_cache,sub_block_size. 이 옵션들은 prefix cache 재사용을 제어하며 모델 컴파일에는 영향을 주지 않습니다.
transformers(optimum) model implementation¶
캐시 동작¶
- 사전 컴파일된 모델 디렉터리: 엔진이 컴파일 없이 모델을 직접 불러옵니다.
- HuggingFace model ID: 엔진이 캐시된 모델이 있으면 불러오고, 없으면 시작 시 모델을 컴파일해 캐시합니다.
저장 형식¶
컴파일된 모델은 .rbln 파일로 저장됩니다.
저장 위치¶
$VLLM_CACHE_ROOT/compiled_models/<name>
캐시 키¶
HuggingFace model ID를 사용할 때 적용됩니다.
포함:
model,dtype,max_model_len,block_size,max_num_seqs.- 사용자가 지정한
max_num_batched_tokens(prefill chunk size). num_devices_per_local_rank,gpu_memory_utilization.optimum_overrides. 단, 아래 항목은 제외됩니다.
제외:
optimum_overrides의device,create_runtimes,kvcache_num_blocks. 이 옵션들은 런타임 동작을 제어하며 모델 컴파일에는 영향을 주지 않습니다.