KV 캐시를 공유 인프라 자원으로 확장하는 Pure KVA

최신 AX 시장의 큰 흐름은 프런티어 모델과 오픈 웨이트(open-weight) 모델의 공존입니다. 기업들은 업무 특성과 보안 요구에 따라 여러 모델을 조합하는 방식으로 AX를 추진하고 있습니다. 범용 업무는 프런티어 모델 기업의 엔터프라이즈 플랜을 활용하고 민감한 업무는 온프레미스 또는 전용 인프라에서 오픈 웨이트 모델을 운영하는 방식이 확산되고 있습니다.

이러한 흐름은 Kimi K3, GLM 5.2, Qwen 3.8 등 최신 오픈 웨이트 모델의 성능과 비용 경쟁력이 빠르게 높아지면서 더욱 가속화되고 있습니다. CIO와 인프라 담당자에게 선택지가 넓어진 것은 반가운 일입니다. 그러나 실무자 입장에서는 추론 성능과 토큰 비용의 균형을 찾아야 하는 부담도 커졌습니다. 이번 글에서는 이러한 부담을 줄이는 접근으로 Pure Storage의 Pure Key-Value Accelerator(Pure KVA)를 살펴보겠습니다.

KV 캐시 저장소를 공유 스토리지 계층까지 확장하는 이유

추론에 필요한 KV 캐시는 GPU HBM에 있을 때 가장 빠르게 작동합니다. 하지만 모든 캐시를 HBM에 계속 둘 수는 없습니다. HBM은 비용이 높고 용량도 제한적이기 때문입니다. 에이전틱 AI 시대에는 긴 문맥을 유지하고 반복되는 작업 이력을 활용하는 것이 중요해지면서 AI 인프라 업계는 HBM 밖의 계층을 활용하는 방향으로 눈을 돌리고 있습니다.

GPU HBM에서 호스트 DRAM, 로컬 NVMe, 공유 스토리지로 이어지는 계층 구조를 활용해 더 긴 문맥 유지를 지원하려는 흐름이 나타나고 있습니다. 표준화와 레퍼런스 아키텍처 논의도 활발합니다. NVIDIA는 추론 컨텍스트를 NVMe SSD 등 외부 계층으로 확장하는 접근을 제시했으며, 이후 관련 레퍼런스 아키텍처를 통해 로컬 SSD와 외부 공유 스토리지를 활용하는 구조를 구체화하고 있습니다. 핵심은 계층을 추가하더라도 프리필(prefill) 재계산보다 빠르게 캐시를 복원해 추론 비용을 줄이는 데 있습니다.

이러한 계층 구조에는 분명한 트레이드오프가 있습니다. 계층이 내려갈수록 접근 지연 시간은 길어집니다. 그러나 캐시를 검색하고 전송하는 시간이 프리필을 다시 수행하는 시간보다 짧다면 성능과 비용을 모두 개선할 수 있습니다. 긴 시스템 프롬프트, RAG 문서, 멀티턴 대화, 에이전트 워크로드처럼 프리필 비용이 큰 경우 공유 스토리지를 KV 캐시 저장소로 활용하면 가시적인 효과를 기대할 수 있습니다.

추론 실행과 캐시 관리를 분리하는 Pure KVA

그렇다면 Pure KVA는 공유 스토리지 환경에서 KV 캐시를 어떻게 다룰까요? Pure KVA는 HBM에서 밀려난 KV 캐시를 폐기하지 않고 NVMe와 공유 스토리지에 보존한 뒤 여러 추론 엔진과 호스트가 다시 활용할 수 있도록 합니다. 즉 캐시를 특정 GPU나 추론 프로세스에 종속된 임시 데이터가 아니라, 수명 주기·용량·지표를 갖춘 독립적인 인프라 자원으로 관리합니다.

이러한 특징은 아키텍처에도 반영되어 있습니다. Pure KVA의 핵심 설계 원칙은 역할 분리입니다. Pure KVA는 추론 엔진과 연동되는 플러그인, 그리고 각 호스트에서 실행되는 KVA 서버로 역할을 나눕니다. 플러그인은 vLLM과 같은 추론 엔진 내부에서 클라이언트처럼 동작하며, 추론 엔진의 요청을 KVA 서버 호출로 변환합니다. 반면에 스토리지 접근, 캐시 인덱스, 만료 처리, 메트릭과 로그 관리는 KVA 서버가 담당합니다.

이 구조 덕분에 스토리지 계층의 문제와 실시간 추론 서비스의 장애 영역을 분리할 수 있습니다. KVA 서버에서 지연이 발생하더라도 추론 엔진은 캐시를 사용하지 않고 해당 구간을 다시 계산하는 방식으로 동작할 수 있습니다. 또한 스토리지 백엔드나 청킹 방식을 바꿀 때도 추론 엔진의 핵심 코드를 계속 수정할 필요가 줄어듭니다.

Host 1과 Host 2가 같은 파일 시스템이나 NFS 같은 공유 스토리지에 연결되어 있다면 두 호스트가 동일한 KV 캐시 저장소를 사용할 수 있습니다. Host 1에서 생성한 캐시를 Host 2가 찾아 GPU 메모리로 가져올 수 있으며, 캐시를 만든 GPU와 사용하는 GPU가 반드시 같을 필요도 없습니다.

다만 Pure KVA가 이전 대화의 의미나 애플리케이션 상태를 저장하는 것은 아닙니다. 애플리케이션은 같은 모델과 토크나이저 구성에서 재사용할 토큰 구간을 다시 제공해야 하며 Pure KVA는 해당 구간의 계산 결과인 KV 캐시를 빠르게 복원하는 역할을 합니다.

데이터 이동 경로를 줄이는 것도 중요한 포인트입니다. 일반적인 오프로딩은 GPU HBM에서 CPU 메모리를 거쳐 스토리지로 데이터를 이동합니다. Pure KVA는 GPU 메모리 핸들을 KVA 서버와 공유해 데이터 이동 단계를 줄이는 방향을 제시합니다. GPUDirect Storage를 지원하는 환경에서는 CPU 경유를 줄이고 GPU와 NVMe 사이에서 KV 캐시를 더 효율적으로 이동할 수 있습니다. 다만 실제 경로와 성능은 GPU, 드라이버, 파일 시스템, 스토리지 구성에 따라 달라질 수 있습니다.

Pure KVA 서버는 로드, 저장, 메타데이터, 조회 작업을 비동기로 처리합니다. 또한 메모리 기반 LRU(Least Recently Used) 인덱스를 활용해 요청마다 스토리지를 직접 확인하지 않아도 캐시 적중 여부를 빠르게 판단할 수 있습니다.

프롬프트 전체가 완전히 같지 않아도 공통 구간을 재사용할 수 있습니다. 세분화된 프롬프트 캐싱은 긴 프롬프트 안에 여러 재사용 지점을 만듭니다. 앞부분이 같고 마지막 질문만 다르다면 공통 구간의 KV 캐시를 불러오고 달라진 부분만 새로 처리합니다. 이는 공통 시스템 프롬프트, RAG 문서, 에이전트 작업 이력처럼 반복되는 입력이 많은 환경에 유용합니다.

캐시 수명 주기도 관리합니다. Pure KVA는 캐시를 시간 단위 구간으로 묶고 TTL(Time To Live)을 적용해 오래된 캐시를 정리합니다. 여러 KVA 서버가 만료 구간을 나눠 처리하고, 공유 스토리지의 시간을 기준으로 만료 시각을 맞추는 방식도 활용합니다. 이는 캐시가 끝없이 쌓여 스토리지 용량을 압박하는 문제를 막기 위한 장치입니다.

에이전틱 AI 시대에 Pure KVA가 제공하는 가치

Pure KVA는 같은 문맥을 반복해서 사용하는 에이전트 워크로드에서 첫 토큰 응답 시간(TTFT, Time To First Token)을 줄이는 데 도움을 줄 수 있습니다. 공통 구간의 프리필을 건너뛰고 새로운 입력만 처리할 수 있기 때문입니다. 여러 단계로 구성된 에이전트 작업에서는 각 단계의 지연 감소가 전체 업무 처리 시간 단축으로 이어질 수 있습니다.

Everpure가 공개한 테스트에서는 NFS 기반 KV 캐싱이 최대 20배, S3 기반 구성이 최대 6배 빠른 추론 결과를 기록한 것으로 소개됩니다. 이 수치는 특정 모델, 프롬프트, 캐시 적중률, 네트워크, 스토리지 구성에서 측정된 결과입니다.

GPU의 반복 연산도 줄일 수 있습니다. GPU가 동일한 시스템 프롬프트와 작업 이력을 다시 계산하는 대신 새로운 입력 처리와 토큰 생성에 더 많은 자원을 사용할 수 있기 때문입니다. 결과적으로 같은 GPU 구성에서 더 많은 유효 요청을 처리할 가능성이 생깁니다.

HBM은 현재 처리 중인 활성 캐시에 집중하고 NVMe와 공유 스토리지는 당장 사용하지 않지만 다시 활용할 가치가 있는 캐시를 맡는 구조로 역할을 나눌 수 있습니다. 장문 문맥과 동시 에이전트 수가 늘어날수록 HBM 부담을 낮추는 데 도움이 됩니다.

운영팀은 KV 캐시를 서버군 단위로 관리할 수 있습니다. Pure KVA는 구조화된 로그와 OpenTelemetry 기반 지표를 제공해 캐시 적중률, 전송 시간, 사용 용량, 만료 상태를 확인할 수 있도록 합니다. 이를 통해 어떤 업무에서 캐시 재사용 효과가 큰지 분석하고, GPU와 스토리지 규모를 산정하는 근거로 활용할 수 있습니다.

물론 Pure KVA가 모든 환경에서 동일한 효과를 내는 것은 아닙니다. 프롬프트가 짧거나 요청마다 내용이 완전히 다르면 캐시 적중률이 낮아집니다. 네트워크와 스토리지 지연 시간이 높아도 캐시를 불러오는 이점이 줄어듭니다. 도입 전에는 대표 워크로드를 기준으로 프롬프트 반복률, 첫 토큰 응답 시간, 캐시 적중률, 전송 시간을 함께 측정해야 합니다.

추론 인프라 최적화에 풀스택 파트너가 필요한 이유

오픈 웨이트 모델이 프런티어 모델과의 성능 격차를 좁히면서 기업은 중요하고 민감한 업무를 자체 인프라에서 처리할 선택지를 얻고 있습니다. 이 선택지를 실제 AX 역량으로 바꾸는 일은 추론 인프라의 몫입니다. 추론 효율은 GPU 대수만으로 결정되지 않습니다. 이미 수행한 계산을 얼마나 오래 보존하고, 얼마나 넓게 공유하며, 얼마나 빠르게 다시 사용하는지가 응답 속도와 비용 경쟁력을 좌우합니다.

Pure KVA는 추론 인프라에서 스토리지의 역할을 확장합니다. HBM에는 현재 추론에 필요한 활성 캐시를 두고, NVMe와 공유 스토리지에는 다시 활용할 가치가 있는 계산 결과를 보존합니다. 또한 추론 엔진과 스토리지 처리를 분리하고, 여러 호스트가 같은 캐시를 재사용할 수 있는 기반을 제공합니다.

대원씨티에스는 고객의 AI 인프라 현황을 분석하고 AI 가속기, 네트워크, 데이터 계층을 아우르는 풀스택 관점에서 확장 방안을 제안합니다. 오픈 웨이트 모델의 자체 운영이나 KV 캐시 오프로딩을 검토하고 계시다면 대원씨티에스에 문의해 주십시오.

<참고 자료>

Pure KVA 1.0 Is GA: Inside the Architecture of a Fully Managed Enterprise KV Cache Solution

Maximizing LLM Efficiency: Granular Prompt Caching with Pure KVA