Vector 데이터베이스의 기능과 역할을 품은 포괄적인 AI 데이터 플랫폼의 시대가 온다!

요즘 분위기를 보면 거대 언어 모델(LLM)과 소형 언어 모델(SLM)의 전성기라 해도 과언이 아닙니다. 실제로 LLM/SLM은 주요 기업과 기관이 새로운 비즈니스나 서비스 목표 달성을 위해 수립하고 실행하는 전략적인 계획인 AI 이니셔티브의 첫 페이지를 장식하고 있습니다. 이런 분위기 속에서 IT 부서, 데이터 과학자, 개발자 등 AI 이니셔티브를 실행으로 옮기는 주체들은 요즘 고민이 많습니다. 배워야 할 것, 익숙해져야 할 것이 너무 많기 때문입니다. 특히 LLM/SLM을 RAG와 결합하는 것을 빨리 알아야 하는 무언의 압박 속에 있습니다. 

관련해 이번 포스팅에서는 반가운 소식을 하나 전하겠습니다. 아직 정식 출시는 아니지만 NVIDIA와 VAST Data가 손을 잡고 내년 상반기 내에 ‘VAST InsightEngine’를 선보일 예정이라고 합니다. 이를 활용하면 AI 이니셔티브 실행 부서는 적어도 LLM/SLM에 RAG를 통합하는 프로젝트에서 모델 훈련, 조정, 배포 그리고 Vector 데이터베이스의 기능을 포함하는 데이터 처리와 저장에 대한 부담을 크게 덜 수 있을 것으로 보입니다. 조금 더 자세히 알아볼까요. 

Vector 데이터베이스를 품은 데이터 플랫폼 

최근 VAST Data는 NVIDIA와 협력하여 VAST InsightEngine을 발표했습니다. 이 솔루션은 기업 데이터를 실시간으로 안전하게 수집, 처리 및 검색할 수 있는 세계 최초의 통합 시스템으로, AI 기반 의사결정을 위한 데이터를 즉각적으로 활용할 수 있도록 설계되었습니다. 

양사의 협력은 LLM/SLM에 RAG를 통합하는 데 있어 가장 중요한 작업이라 할 수 있는 데이터 처리와 저장에 대한 현장의 어려움을 해소하자는 공통의 목표 아래 이루어졌습니다. 현재 많은 조직이 LLM/SLM애 RAG 기술을 접목한 추론 서비스를 다양한 워크플로우와 업무 현장에 배포하는 데 관심을 보이고 있습니다. 

이를 실제 구현하는 것은 간단한 일이 아닙니다. 특히 데이터 관련해 준비하고 알아야 할 것들이 좀 있습니다. 방대한 데이터 세트에서 통찰을 이끌어 내려면 정교하고 복잡한 데이터 플랫폼과 인프라 환경이 필요하기 때문입니다. 이게 무슨 말이냐 하면 정형 및 비정형 데이터 세트를 분류, 검색하고 벡터 및 지식 그래프와 같은 새로운 의미적 접근 방식을 처리하기 위해 뛰어난 속도, 확장성, 단순성, 보안성을 제공하는 인프라가 필요하다는 뜻입니다.

문제는 이런 환경을 구축하고 운영해본 경험을 갖춘 곳은 극히 일부라는 것입니다. 모두에게 새로운 기술과 접근 방식이다 보니 어쩔 수 없습니다. 사내 인력이 충분히 역량을 갖출 수 있도록 교육을 지원하고 솔루션 도입을 지원하고 다양한 사전 검증 프로젝트를 할 수 있는 기회를 주지 않는 한 경험을 쌓을 수 없습니다. VAST InsightEngine는 이러한 현실적 고충을 해결합니다. 

VAST InsightEngine + NVIDIA NIM이 창출하는 초강력 시너지 

앞서 VAST Data의 VAST InsightEngine는 NVIDIA와 협력의 산물이라 했습니다. 그 이유는 VAST InsightEngine은 NVIDIA NIM(NVIDIA Inference Microservices)과 긴밀히 통합되어 LLM/SLM을 RAG와 통합하는 프로젝트 추진을 더욱 매끄럽고 효율적으로 만들기 때문입니다. 이를 소개하기에 앞서 먼저 NVIDIA NIM(NVIDIA Inference Microservices)에 대해 알아보겠습니다. NVIDIA NIM은 AI 모델의 배포를 가속화하기 위해 설계된 쿠버네티스 기반의 마이크로서비스 세트입니다. 이러한 마이크로서비스는 사전 구축된 컨테이너와 Helm 차트, 산업 표준 API, 도메인 특화 코드, 최적화된 추론 엔진 등을 포함하여, 기업이 최소한의 코드 변경으로 엔터프라이즈급 AI 애플리케이션을 신속하게 구축할 수 있도록 지원합니다. 

VAST InsightEngine은 NVIDIA NIM과 긴밀히 연계되어 기업이 실시간으로 데이터를 수집, 처리 및 검색할 수 있는 플랫폼을 제공합니다. 이를 통해 LLM/SLM과 RAG를 활용한 AI 애플리케이션이 더욱 신속하고 효율적으로 동작할 수 있도록 지원합니다. 데이터 처리와 저장 측면에서 더 자세히 알아볼까요. 

VAST InsightEngine은 실시간으로 기업 데이터를 수집, 처리 및 검색하는 통합 솔루션으로 Vector 데이터베이스의 기능을 품은 포괄적인 데이터 플랫폼입니다. 이 솔루션은 NVIDIA NIM 마이크로서비스를 활용하여 들어오는 데이터의 의미를 임베딩하고, 이를 VAST DataBase에 저장하여 즉각적인 AI 기반 검색과 추론 작업을 지원합니다

여기서 Vector 데이터베이스를 따로 쓰는 것과 무엇이 다를까? 이런 궁금증이 들 것입니다. Chroma, Pinecone, Milvus, Weaviate와 같은 Vector데이터베이스는 주로 벡터 임베딩의 저장과 검색에 특화되어 있습니다. 반면에 VAST InsightEngine은 Vector 데이터베이스의 기능을 포함하면서도, 다음과 같은 차별점을 지닙니다:

• 통합 데이터 아키텍처: 파일, 객체, 테이블, 스트림 등 모든 형태의 데이터를 단일 플랫폼에서 처리하여 별도의 데이터 레이크나 외부 SaaS 플랫폼이 필요 없습니다. 

• 실시간 데이터 처리: 새로운 데이터가 시스템에 기록되면 즉시 NVIDIA NIM 임베딩 에이전트가 작동하여 벡터 임베딩이나 그래프 관계를 생성, AI 작업에 거의 즉시 활용할 수 있습니다. 

• 데이터 일관성 및 보안: 파일 시스템이나 객체 저장소의 모든 데이터 업데이트는 벡터 데이터베이스와 그 인덱스와 원자적으로 동기화되어 다중 테넌트 환경에서 데이터 일관성과 글로벌 데이터 추적성을 보장합니다. 

2025년 초 공개 예정 

소개한 바와 같이 VAST InsightEngine은 데이터 파이프라인 전반에서 AI 애플리케이션 워크플로우를 자동화하여 기업의 AI 역량을 강화할 수 있는 가능성을 제시합니다. 대원씨티에스는 이 플랫폼이 대규모 데이터 처리, 고속 벡터 검색, 강력한 보안을 원활하게 통합하여 기업 AI의 새로운 지평을 열 것으로 기대합니다. 이 솔루션은 2025년 초부터 일반에 공개될 예정인데, 대원씨티에스가 가장 빨리 이 소식을 전해 드리겠습니다. 

#대원씨티에스 #DIA_Nexus #VAST_Data #Vector_DB #RAG #LLM #SLM #Chroma #Pinecone #Milvus #Weaviate