Kafka의 뒤를 잇는 혁신 ~ VAST Event Broker가 왔다!
- Chang Sun Park
- 2월 28일
- 5분 분량
VAST Data 플랫폼 진화의 끝은 어디일까요? 최근 VAST Data는 자사 플랫폼에 Kafka API 호환 실시간 이벤트 스트리밍 엔진인 VAST Event Broker를 통합한다고 밝혔습니다. 이게 뜻하는 바는? VAST Data 플랫폼을 사용하는 조직은 이제 Kafka 클러스터를 구축해 관리하는 수고를 덜 수 있는 기회가 생겼다는 것입니다. 중요한 발표라 이번 포스팅에서는 VAST Event Broker 출시 배경과 주요 특징을 좀 자세히 알아보겠습니다.
이벤트 스트리밍 처리가 중요한 이유
먼저 이벤트 스트리밍에 대해 알아보겠습니다. 이벤트 스트리밍은 애플리케이션, 데이터베이스, IoT 장치 등에서 발생하는 실시간 데이터 흐름을 지속적으로 캡처, 즉시 처리 및 전달하는 방식입니다. 배치 처리와 달리 데이터 발생 즉시 개별 이벤트를 처리하여 시스템이 데이터를 즉시 해석하고 대응할 수 있도록 합니다. 이러한 실시간 스트림 처리 능력은 현대 소프트웨어 아키텍처의 핵심 요소로 자리 잡고 있으며, 보다 반응적이고 지능적인 시스템 구현을 가능하게 합니다. 이벤트 스트리밍은 금융, 보안, AI, IoT 등 다양한 분야에서 활용됩니다. 몇 가지 예를 추려 보면 다음과 같습니다.
금융: 주식 거래 시장 데이터를 실시간으로 스트리밍하여 알고리즘 트레이딩 시스템이 최신 시세에 기반하여 순간적인 의사 결정을 내리도록 지원합니다. 또한, 실시간 모니터링을 통해 금융 거래 사기 탐지 및 리스크 관리에 활용됩니다.
보안: 보안 이벤트 로그나 사용자 활동 데이터를 스트림으로 수집, 분석하여 이상 행위나 침입 시도를 실시간으로 감지합니다. 이벤트 스트리밍과 AI를 결합하면 의심스러운 사용자 활동을 탐지하는 실시간 AI 모델을 구축하여 즉각적인 보안 알림 및 대응이 가능해집니다.
AI: 실시간 데이터 파이프라인을 통해 지속적으로 들어오는 데이터를 AI 모델 학습 또는 추론에 즉시 반영합니다. 이벤트 스트리밍은 AI 모델이 최신 데이터로 지속적으로 업데이트되거나 스트림 데이터에 대한 실시간 예측을 가능하게 합니다.
IoT 및 제조: IoT 센서에서 발생하는 이벤트를 스트리밍하여 공장 설비 또는 장비 상태를 실시간으로 모니터링하고 제어합니다. 이를 통해 생산 라인에서 예지 정비를 수행하여 장비 고장을 사전에 예측하고 방지할 수 있으며, 제품 또는 환경 상태 변화에 실시간으로 대응하는 자동화 시스템을 구현할 수 있습니다.
Kafka의 등장
특정 기술에 대한 시장의 목마름이 깊어지면? 빅테크 기업이나 기술 커뮤니티에서 대안을 내놓습니다. 고성능 이벤트 스트리밍에 대한 응답은 Apache Kafka(이하 Kafka)였습니다. Kafka는 현재 이벤트 스트리밍의 사실상 표준으로 자리 잡은 분산형 메시지/이벤트 브로커입니다. Kafka는 대규모 데이터 파이프라인의 복잡성 해결 요구에 따라 탄생했습니다.
링크드인은 서비스 성장에 따라 내부 로그 및 이벤트 데이터의 수집, 분배가 파편화되고 복잡해지는 문제를 겪었습니다. 여러 소스 애플리케이션에서 쏟아져 나오는 활동 로그를 각기 다른 대상 시스템에 일대일로 연결하다 보니 애플리케이션 수와 파이프라인이 늘어날수록 전체 아키텍처가 복잡하고 비효율적으로 변한 것입니다. 링크드인 데이터팀은 이 복잡도를 줄이고 데이터 흐름을 중앙에서 통제하기 위해 단일 중앙 허브 개념의 새로운 시스템을 고안했고, 그것이 바로 Kafka였습니다.
Kafka는 대용량 데이터 로그를 중앙에서 수집, 저장하고 필요한 다양한 애플리케이션이 이를 실시간 스트림 형태로 소비할 수 있도록 해주는 분산 커밋 로그 시스템으로 설계되었습니다. 이를 통해 데이터 발생원과 활용 애플리케이션을 분리하여 소스와 대상 간의 의존도를 크게 낮추었습니다. 또한, Kafka 도입 이후에는 데이터가 Kafka 토픽으로 모이고, 다수의 컨슈머 애플리케이션이 각자 필요한 시점에 해당 토픽을 구독하여 데이터를 가져가는 발행-구독 패턴을 활용하여 동일 데이터의 멀티 소비와 재처리가 용이해졌습니다.
Kafka의 등장은 매우 반가운 소식임에 분명했지만, 기업에게 또 다른 고민을 안겨주기도 하였습니다. Kafka 클러스터를 구축해 운영할 때 마주할 수 있는 도전 과제를 정리하면 다음과 같습니다.
운영의 어려움: Kafka는 강력한 스트리밍 플랫폼이긴 하지만 대규모 운영에는 여러 과제가 존재합니다. 실제로 Kafka를 운영한 기업들은 다음과 같은 확장성, 비용, 유지보수 측면의 어려움을 보고하고 있습니다.
확장과 성능: Kafka는 수평 확장을 지원하지만 토픽 파티션 설계와 재분배 등 확장을 위한 사전 작업이 필요합니다. 처리량을 늘리려면 파티션 수를 충분히 늘려야 하고, 클러스터 브로커를 증설할 때 데이터 리밸런싱에 따른 부하가 발생하기도 합니다. 또한 고가용성을 위해 기본 3복제 이상의 다중 브로커 클러스터 운영이 권장되는데, 이로 인해 데이터 저장 공간이 복제 수만큼 증가하고 관리해야 할 노드도 늘어납니다. 대용량 트래픽을 처리하려면 브로커 수, 디스크 I/O, 네트워크 대역폭 등 모든 측면에서 상당한 인프라 투자가 필요하며, 성능 튜닝도 쉽지 않습니다.
운영 비용: 하드웨어 인프라 외에도 전문 엔지니어링 인력이 필요한 점이 비용 요인으로 지적됩니다. Kafka 운영 비용은 단순 서버 비용뿐 아니라 클러스터를 설정, 관리, 확장할 수 있는 숙련된 엔지니어 인력이 필수이므로 인건비 측면에서도 만만치 않습니다. 또한 Zookeeper와 같은 별도 클러스터 관리 필요, 브로커와 파티션 증설 시 수반되는 운영 오버헤드 등도 기업들에게 부담으로 작용했습니다.
유지보수: Kafka는 분산 시스템 특성상 설정 및 관리가 복잡합니다. 초기 설정 시 브로커, 파티션, 토픽, 오프셋, 복제 factor 등 개념을 숙지하고 네트워킹/스토리지 설정을 신경 써야 하는데, 학습 곡선이 가파르다는 평가가 있습니다. 또한 Kafka Connect 등의 툴을 활용해 외부 시스템과 연계하려면 추가 설정과 모니터링이 필요하여 통합 작업에 시간과 노력이 소요됩니다. 기업들은 운영 중 브로커 다운/장애, 데이터 유실 방지, 업그레이드 호환성 등의 문제도 수시로 직면합니다.
새로운 대안을 제시하는 VAST Event Broker
앞서 시장의 목마름은 누군가 풀어 낸다고 말한 것 기억하시나요. Kafka 관련 운영 상 고민의 답으로 VAST Data가 VAST Event Broker를 제시하였습니다. VAST Event Broker는 VAST Data가 2025년에 새롭게 선보인 Kafka 호환 이벤트 스트리밍 브로커로 자사 플랫폼에 네이티브로 통합된 것이 가장 큰 특징입니다. VAST Event Broker는 표면적으로는 Kafka의 프로듀서/컨슈머 API와 프로토콜을 구현하여 기존 Kafka 클라이언트나 애플리케이션과 호환되지만, 내부 동작 방식과 아키텍처가 Kafka와는 상당히 다릅니다. 주요 동작 원리와 기술적 특징은 다음과 같이 정리할 수 있습니다.
통합 스토리지 아키텍처: Kafka에서는 토픽 데이터를 브로커 각 노드의 로컬 디스크에 분산 저장하고 복제본을 관리하지만, VAST Event Broker는 토픽의 데이터를 VAST Data 플랫폼의 통합 스토리지 계층에 저장합니다. 구체적으로 각 토픽을 VAST DataBase의 하나의 테이블로 구현하여 이벤트 스트림 데이터가 곧바로 VAST DataBase에 테이블 형태로 적재됩니다. 이를 통해 이벤트 데이터를 SQL로 즉시 조회/분석할 수 있는 기능을 제공하는데, 기존 Kafka로 동일한 일을 하려면 외부 데이터베이스와 Kafka 커넥터를 통해 별도로 연계해야 했던 것을 VAST Data는 한 시스템 안에서 실시간 분석까지 가능하게 한 것입니다.
셀프 튜닝 및 쉬운 운영: VAST Event Broker는 Kafka를 하나의 프로토콜로 취급하여 VAST Data 플랫폼에 통합했기 때문에 사용자는 Kafka 클러스터를 별도로 관리할 필요가 없습니다. 복제 factor 설정이나 로컬 디스크 용량 관리, 브로커 개수 조정 등의 작업을 사용자가 직접 신경 쓰지 않아도 자동 조정됩니다. VAST Data의 분산 공유 아키텍처 상에서 스토리지와 컴퓨팅이 분리되어 독립적 확장이 가능하기 때문에 Kafka처럼 노드 추가 시 스토리지와 브로커를 함께 고려할 필요 없이 필요한 용량 또는 처리 능력만 확장하면 됩니다. 또한, VAST Event Broker는 전용 관측 도구와 자동화 워크플로를 제공하여 운영자 입장에서 가시성이 높고 관리가 용이하도록 설계되었습니다.
높은 성능 및 확장성: VAST Data에 따르면 자체 이벤트 브로커는 동일한 하드웨어에서 전통적인 Kafka 대비 10배 이상의 성능을 발휘하며, 선형적인 무한 확장성을 보여줍니다. 실제로 VAST Data의 가장 큰 클러스터에서 초당 5억 건 이상의 메시지 처리를 이미 달성했다고 밝혔는데, 이는 기존 Kafka로는 달성하기 어려운 수준의 초고속 스트리밍 처리 능력입니다. 이러한 성능 향상 요인으로는 통합된 올플래시 기반 초고속 스토리지 계층, 압축/중복 제거 같은 데이터 보호 기술 적용, 그리고 데이터 locality 최적화 등이 언급됩니다. 즉, VAST Event Broker는 저장 계층부터 최적화된 VAST DataStore를 활용하여 입출력 병목을 줄이고, Kafka의 디스크 I/O 병목이나 JVM GC 튜닝 등의 이슈 없이도 고성능을 냅니다. 또한, VAST Data 플랫폼 클러스터 자체가 엑사바이트급 용량까지 선형 확장이 검증된 구조이므로, 이벤트 브로커 역시 토픽 수나 메시지량이 증가해도 수평 확장을 통해 성능이 선형적으로 늘어나는 장점을 지닙니다.
Kafka와의 호환성: VAST Event Broker는 Apache Kafka 프로토콜과 완전 호환되도록 구현되었으므로, Kafka 프로듀서/컨슈머 API를 사용하는 기존 애플리케이션을 수정 없이 그대로 사용할 수 있습니다. VAST Data에서는 Kafka를 NFS나 S3와 같은 하나의 데이터 접근 프로토콜로 간주하여 파일, 객체, 테이블과 동일한 데이터 엔진 레이어에서 동작시키는데요, 이를 통해 VAST Data 플랫폼 클러스터 내에서 이벤트 브로커 인스턴스를 생성하고 가상 IP 풀과 뷰 (view) 정책을 통해 접근을 제어하는 등, 마치 스토리지 볼륨을 관리하듯 이벤트 브로커를 관리할 수 있습니다.
VAST Data 플랫폼 비전의 확장
VAST Event Broker도입은 VAST Data 플랫폼의 궁극적인 비전, 즉 모든 데이터 작업을 하나의 통합된 아키텍처에서 수행하려는 꿈을 현실로 만든 예입니다.
기존의 기업 데이터 플랫폼은 업무별로 서로 다른 시스템을 운용하는 경우가 많았습니다. 예를 들어 트랜잭션 처리를 위한 블록 스토리지/데이터베이스, 분석을 위한 데이터웨어하우스 또는 데이터 레이크, 파일/객체 저장을 위한 스토리지, 스트리밍 처리를 위한 Kafka 같은 별도 브로커 등 여러 개의 사일로(silo)가 존재했고, 이들 간에 데이터를 이동시키는 복잡한 파이프라인이 필요했습니다. VAST Data는 자사 플랫폼에 블록, 파일, 객체, 테이블(Storage+DB), 그리고 스트리밍까지 모두 아우르는 기능을 넣어 하나의 시스템으로 모든 데이터 유형과 워크로드를 처리하는 통합형 데이터 플랫폼을 완성에 한걸음 더 가까이 간 것 같습니다. 앞으로도 VAST Data의 진화를 대원씨티에스가 가장 발 빠르게 전해 드리겠습니다.
Comments