미국 연방 기관들을 위해 MITRE가 구축한 초강력 AI 인프라 ‘Federal AI Sandbox’의 데이터 플랫폼 ‘VAST Data Platform’

AGI(Artificial General Intelligence)가 빠르게 현실로 다가오고 있습니다. AGI 시대에는 AI 에이전트가 마치 사람처럼 다양한 문제를 학습하고, 해결하고, 창의적인 사고를 합니다. 2024년 11월 현재 xPU 기술의 발전과 거대 언어 모델, 소형 언어 모델, 도메인 특화 모델, 각종 프레임워크와 라이브러리 및 개발 환경의 진화는 AGI를 실현할 수 있는 목표로 만들었습니다. 요즘 AI 에이전트 구현 관련 소식이 부쩍 많이 들리는 것도 같은 맥락에서 이해할 수 있습니다.

AI 투자는 과소보다 과잉이 낫다?!

AGI 시대를 대비하기 위한 움직임은 사회, 경제, 공공 등 거의 모든 영역에서 나타나고 있습니다. 민간과 공공 모두 AI 투자의 큰 흐름은‘과잉 투자의 위험보다 과소 투자의 위험이 크다’고 보는 조직이 많다는 것입니다. 실제로 주요 분야에서는 경쟁적인 투자가 일어나고 있습니다.

민간 영역에서는 빅테크 기업들이 GPU 자원 선점에 나서고 있습니다. 공공 부문도 AI 슈퍼컴퓨팅 인프라 구축에 열을 올리고 있는데, 주요 선진국 사이에 투자 경쟁이 이어지고 있습니다. 관련해 이번 포스팅에서는 미국 정부의 주요 투자 중 하나인 연방 정부 기관들이 AI 솔루션을 실험하고 개발할 수 있도록 지원하는 최첨단 컴퓨팅 환경인 MITRE의 ‘Federal AI Sandbox’에 대해 간략히 알아보고, 연방 기관을 위한 AI 슈퍼컴퓨팅 환경의 데이터 플랫폼으로 VAST Data Platform이 선택된 이유도 간략히 소개해 볼까 합니다.

Federal AI Sandbox란?

MITRE의 Federal AI Sandbox는 미국 연방 정부 기관들의 AI 솔루션 개발을 지원하는 공유 인프라입니다. 이 AI 컴퓨팅 인프라는NVIDIA의 DGX SuperPOD로 구동되며, 248개의 NVIDIA H100 GPU를 통해 초당 1엑사플롭(ExaFLOP)의 8비트 AI 연산 성능을 제공합니다.

이처럼 강력한 AI 인프라를 활용해 어떤 솔루션들이 개발될까요? 이는 MITRE라는 조직이 하는 일을 보면 그 방향을 가늠할 수 있습니다. MITRE는 비영리 연구 개발 기관으로, 사이버 보안 분야에서 혁신적인 연구와 표준 개발을 선도하고 있습니다. 특히, MITRE가 개발한 MITRE ATT&CK 프레임워크는 사이버 공격자들의 행동 양식을 체계적으로 분석하고, 이를 바탕으로 효과적인 방어 전략을 수립하는 데 널리 활용되고 있습니다.

MITRE의 역할을 보니 Federal AI Sandbox가 어떤 용도로 쓰일지 아시겠죠? Federal AI Sandbox는 연방 기관들은 AI/ML, LLM, SLM 같은 최신 AI 기술을 훈련하고, 군사 지휘 및 통제 강화, 국가 주요 인프라 보안, 사기 방지 등 정부 특화 AI 과제를 수행하는 공유 인프라로 활용될 예정입니다.

MITRE가 VAST Data를 선택한 이유

이 포스팅의 제목에서 설명한 것과 같이 Federal AI Sandbox의 데이터 플랫폼은 VAST Data Platform으로 구축하였습니다. 참고로 Federal AI Sandbox의 고성능 AI 인프라를 위한 데이터 플랫폼 구축은 VAST Data의 자회사인 VAST Data Federal이 수행하였습니다. 관련해 VAST Data Federal의 공공 부문 부사장인 Randy Hayes의 말을 들어볼까요?

“지난 몇 년간 VAST Federal은 여러 연방 기관과 신뢰를 구축하며 강력한 관계를 발전시켜 왔습니다. 이제 MITRE의 새로운 Federal AI Sandbox를 통해 NVIDIA 가속 컴퓨팅의 힘과 VAST Data Platform의 통합 데이터 관리 기능을 공공 부문의 여러 기관에 제공하게 되어 자랑스럽습니다.”

그렇다면 MITRE가 VAST Data를 선택한 이유는 무엇일까요? VAST Data Platform은 VAST의 혁신적인 DASE(Disaggregated Shared-Everything) 아키텍처를 기반으로 하며, NVIDIA DGX SuperPOD 인증을 받은 업계 최초의 엔터프라이즈급 네트워크 연결 스토리지(NAS) 솔루션입니다. 이 플랫폼은 고성능 데이터 접근성을 제공하며, 사용자는 병렬 성능과 엑사바이트 규모의 확장성을 활용할 수 있습니다.

MITRE 연구자들은 NVIDIA DGX 시스템에 포함된 NVIDIA AI Enterprise 소프트웨어 플랫폼도 사용할 수 있습니다. 또한, VAST의 제로 트러스트 아키텍처(ZTA) 프레임워크 내 데이터 필러 구현은 고급 보안 기능과 규제 표준 준수를 통해 연방 조직이 민감하거나 비분류 데이터를 안전하게 관리할 수 있는 환경을 제공합니다.

첨단 AI 연구를 지원하기 위해 데이터 플랫폼이 제공해야 하는 기능은?

MITRE는 Federal AI Sandbox의 데이터 플랫폼인 VAST Data Platform을 통해 연방 기관의 다양한 연구 활동을 더 효과적으로 지원할 수 있을 것으로 기대하고 있습니다. 간단히 정리하면 다음과 같습니다.

• 고성능 AI 지원 데이터 인프라: VAST Data Platform은 사이버 보안, 핵심 인프라 보호, 고해상도 기상 모델링, 재해 계획 및 정부 시스템 현대화 등 연방 사례를 위한 AI 기반 애플리케이션을 개발할 수 있는 성능과 확장성, 데이터 관리 기능을 제공합니다.

• 안전한 멀티 테넌시: VAST Data Platform의 멀티 테넌시 기능을 통해 MITRE는 확장할 수 있는 데이터 구조에서 여러 보안 격리 구역을 생성 및 유지 관리할 수 있습니다. 이를 통해 연방 기관은 성능이나 보안을 저해하지 않으면서 공유 AI 인프라 자원을 활용해 데이터를 관리할 수 있습니다. 또한, VAST Data Platform의 속성 기반 및 역할 기반 접근 제어(ABAC/RBAC) 기능은 추가적인 데이터 보안 계층을 제공합니다.

• 향상된 데이터 효율성: MITRE의 Federal AI Sandbox가 확장됨에 따라 VAST Data Platform의 고유한 유사성 기반 데이터 감소 기능이 데이터 인프라 비용을 줄이고, MITRE의 페타바이트 단위 데이터를 더욱 간단하게 관리할 수 있도록 지원합니다.

• 다양한 유형의 워크로드 지원: AI는 방대한 데이터 세트에 대한 무작위 접근이 필요합니다. VAST Data Platform의 올플래시 인프라와 메타데이터 기능은 MITRE가 다양한 연방 후원 사례와 AI 배포를 지원할 수 있도록 모든 워크로드와 AI 파이프라인을 처리할 수 있게 합니다.

한편, 이번 포스팅에 소개한 사례 외에도 VAST Data Federal은 미국 에너지부(Department of Energy), NASA, 국립해양대기청(NOAA), 국립보건원(NIH), 국토안보부(Homeland Security) 등 여러 공공 부문 기관에서 VAST Data Platform을 공급한 바 있습니다.

다양한 연구 기관이나 조직이 첨단 AI 솔루션 개발을 위해 공유할 수 있는 차세대 AI 인프라 구축을 계획 중이라면? VAST Data Platform을 꼭 한번 검토하는 것을 추천합니다.

#대원씨티에스 #DIA_Nexus # VAST_ Data # VAST_Data_Platform #AGI #AI_Agent #MITRE #DGX_SuperPOD #xPU