.png)
어렵게 확보한 AI 가속기 자원을 어떻게 하나의 AI 시스템으로 연결할 것인가? AI Fabric의 진화와 Arista의 제안
AI 인프라의 성능을 이야기하면 GPU의 연산 성능부터 떠올리게 됩니다. 하지만 분산 학습이나 대규모 추론에서는 AI 가속기 하나가 혼자 작업하지 않습니다. 여러 AI 가속기가 데이터를 계속 주고받으며 하나의 작업을 함께 처리합니다. 이때 네트워크가 데이터를 제때 전달하지 못하면 어떻게 될까요?
값비싼 AI 가속기가 연산 대신 통신을 기다리게 됩니다. 그래서 AI 데이터센터(이하 AIDC)에서는 네트워크가 단순히 서버를 연결하는 수단을 넘어, 여러 AI 가속기를 하나의 컴퓨팅 시스템으로 묶는 핵심 요소로 자리 잡고 있습니다.
관련해 이번 포스팅에서는 AIDC 네트워크가 기존 데이터센터 환경과 무엇이 다른지, 이더넷이 어떻게 AI 패브릭(AI Fabric)으로 진화하고 있는지 살펴보겠습니다. 더불어 Arista가 대규모 AI 패브릭을 구축할 때 제안하는 세 가지 아이디어도 알아보겠습니다.
AIDC 네트워크는 무엇이 다를까?
기존 클라우드 데이터센터도 서버 사이를 오가는 동서(East-West) 트래픽을 처리하도록 발전해 왔습니다. 애플리케이션과 데이터베이스, 스토리지와 서버 사이에서 수많은 데이터가 오가기 때문입니다. 리프-스파인(Leaf-Spine) 구조가 데이터센터의 대표적인 아키텍처로 자리 잡은 것도 이러한 수평 확장에 유리하기 때문입니다.
AIDC 네트워크 역시 기본적으로 이러한 스케일 아웃(Scale-Out)의 연장선에 있습니다. 그렇다면 무엇이 다를까요? 차이는 트래픽의 방향이 아니라 성격에 있습니다. 분산 학습과 대규모 추론에서는 여러 가속기가 하나의 작업을 함께 수행합니다. 연산 중간마다 데이터를 서로 교환하고, 통신이 끝나야 다음 연산 단계로 넘어갈 수 있습니다. 따라서 특정 네트워크 구간에서 지연이 발생하면 한 요청이 조금 늦어지는 것으로 끝나지 않습니다. 다른 AI 가속기들이 가장 느린 통신이 끝날 때까지 함께 기다려야 하기 때문입니다.
이러한 특성 때문에 AI 네트워크에서는 단순한 최대 대역폭만으로 성능을 판단하기 어렵습니다. Futuriom 보고서도 AI 네트워크의 주요 요구사항으로 높은 대역폭과 낮은 지연시간뿐 아니라 무손실 전송, 혼잡 관리, 효율적인 로드 밸런싱과 짧은 잡 완료 시간(JCT, Job Completion Time)을 꼽습니다. 결국 좋은 AI 네트워크란 빠른 링크를 제공하는 네트워크를 넘어, 여러 AI 가속기가 통신을 기다리는 시간을 최소화하는 환경이라고 볼 수 있습니다.
네트워크 패브릭이 담당하는 범위도 확대
통신을 기다리는 시간을 줄이는 일은 규모가 커질수록 더 어려워집니다. AI 인프라에 공격적으로 투자하는 하이퍼스케일러, 빅테크, 민간과 공공 부문의 조직을 보면 확장 규모와 속도가 상당하다는 것을 알 수 있습니다. 기존 데이터센터 전략과 달리 AI 인프라는 성능 손실 없는 유기적인 확장이 매우 중요합니다. 아키텍처 설계 역시 이전과 다른 접근을 취해야 합니다. Arista는 이러한 AI 인프라의 연결을 스케일 업(Scale-Up), 스케일 아웃(Scale-Out), 스케일 어크로스(Scale-Across)라는 세 가지 축으로 접근합니다.
스케일 업은 랙 내부 또는 매우 가까운 거리에서 여러 가속기를 연결하는 영역입니다. 랙스케일 시스템에서는 여러 가속기가 하나의 거대한 컴퓨팅 시스템처럼 움직여야 하므로 높은 대역폭과 낮은 지연시간이 중요합니다. 스케일 아웃은 여러 서버와 랙을 하나의 AI 클러스터로 연결하는 영역입니다. 대규모 분산 학습과 추론 환경이 대표적입니다.
마지막으로 스케일 어크로스는 서로 떨어진 AI 클러스터와 데이터센터까지 연결하는 영역입니다. 하나의 데이터센터에서 필요한 전력과 공간을 모두 확보하기 어려워지면서, 데이터센터 간 컴퓨팅 자원을 연결해야 하는 요구도 커지고 있습니다.
AI 패브릭은 세 영역을 각각 빠르게 연결하는 데서 끝나지 않습니다. 랙에서 시작한 AI 인프라를 더 큰 클러스터와 다른 데이터센터까지 자연스럽게 확장하면서 이를 통합 운영 관점에서 관리할 수 있어야 합니다.
왜 표준 기반 AI 패브릭이어야 할까?
여기서 또 하나의 고민이 생깁니다. 빠르게 확장되는 AI 인프라를 어떤 네트워크 기술로 연결해야 할까요? 지금 구축 중인 AIDC가 앞으로도 같은 GPU와 NIC, 같은 서버 아키텍처만 사용할 가능성은 높지 않습니다. GPU뿐 아니라 TPU, NPU, LPU 등 다양한 가속기를 함께 사용할 수 있고 학습과 추론의 비중도 계속 달라질 수 있습니다. 이때 네트워크가 특정 AI 가속기나 폐쇄적인 아키텍처에 종속되어 있다면 새로운 기술을 추가하거나 인프라를 확장할 때 선택지가 줄어들 수밖에 없습니다.
Arista가 이더넷 표준을 기반으로 한 개방형 AI 패브릭을 강조하는 이유도 여기에 있습니다. 표준을 따른 다는 것은 단순히 여러 벤더의 장비를 선택할 수 있다는 의미에 그치지 않습니다. 학습과 추론, 기존 데이터센터와 AIDC, 나아가 서로 다른 AIDC까지 표준 네트워크 기술과 운영 방식으로 연결할 수 있다는 것이 더 큰 의미입니다.
Futuriom이 공개한 ‘Driving AI Networking at Scale with Standards-Based Ethernet’ 보고서 역시 이 부분을 강조합니다. 이더넷 기반의 공통 아키텍처를 사용하면 백엔드 학습과 프런트엔드 추론 사이에서 네트워크 기술과 운영 역량을 재사용할 수 있고 서로 다른 기술을 잇기 위한 별도의 게이트웨이도 줄일 수 있습니다. 결국 중요한 질문은 단순히 “이더넷과 인피니밴드 가운데 무엇을 선택할 것인가?”가 아닙니다. 지금 구축하고 있는 AI 패브릭을 앞으로 어디까지, 어떤 방식으로 확장할 것인가에 대한 답을 먼저 찾아야 합니다.
대규모 AI 패브릭은 어떻게 확장해야 할까?
표준 기반 이더넷을 선택했다고 해서 대규모 AI 네트워크의 문제가 모두 해결되는 것은 아닙니다. 수천, 수만 개의 가속기가 하나의 AI 패브릭에 연결되면 예상치 못한 다른 문제들을 마주하게 됩니다. 스위치 수가 늘어나고, 경로가 복잡해지며, 일부 링크에 혼잡이나 장애가 발생했을 때 이를 얼마나 빠르게 우회할 것인지도 중요해집니다. 관련해 Arista는 실제 대규모 스케일 아웃 AI 패브릭을 구축하면서 검증한 세 가지 아이디어를 공유하고 있습니다.
첫 번째는 멀티플래너 리프-스파인(Multi-planar Leaf-Spine)입니다. 하나의 거대한 백엔드 패브릭을 만드는 대신 최대 8개의 독립적인 네트워크 Plane으로 나누는 구조입니다. Arista의 예를 보면 일반적인 Clos 구조에서 4,096개 포트를 제공하려면 512포트 스위치 24대가 필요하지만 8-Plane 구조에서는 8대로 구성할 수 있습니다. 각 800G NIC는 8개의 100G 연결로 나뉘어 모든 Plane과 연결되기 때문에 NIC 간에는 여러 독립적인 경로가 만들어집니다. 규모를 키우면서 동시에 장애 영역을 나눌 수 있는 구조라 이해하면 됩니다.
경로가 여러 개 생기면 어느 길로 데이터를 보내야 할지를 결정해야 합니다. Arista의 두 번째 아이디어인 MRC(Multipath Reliable Connection)는 이 질문에 대한 답을 제시합니다. MRC는 엔드포인트 NIC가 트래픽을 여러 링크와 경로에 나눠 보내고 ECN이나Packet Trimming 같은 혼잡 신호를 참고해 성능이 좋은 경로로 부하를 이동하도록 합니다. 도달할 수 없는 경로나 문제가 발생한 링크도 피할 수 있습니다.
세 번째는 SRv6(Segment Routing over IPv6)입니다. MRC가 여러 경로를 활용할 수 있게 한다면 SRv6는 어떤 경로를 사용할지 보다 세밀하게 제어할 수 있도록 돕습니다. 여러 Plane으로 트래픽을 분산하는 데서 그치지 않고 각 Plane 안에서도 다양한 경로를 선택할 수 있습니다. Arista는 MRC와 SRv6의 조합을 통해 혼잡과 링크 오류를 피해 트래픽을 전달하고 실제 운영 환경에서 높은 패브릭 활용률과 안정적인 로드 밸런싱을 구현했다고 설명합니다. 이 구조는 표준 동적 라우팅을 사용하는 Scale-Across와 WAN 환경과도 연결할 수 있습니다.
세 아이디어가 해결하려는 문제는 결국 하나입니다. AI 가속기 수가 늘어나고 AI 패브릭의 규모가 커져도 네트워크가 새로운 병목이 되지 않도록 만드는 것입니다.
이 세 가지 아이디어는 개념에만 머물지 않습니다. Arista는 고포트 밀도의 Etherlink 스위치를 기반으로 대규모 AI 패브릭을 구축하고 있으며 차세대 환경에서는 7060XE7 리프 스위치와 7800 AI Spine을 중심으로 확장하고 있습니다. 여기서 중요한 것은 개별 스위치의 최대 속도만이 아닙니다. AI 가속기를 더 많이 추가할수록 랙과 데이터센터를 더 넓게 연결할수록 네트워크는 더 복잡해집니다. 이때 필요한 것은 단순히 더 빠른 스위치가 아니라 규모가 커져도 일관된 방식으로 확장하고 운영할 수 있는 AI 패브릭 아키텍처입니다. 멀티플래너 구조로 패브릭 자체를 확장하고 MRC와 SRv6로 여러 경로를 효율적으로 사용하며 규모가 커져도 표준 이더넷과 IP 기반의 운영 방식을 유지하는 것! 앞서 잠시 소개한 Scale-Up, Scale-Out, Scale-Across를 하나로 잇는 Arista의 세 가지 AI Fabric 아이디어가 AIDC 환경에서 제공하는 실질적인 가치가 아닐까요.
AIDC 네트워크 구축을 위한 최적의 파트너
AI 패브릭은 좋은 장비를 도입한다고 완성되지 않습니다. AI 가속기와 AI 워크로드를 기준으로 랙 내부 연결부터 클러스터 규모, 스토리지와 네트워크 구성, 향후 다른 AIDC로의 확장까지 함께 고려해야 합니다.
대원씨티에스는 Arista를 비롯한 다양한 AI 인프라 파트너와 함께 서버와 가속기, 네트워크, 스토리지와 운영 환경을 아우르는 풀스택 관점에서 고객 환경에 맞는 AIDC 네트워크 전략을 제안합니다. Arista의 표준 기반 AI 패브릭 도입부터 전체 인프라 설계와 공급, 실제 구축까지 단일 창구에서 지원합니다.
어렵게 확보한 AI 가속기를 하나의 시스템으로 연결하고, 향후 더 큰 규모로 확장할 수 있는 AIDC 네트워크 구축을 검토하고 계시다면 대원씨티에스로 문의 바랍니다.
참고 자료
댓글