OCP Global Summit 2026 - 개방형 표준 기술로 구현하는 지속 가능한 스케일업, 스케일아웃 AI 데이터센터

Chang Sun Park

10월 29일

7분 분량

AI 데이터센터 투자 경쟁은 어디까지 이어질까요? 기술 업계는 물론 자본 시장에서도 뜨거운 주제입니다. 관련해 요즘 관심사는 크게 두 가지로 갈립니다. 하나는 구축 시간입니다. 토큰 경제 시대 지능을 공급하는 데 있어 컴퓨팅 파워가 턱없이 부족하다 보니 수요에 맞게 AI 데이터센터를 구축하는 데 필요한 시간이 부족하다는 이야기가 많이 나옵니다. 관련해 AI 진영이 꺼낸 카드 중 하나인 모듈형 데이터센터가 문제 해결의 열쇠로 요즘 관심을 모으고 있습니다.

다른 하나는 개방형 표준입니다. 특정 기업이나 기술에 종속되지 않으면서 지속 가능한 확장을 하고자 하는 민간과 공공 부문의 요구가 바로 개방형 표준입니다. 이는 자연스럽게 국가 소버린 AI 전략과도 맞닿아 있습니다. 관련해 이번 포스팅에서는 두 번째 관심사인 개방형 표준 관련 시장과 기술 동향을 한 자리에서 살펴볼 수 있는 행사로 유명한 OCP Global Summit 2026에서 드러난 AI 데이터센터 관련 주요 의제가 무엇인지 살펴볼까 합니다.

칩부터 그리드까지 데이터센터 운영의 End to End가 달라지고 있다!

OCP Global Summit은 매년 열리는 행사입니다. 인프라부터 데이터센터까지 개방형 표준 기술 혁신을 함께 하고 공유하는 OCP(Open Compute Project) 커뮤니티의 최대 이벤트라 할 수 있는데요. 올 해에는 10월 12일부터 15일까지 미국 새너제이에서 'Scaling Innovation for the AI Era'를 주제로 무대의 막이 올랐습니다. 올 행사는 최근 AI 데이터센터에 대한 관심이 얼마나 뜨거운 지 알 수 있는 그런 자리였습니다. 참관객이 1만 5,000여 명에 이르렀는데 이는 행사 역대 최대 규모라고 합니다.

22026년 행사의 수 많은 주제들이 무대에 올라왔는데요. 모든 주제를 하나로 묶는 메시지는 조지 차파리안(George Tchaparian) OCP CEO가 기조연설에서 제시했습니다. 그가 한 말은 바로 칩에서 그리드까지(Chip to Grid) 개방형 표준화가 진행되고 있다는 것이었습니다. OCP를 구심점으로 표준화되는 AI 데이터센터 관련 기술이 랙과 클러스터에서 전력, 냉각, 보안, 전력망 연동까지 확대된다는 의미를 담고 있는데요.

한편, OCP 주요 회원사인 AMD, 메타, Arm, 브로드컴, 엔비디아, 마이크로소프트, 오라클, 래티스·AMI, HPE, 인텔, ABB·이튼, 구글 관계자의 기조 연설 무대도 마련되었는데요. 이들의 발표는 조지 차파리안이 제시한 방향이 실제 현장에서 어떻게 실현되어 가고 있는 지를 잘 보여주었습니다. 이를 다섯 가지 트렌드로 묶어 보겠습니다.

Trend 1: CPU의 화려한 귀환

올 행사에서 CPU 진영의 리더들은 모두 한 목소리를 냈습니다. 에이전트의 시대가 되면서 CPU의 역할이 커지고 있다는 것입니다. 리사 수(Lisa Su) AMD CEO는 올해를 추론의 해로 규정했습니다.

추론 워크로드가 늘면 자연스럽게 CPU 수요도 커집니다. 에이전트는 도구를 실행하고 데이터를 조회하고 코드를 컴파일합니다. 이 작업 대부분을 CPU가 맡습니다. Arm의 기조 연설 무대에서는 에이전트를 잠들지 않는 가상 사용자라고 강조했는데요. 요즘 AI 사용자 사이에 관심을 모으고 있는 Grok Bot, Meta Muse, GPT Dots 같은 클라우드에 전용 컴퓨팅 공간에서 24시간 작업하는 상시 작동 에이전트를 떠올려 보니 고개가 끄덕여 지는 대목이었습니다.

그렇다면 CPU가 얼마나 필요할까요? 서버 기업들의 발표 내용에 힌트가 있었습니다. HPE는 AI 서버의 CPU:GPU 비율이 1:4에서 1:1 심지어 1:0까지 바뀌고 있다고 설명했습니다. 이런 트렌드를 반영한 신제품 소개도 있었는데요. AMD는 랙 하나에 Zen 6 코어 3만 2,000개 이상을 담은 Helion을, 엔비디아는 Vera CPU 256개를 담은 MGX 랙을, 인텔은 소켓 160개 규모의 고밀도Xeon 랙을 선보였습니다.

추론 관련해 CPU 만큼 조명을 받은 것이 메모리였습니다. 민간과 공공 부문의 AI 데이터센터 구축과 운영 목표 중심에 에이전트가 놓이면서 자연스럽게 토큰 팩토리 운영의 경제성을 진지하게 따지는 곳이 늘고 있는데요. 이번 행사에서는 더 경제적인 추론 워크로드 운영을 위한 해법을 메모리 업계에서 어떻게 제시하는 지도 한 자리에서 들어 볼 수 있었습니다.

한국의 메모리 거인들이 주목한 것은 KV 캐시입니다. 긴 문맥과 여러 단계의 추론을 다루면 KV 캐시를 어디에 저장하고 어떻게 재사용할지가 중요해집니다. SK하이닉스는 CXL 풀드 메모리를 활용해 KV 캐시를 전달·재사용하는 시연과 DRAM·SSD를 결합한 하이브리드 메모리 랙을 소개했습니다. 삼성전자도 CXL 풀링과 SSD 기반 KV 캐시 오프로딩을 연결하는 메모리 계층화 방향을 발표했습니다.

Trend 2: 랙이 기준인 시대

두 번째 트렌드는 랙스케일 아키텍처입니다. 주요 AI 인프라 업체들이 차세대 AI 데이터센터를 위한 랙스케일 아키텍처 기반 신제품을 선보이고 있는데요. 이번 행사는 아무래도 OCP가 주인공이다 보니 OCP Open Rack Wide 규격 관련 이야기가 주로 오갔습니다.

AMD는 메타와 함께 OCP Open Rack Wide 규격으로 설계한 Helios(GPU 72개)를 9월부터 출하하고 있습니다. 첫 시스템은OpenAI, 메타, 마이크로소프트, 오라클, 앤트로픽에 들어갔습니다. AMD는 달러당 토큰을 30% 더 만든다고 강조했습니다.

NVIDIA는 자신 만의 길도 개척하지만 개방형 표준 진영과 함께 하는 데에도 진심입니다. 이번 OCP 행사에서는 Vera Rubin의 랙과 컴퓨트 트레이 설계를 MGX 1.2 사양으로 공유했습니다. 케이블 연결을 없앤 설계로 트레이 조립 시간을 90분에서 1분으로 줄였으며 현재 매주 수천 개의 랙을 생산한다고 밝혔습니다.

차세대 Vera Rubin Ultra에서는 여러 랙을 하나의 연산 시스템으로 연결하는 방향을 제시했습니다. 랙 내부는 구리로 랙 사이는 광으로 연결해 GPU 576개가 하나의 NVLink 연결 영역에서 긴밀하게 데이터를 주고받도록 구성할 계획입니다.

이러한 설계 공유는 OCP 생태계에 어떤 도움이 될까요? 부품 업체와 시스템 제조사가 공통 사양을 바탕으로 제품을 개발하고 생산할 수 있는 기반을 제공합니다. 전력과 냉각, 연결 구조의 인터페이스를 맞추면 업체마다 설계를 반복하는 부담을 줄이고 조립과 검증에 필요한 시간도 단축할 수 있습니다. 즉, 설계 공유는 고밀도 AI 랙의 설계와 제조에 대한 NVIDIA의 경험을 더 많은 기업이 활용하도록 한다는 점에서 의미가 있습니다. NVIDIA 입장에서도 자사 플랫폼을 지원하는 공급업체가 늘어나면 랙과 냉각·전력 설비의 공급 병목을 줄이고 데이터센터 구축 속도를 높이는 데 도움이 됩니다. OCP가 추구하는 생태계의 확장과 NVIDIA의 플랫폼 확산 모두에 도움이 된다고 볼 수 있겠네요.

Trend 3: 확장된 네트워크 설계

네트워크 관련 발표에서는 스케일업(Scale-Up), 스케일아웃(Scale-Out), 스케일어크로스(Scale-Across)이 가장 눈에 들어왔습니다. AI 데이터센터의 설계, 구축, 운영, 확장 방식의 변화 발맞추어 AI 패브릭도 변화의 시기를 맞이하고 있다는 것을 알 수 있었습니다. 이런 변화는 미래의 이야기가 아닙니다. 이미 현장에서 벌어지는 일입니다.

Meta는 102.4Tbps 스위치 IceCube와 이를 수용하는 첫 액체냉각 네트워크 랙 IcePack을 소개했습니다. IceCube는 Broadcom Tomahawk6C와 NVIDIA Spectrum-6 기반의 두 구성을 갖추고 공통으로 FBOSS를 사용합니다. 여러 독립 경로에 연결하는Flattened Planar Fabric, 전송 프로토콜 MetaRoCE의 오픈소스 구현, 건물과 사이트를 연결하는 BAG도 발표했습니다.

Arista는 행사에 앞선 10월 7일 Etherlink SU-144를 발표했습니다. Arista가 제시한 설계 방식을 적용하면 단일 홉 네트워크에서 최대 144개 XPU를 묶고, 랙 간 연결로 최대 1,024개까지 도메인을 확장할 수 있습니다. 스케일아웃에서는 102.4Tbps급7060XE7 스위치에 액체냉각, 누수 감지, 랙 관리 등을 통합할 수 있습니다. 네트워크를 랙 전체의 설계 요소로 다룬다는 점에서 이번 행사가 제시한 AI 패브릭의 현재와 미래 방향과 맞닿아 있다고 할 수 있겠네요.

Trend 4: 전력 병목의 해법으로 제시한 800VDC와 액체 냉각

AI 데이터센터의 대표적인 병목을 꼽으라면 전력이 먼저 떠오를 것입니다. 조지 차파리안 OCP CEO도 에너지가 하드웨어보다 더 큰 병목이 됐다고 강조했습니다. 랙당 전력 수요가 100kW를 넘어 1MW를 향하면서 전력을 확보하는 일뿐 아니라 이를 랙까지 효율적으로 전달하는 일도 어려워지고 있기 때문입니다. ABB와 이튼 역시 기존 54V 버스바로 수백 kW급 랙에 전력을 공급하는 방식의 한계를 짚었습니다.

이 문제의 해법으로 제시한 것이 800VDC 직류 배전입니다. 같은 전력을 더 높은 전압으로 전달하면 전류를 줄일 수 있어 구리 사용량과 저항 손실, 발열을 낮추는 데 도움이 됩니다. 전력 변환 단계를 줄여 효율을 높일 수도 있습니다. NVIDIA는 자사 설계를 통해 구리 사용량을 45% 줄일 수 있다고 설명했습니다. 마이크로소프트의 Mt. Diablo와 구글의 LVDC 관련 기여도 이러한 전력 공급 체계의 전환을 뒷받침합니다.

전력을 안정적으로 공급하고 효율적으로 활용하기 위한 협력도 이어졌습니다. 구글·메타·마이크로소프트·NVIDIA는 전력망에 이상이 생겼을 때 데이터센터가 어떻게 대응해야 하는지 정리한 그리드 복원력 사양을 공동 발표했습니다. 확보한 전력 안에서 처리량을 높이려는 접근도 나왔습니다. NVIDIA가 소개한 사례에서 영국 엔스케일은 전력 관리 소프트웨어 Max-LPS를 적용해 같은 전력 조건에서 토큰 처리량을 50% 늘렸습니다. 다만 전력을 효율적으로 배분해 더 많은 연산 자원을 가동하려면, 냉각 설비도 그에 따른 열 부하를 감당할 수 있어야 합니다.

이처럼 전력 활용도를 높이는 과제는 냉각 설계와 맞물립니다. 이번 행사에서 고밀도 AI 랙의 액체 냉각 논의가 도입 여부를 넘어 표준화와 신뢰성으로 확장된 것도 같은 맥락에서 이해할 수 있습니다. 여러 공급사가 구글의 개방형 CDU 설계인 Project Deschutes를 채택했고 전시장에는 2.5~3.2MW급 냉각수 분배장치(CDU)도 등장했습니다. 냉각 용량의 확대와 함께 운영 안정성을 확보해야 한다는 지적도 나왔습니다. 오라클은 액체 냉각 부품이 늘어날수록 고장 가능성과 관리 지점도 늘어난다며 신뢰성 확보의 중요성을 강조했습니다.

이러한 논의는 결국 전력과 냉각을 갖춘 데이터센터를 얼마나 빨리 안정적으로 가동할 수 있느냐라는 질뭉으로 이어집니다. 메타는 대형 텐트형 구조물을 활용해 3~5개월 만에 데이터센터를 가동한 사례를 소개했습니다. AI로 설계한 콘크리트 배합으로 탄소 배출을 19%, 양생 시간을 43% 줄였다는 설명도 덧붙였습니다. 전력·냉각 장비의 성능 개선과 함께 건축 자재와 시공 방식까지 바꿔야 AI 인프라의 구축 병목을 줄일 수 있다는 점을 보여주는 좋은 사례로 보이네요.

Trend 5: 구축과 운영도 병목이 될 수 있다!

AI 데이터센터의 병목을 줄이려는 노력은 네트워크와 전력·냉각을 넘어 건축과 운영 방식으로도 이어지고 있습니다. 이런 흐름은 여러 발표에서 감지할 수 있었는데요.

먼저 Meta는 기조연설에서 Prometheus 구축 경험을 소개하며 여러 건물을 하나의 연산 환경으로 연결하고 구조물과 시공 방식을 바꿔 구축 기간을 단축한 과정을 설명했습니다. 규모가 커질수록 부품과 장비의 장애를 피하기 어려운 만큼 장애가 발생해도 연산을 이어갈 수 있도록 설계하고 운영해야 한다는 점도 강조했습니다.

건설 방식이 병목이 될 수 있다는 문제 의식은 기술 세션에서 확인할 수 있었습니다. 공장에서 미리 제작한 단위로 AI 클러스터를 구성하는 방법과 표준화를 통해 전력 확보를 앞당기는 방법 등이 주요 주제로 등장했습니다. 장비의 성능뿐 아니라 설치와 검증을 마치고 실제 가동하기까지 걸리는 시간이 왜 병목인지 알 수 있는 자리였습니다.

한편, 구축과 운영 과정이 복잡해지면서 이를 뒷받침할 소프트웨어와 자동화의 역할도 커지고 있습니다. Google의 파르타 랑가나탄은 ‘AI를 위한 시스템’에 더해 ‘시스템을 위한 AI’라는 개념을 제시했습니다. AI를 구동할 인프라를 만드는 동시에 AI를 활용해 하드웨어·소프트웨어의 설계와 검증부터 데이터센터 설계, 공급망 관리와 운영까지 개선하자는 것입니다.

이러한 자동화를 확대하려면 서로 다른 장비의 상태를 파악하고 제어할 수 있는 공통 기반도 필요합니다. Lattice와 AMI가 소개한 신규 OCP 워크스트림 SCMP는 이 과제와 연관성이 높은데요. 장비의 신뢰성을 확인하고 제어·관리하는 방식을 연결하려는 시도로 2026년 4분기부터 관련 작업을 시작할 예정이라고 합니다.

AI 데이터센터 건축과 운영 관련 발표들을 종합해 보자면 AI 데이터센터 시장에서는 장비 공급과 함께 구축·검증·운영을 일관된 방식으로 수행하는 역량이 중요해지고 있다는 것을 알 수 있습니다. 공급사가 다른 장비도 공통 인터페이스로 연결하고, 텔레메트리로 상태를 파악하며, 필요한 조치를 자동화할 수 있어야 한다는 인식이 확산되고 있다고 볼 수 있는데요. 이게 가능해야 새로운 장비를 추가할 때마다 통합 작업을 반복하는 부담을 줄이고 운영 규모가 커져도 안정성을 유지할 수 있기 때문이 아닐까요?

다시 볼 만한 추천 세션

OCP Global Summit 2026은 다루어진 주제도 너무 다양하고 세션 수도 많아 큰 줄기만 정리해 보았습니다. 본 포스팅에서 소개한 주제에 대한 깊이 있는 내용은 다행히 온디맨드로 다시 볼 수 있습니다. OCP는 기조연설 15개와 경영진 세션 58개를 비롯한 발표 영상을 OCP 유튜브 채널에 올렸는데요. 시간 내어 꼭 볼 만한 세션을 추려 보았습니다. 세션을 보다 더 전문가의 상담을 받아보고 싶은 내용이 있다면 대원씨티에스가 도움을 드리겠습니다.

리사 수(AMD), Building the Next Era of AI Infrastructure: 추론과 에이전틱 AI 시장을 숫자로 가장 잘 정리한 발표입니다. GPU 랙과 CPU 랙을 나눠 설계하는 이유도 설명합니다. 경영진 보고 자료를 찾는 분께 추천합니다.
산토시 자나르단(메타), Concrete to Code: 이번 행사에서 가장 화제가 된 발표입니다. 네트워크, 텐트 데이터센터, 장애 대응까지 기가와트급 구축의 실제 경험을 들려줍니다.
이안 벅(NVIDIA), AI Factories at Scale: MGX 1.2부터 800VDC, CPO 스위치까지 AI 팩토리 로드맵을 정리합니다. 차세대 GPU 인프라의 도입 시점과 설비 요건을 가늠하는 데 유용합니다.
닉 뒤베(인텔), Put Every Prompt in Its Place: 프롬프트 라우팅과 알맞은 크기의 추론 인프라를 다룹니다. 온프레미스나 소버린 환경을 설계하는 국내 기업에 특히 유용합니다.
ABB·이튼, Shifting to DC Power Distribution: 800VDC가 왜 필요한지, 안전 문제는 어떻게 푸는지 쉽게 풀어냅니다. 설비 담당자와 IT 담당자가 함께 보면 좋습니다.
파르타 랑가나탄(구글), Intelligent Infrastructure for the Intelligence Era: OCP 커뮤니티의 전력·냉각·네트워크 성과와AI 기반 시스템 설계를 다룹니다. 중장기 데이터센터 전략에 참고가 됩니다.
프라딥 빈센트(오라클), Scaling AI Infrastructure Responsibly: 전력망 연동과 냉각·광 신뢰성처럼 운영 단계의 과제를 짚습니다. 공공 AI 데이터센터 사업자에게 시사점이 큽니다.
오마르 발도나도(메타), Betting on the Network: 스케일업부터 스케일어크로스까지 개방형 이더넷으로 설계한 이유를 상세히 설명합니다.
Arista·Jabil, From Switches to Systems: 시스템 단위로 AI 네트워크를 공급하는 흐름과 네트워크가 랙의 일부로 바뀌는 과정을 보여 줍니다.
NVIDIA, Every Megawatt Counts: DSX MaxLPS : 전력 증설 없이 GPU 운영 규모를 늘리는 방법을 다룹니다.
SK하이닉스 MARS · 삼성전자 Scalable Memory: 추론과 긴 컨텍스트 처리에서 메모리 병목을 랙 단위로 푸는 국내 기업의 해법입니다.