All Posts

Part 2에서는 AI 워크로드의 까다로운 요구사항을 만족시키기 위한 온프레미스 인프라 최적화 방안 중 프로세서(GPU/CPU), 네트워크 I/O, 스토리지에 대해 자세히 살펴보았습니다. Part 3에서는 지난 회에 이어 핵심 기술 요소 최적화의...

Part 1에서는 AI 개발과 배포 및 운영 과정에 포함된 데이터 전처리, 모델 훈련, 추론 등의 다양한 워크로드 특성을 이해하고, 각기 다른 요구 사항을 인프라 설계에 반영하는 것이 왜 중요한지 살펴보았습니다. Part 2와 Part 3에서는...

AI 인프라 투자가 경쟁적으로 이루어지고 있습니다. 최신 GPU가 출시되면 ‘쟁탈전’이 일어난다고 표현할 만큼 기업 간 투자 경쟁이 치열합니다. 이런 소식에 가려져 있지만 중요한 트렌드 하나를 놓치면 안됩니다. 바로 ‘워크로드 최적화’입니다....

ChatGPT의 전 세계 사용자 수가 2025년 말 10억 명을 바라보는 시대입니다. 생성형 AI가 촉발한 AI가 창출하는 새로운 비즈니스 가치에 대한 공감이 확산하면서 자연스럽게 엔터프라이즈의 관심사는 훈련(Training)에서 추론(Inference)으로 전환되고 있습니다. 이러한 패러다임의 전환은 AI 데이터센터 전략에도 영향을 끼치고 있습니다. 대표적인 것이 플랫폼 운영 전략입니다. 거대한 GPU 자원 풀의 활용률을 극대화하는 데 있어 훈련과 추론 워크로드를 모두 고려해야 하기 때문입니다. AI 모델 훈련 워크로드는 수 페타바이트(PB)의 데이터를 처리하기 위해 수백, 수천 개의 GPU를 몇 주 또는 몇 달간 독점적으로 사용합니다. 이 워크로드의 유일한 목표는 최대한 빠르게 모델을 훈련하는 데 필요한 처리량(Throughput) 확보입니다. 반면에 AI 모델을 기반으로 실제 서비스를 제공하는 프로덕션 환경의 AI 추론 워크로드는 지향점이 다

최근 AI가 국가 정책 아젠다의 중심에 놓이는 분위기입니다. 관련해 인프라 전략에 대한 다양한 이야기들이 오가고 있습니다. 메시지마다 내용에 차이를 보이지만 모든 전략의 공통 분모가 있습니다. 바로 그린 컴퓨팅입니다. 어떻게 하면 더 강력한 AI...

AI 시장이 급격히 변화함에 따라, 데이터센터 인프라 역시 확장성과 효율성을 동시에 갖춰야 하는 새로운 도전에 직면하고 있습니다. 특히 최근에는 멀티 모달 언어 모델(MMLM)과 거대 언어 모델(LLM), 소형 언어 모델(SLM) 분야가 폭발적으로 발전하면서 예전보다 훨씬 높은 대역폭과 복잡한 작업 부하를 감당할 수 있는 고성능 네트워크 인프라가 절실해졌습니다. Meta 역시 이러한 흐름 속에서 초대형 AI 인프라를 구상하고 연구·개발에 매진해 왔습니다. 대규모 AI 워크로드에 맞는 네트워크 필요성 Meta의 AI 인프라는MMLM, LLM과 같은 초대형 모델이 빠른 속도로 확장함에 따라 네트워크 규모 자체가 폭발적으로 커졌습니다. 예전에는 10G 이더넷에 수백 노드만 있어도 충분했지만, 이제는 400G~800G 이더넷으로 XPU 기반 노드를 수천 개까지 연결해야 합니다. 고성능·저지연 요구사항을 수용하려면 무손실 전송과 안정적인 고속 인

대원씨티에스는 슈퍼마이크로의 파트너로 국내 주요 고객에게 AI 인프라 구축을 위한 서버 제품을 공급하고 있습니다. 이번 포스팅에서는 대원씨티에스가 공급하는 서버 중 하나인 AS-8125GS-TNMR2 모델이 실제 엔터프라이즈 컴퓨팅 현장에서 어떻게 활용되는지 알아보려 합니다. LLM 솔루션 전문 기업 ‘Lamini’ 슈퍼마이크로의 생태계는 매우 광범위합니다. 대원씨티에스와 같이 인프라 전문 기업부터 AI, LLM 솔루션 기업까지 다양한 조직과 협력하고 있습니다. 이번 포스팅에서는 슈퍼마이크로 생태계의 일원 중 하나인 Lamini의 이야기를 해볼까 합니다. Lamini는 기업들이 거대 언어 모델(Large Language Model, 이하 LLM)을 쉽고 빠르게 활용할 수 있도록 지원하는 LLM 인퍼런스 및 튜닝 플랫폼을 제공하는 기업입니다. Fortune 500 기업부터 AI 스타트업까 다양한 조직이 LLM을 통해 비즈니스 가치를 창출할 수 있

최근 AI가 국가 정책 아젠다의 중심에 놓이는 분위기입니다. 관련해 인프라 전략에 대한 다양한 이야기들이 오가고 있습니다. 메시지마다 내용에 차이를 보이지만 모든 전략의 공통 분모가 있습니다. 바로 그린 컴퓨팅입니다. 어떻게 하면 더 강력한 AI 인프라 컴퓨팅 파워를 더 적은 에너지 소모로 유지할 것인가? 이에 대한 답을 찾는 것은 이제 업계만의 숙제가 아닌 것 같습니다. 관련해 이번 포스팅에서는 대원씨티에스와 함께 AI 인프라 비즈니스를 수행하고 있는 파트너인 KAYTUS의 그린 컴퓨팅 기술과 솔루션을 알아보겠습니다. 하드웨어부터 소프트웨어까지 KAYTUS는 서버 에너지 효율성의 기초가 되는 부품 단위의 최적화에 주목합니다. 클라크 리(Clark Li) KAYTUS DACH 지역 지사장는 자신의 글에서 “부품 수준에서는 팬, 공기 덕트, 방열판 등 부품의 구조 설계를 최적화해 방열 효율을 높일 수 있다”고 강조합니다. 구체적으로 보자면 팬 날

대원씨티에스의 파트너의 Nota AI가 최근 기쁜 소식을 전해왔습니다. 그 내용은 Nota AI가 두바이 AI 페스티벌의 하이라이트 프로그램 중 하나인 퓨처테크 월드컵(Future Tech World Cup)에서 예선 1위를 차지한 것입니다. 이 소식은 Nota AI가 해외 시장에서도 인정받는 기술력을 보유하고 있다는 것을 잘 보여줍니다. UAE(아랍에미리트)의 경우 AI 기업에게 시장 잠재력이 큰 중동 지역의 거점 시장으로 알려져 있습니다. 이를 고려할 때 작년 연말부터 올 초에 들리는 중동발 Nota AI 관련 소식은 한국의 스타트업이 중동 지역의 AI 전환에서 나름의 역할을 할 것 같은 기대감을 들게 합니다. 관련해 이번 포스팅에서 Nota AI가 퓨처테크 월드컵에서 거둔 성과가 갖는 의미를 좀 풀어 볼까 합니다. 디지털 전환과 AI 전환에 속도를 높이는 UAE 중동 지역은 UAE, 사우디아라비아, 카타르 등을 중심으로 스마트 모빌리

요즘 AI와 HPC 분야가 발전 속도는 어지러울 정도로 빠릅니다. 최근 많은 이들이 주목하는 것은 아마 NVIDIA Blackwell GPU일 것입니다. 관련해 이번 포스팅에서는 NVIDIA Blackwell에 대해 간단히 알아보고 2월 초 슈퍼마이크로가 Blackwell GPU(이하 Blackwell) 기반 Building Block 솔루션을 양산한다고 발표한 내용을 간단히 정리해보겠습니다. NVIDIA Blackwell이 향후 AI 인프라 환경에 끼칠 영향 NVIDIA는 Blackwell을 통해 엄청난 수의 트랜지스터(약 2,080억 개)를 탑재해 전 세대보다 훨씬 복잡하고 큰 AI 모델을 처리할 수 있게 했으며, 10TB/s에 달하는 NVLink-HBI 기반 인터커넥트로 여러 개의 GPU를 하나처럼 묶어 메모리 대역폭을 크게 확장했습니다. 또한, 5세대 NVLink와 NVLink Switch가 최대 576개의 GPU를 상호 연결해 수조 개

하이퍼엑셀과 파트너십 체결…AI 시장 확대 및 시장경쟁력 강화 포석 2025년 4월 3일 – IT 유통 및 솔루션 전문 기업 대원씨티에스(대표 하성원)가 글로벌 기술 혁신 기업 하이퍼엑셀(HyperAccel, 대표 김주영)과 전략적 파트너십을 체결했다고 밝혔다. 이번 협약을 통해 양사는 차세대 생성형 AI를 위한 LLM 가속 솔루션 시장에서 협력을 강화하고, 국내외 시장 확대를 위한 공동 사업을 추진할 계획이다. 대원씨티에스는 국내 IT 시장에서 30년 이상 축적된 유통 및 솔루션 공급 경험을 보유하고 있으며, 하이퍼엑셀은 생성형 AI 가속 기술 분야에서 세계적인 경쟁력을 갖춘 기업이다. 이번 협력을 통해 대원씨티에스는 하이퍼엑셀의 최첨단 기술을 국내외 시장에 적극 공급하고, 하이퍼엑셀은 대원씨티에스의 광범위한 유통 네트워크를 활용해 고객 접점을 확대할 예정이다. 하이퍼엑셀은 2023년 1월 설립된 인공지능(AI) 반도체 개발 기업으

대원씨티에스는 KAYTUS의 공식 총판으로서, AI 및 HPC 시장에서 최고의 성능을 제공하는 KR1280V3 서버를 공급하고 있습니다. 이번 글에서는 SPEC CPU 2017 벤치마크 결과를 통해 KR1280V3가 AI 및 HPC...

CES 2025에서 DEEPX와 산업용 컴퓨터 분야의 글로벌 리더인 DFI는 NPU 기반 팬리스 임베디드 시스템인 EC710-ASL과 EC600-RPS를 공개하였습니다. 이번 소식은 두 회사가 손을 잡았다는 것만으로도 관심을 모으기에 충분했습니다. 이미지 출처 : DFI 혁신적 엣지 AI의 탄생 DEEPX는 자사의 AI 가속기 기술을 통해 데이터 처리와 추론에서 뛰어난 성능을 자랑하는 NPU를 개발해 공급하는 기업입니다. DFI는 산업용 컴퓨터와 임베디드 메인보드 분야에서 세계적으로 인정받는 기업으로 다양한 산업군에 솔루션을 제공합니다. 두 회사의 협력을 통해 탄생한 EC710-ASL과 EC600-RPS의 등장은 스마트 시티와 산업용 컴퓨터의 미래가 이제 엣지 AI를 향하고 있다는 것을 알리는 신호탄이라 할 수 있습니다. DEEPX와 DFI는 이번 협력을 통해 스마트 도시와 산업 분야에서 필수적인 실시간 데이터 처리 요구를 충족시키는 엣지

금융 서비스는 디지털 전환 속도가 가장 빠른 업계로 손꼽힙니다. 정확히 말하면 디지털 전환을 넘어 AI 전환까지 빠르게 움직이는 기술 혁신 선도 업계입니다. 금융 서비스 플랫폼의 디지털화 지능화 트렌드는 오픈 API 기반의 오픈 뱅킹과 맞물리면서 그 어느 때보다 혁신의 속도가 빨라지고 있습니다. 다양한 금융 상품과 서비스 그리고 데이터 자산이 API를 통해 연결되는 시대가 되면서 금융 서비스 앱은 점점 수퍼앱의 모습으로 진화를 하고 있습니다. 금융 수퍼앱은 사용자에게 큰 편익을 제공합니다. 하지만 운영 측면에서 보면 금융 기관의 수퍼앱 플랫폼과 기간계 환경에 장애나 재해 또는 보안 침해 사고가 발생하면 모든 서비스가 먹통이 될 수 있는 위험이 더 커진다고 볼 수 있습니다. 이런 우려를 해소하기 위해 전 세계 주요 국가의 금융 규제 관련 당국에서는 최근 금융전산 복원력(Cyber Resilience)에 큰 관심을 보이고 있습니다. 복원력

대원씨티에스는 KAYTUS의 공식 총판으로서, AI 및 HPC 시장에서 최고의 성능을 제공하는 KR1280V3 서버를 공급하고 있습니다. 이번 글에서는 SPEC CPU 2017 벤치마크 결과를 통해 KR1280V3가 AI 및 HPC 워크로드에서 얼마나 뛰어난 성능을 발휘하는지 살펴보겠습니다. AI와 HPC를 위한 궁극의 선택, KR1280V3 KR1280V3는 1U 듀얼 소켓 고밀도 서버입니다. KR1280V3는 AI와 HPC 같은 고성능 컴퓨팅, 금융 시장 분석이나 알고리즘 트레이딩 같은 고빈도 거래(HFT), 가상화, 빅 데이터 처리와 같은 자원 집약적인 워크로드를 위해 설계된 서버입니다. 이처럼 성능 요구 조건이 까다로운 작업에서 최대 효율을 발휘하는 KR1280V3에서 눈여겨볼 특징은 다음과 같이 정리할 수 있습니다. 스토리지 확장성: 최대 12개의 전면 액세스 2.5인치 SAS/SATA/NVMe 드라이브를 지원하며, CPU에 직접 연결

VAST Data 플랫폼 진화의 끝은 어디일까요? 최근 VAST Data는 자사 플랫폼에 Kafka API 호환 실시간 이벤트 스트리밍 엔진인 VAST Event Broker를 통합한다고 밝혔습니다. 이게 뜻하는 바는? VAST Data 플랫폼을 사용하는 조직은 이제 Kafka 클러스터를 구축해 관리하는 수고를 덜 수 있는 기회가 생겼다는 것입니다. 중요한 발표라 이번 포스팅에서는 VAST Event Broker 출시 배경과 주요 특징을 좀 자세히 알아보겠습니다. 이벤트 스트리밍 처리가 중요한 이유 먼저 이벤트 스트리밍에 대해 알아보겠습니다. 이벤트 스트리밍은 애플리케이션, 데이터베이스, IoT 장치 등에서 발생하는 실시간 데이터 흐름을 지속적으로 캡처, 즉시 처리 및 전달하는 방식입니다. 배치 처리와 달리 데이터 발생 즉시 개별 이벤트를 처리하여 시스템이 데이터를 즉시 해석하고 대응할 수 있도록 합니다. 이러한 실시간 스트림 처리 능력은 현대 소

VAST Data 플랫폼 진화의 끝은 어디일까요? 최근 VAST Data는 자사 플랫폼에 Kafka API 호환 실시간 이벤트 스트리밍 엔진인 VAST Event Broker를 통합한다고 밝혔습니다. 이게 뜻하는 바는? VAST Data 플랫폼을...

대원씨티에스의 파트너의 Nota AI가 최근 기쁜 소식을 전해왔습니다. 그 내용은 Nota AI가 두바이 AI 페스티벌의 하이라이트 프로그램 중 하나인 퓨처테크 월드컵(Future Tech World Cup)에서 예선 1위를 차지한 것입니다. 이...

AI가 기업의 디지털 전환의 완성이라고 생각하는 이들이 많습니다. 그러다 보니 많은 조직의 IT 투자 우선순위 목록에 AI가 상단에 이름을 올리고 있습니다. 실제 프로젝트를 추진하는 팀은 AI 프로젝트가 늘어 나는 것이 큰 부담으로 다가옵니다....

AI 분야는 요즘 자고 나면 새로운 개념과 용어가 나오는 느낌이 들 정도로 빠르게 기술과 시장 상황이 바뀌고 있습니다. 관련해 이번 포스팅에서는 온디바이스 LLM(On-Device LLM) 관련 동향을 짚어 볼 수 있는 이야기를 해볼까 합니다....