BLOG

AI 패러다임이 추론 중심으로 전환됨에 따라 GPU 자원 활용률 최적화는 더 이상 기술적 과제가 아닌 기업의 생존과 경쟁력을 좌우하는 핵심 전략 과제가 되었습니다. MotusAI는 단일 노드 하이브리드 스케줄링과 유연한 GPU 가상화 툴킷을 통해 R&D의 속도와 프로덕션 서비스의 안정성을 단일 통합 인프라 위에서 동시에 달성할 수 있다는 가능성을 제시하고 있습니다. 이를 기능 측면에서 살펴보겠습니다. 스케줄링 유휴 용량 문제를 해결하는 MotusAI의 핵심 전략은 훈련과 추론 워크로드를 동일한 하드웨어에서 동적으로 통합 조율하는 데 있습니다. 이는 훈련과 추론 클러스터를 물리적으로 분리하던 전통적인 방식과의 근본적인 차별점입니다. MotusAI는 단일 노드에서의 하이브리드 훈련-추론 스케줄링 기능을 제공합니다. 이를 통해 단일 노드 또는 클러스터에서 두 가지 유형의 워크로드를 동적으로 혼합 배치(Mixed Orchestration)할 수 있습니다.

운전자 모니터링 시스템(Driver Monitoring System, 이하 DMS)은 이제 차량 옵션 사양을 넘어 미래 자동차의 핵심이자 법적으로 의무화된 안전 기술로 자리 잡아 가고 있습니다. DMS의 기본 개념부터 NPU를 활용한 장치 구현 방안을 알아보겠습니다. DMS 개념과 핵심 기술 DMS는 차량 내부에 장착한 근적외선(NIR) 카메라 같은 센서와 AI 알고리즘으로 운전자의 상태를 실시간으로 파악하는 능동형 안전 시스템입니다. 이 시스템의 가장 중요한 목표는 졸음운전이나 부주의로 발생하는 교통사고를 예방하는 것입니다. DMS는 보통 네 가지 단계를 거쳐 작동합니다. 먼저 NIR 카메라로 운전자의 얼굴 이미지를 감지하고 AI 모델이 이 이미지에서 얼굴 특징점, 머리 위치, 시선 방향, 눈 깜빡임 빈도 등 핵심 생체 정보를 분석합니다. 시스템은 이 정보를 종합해 운전자가 졸고 있는지 혹은 주의가 산만한지 판단하고, 위험 상황이라고 판단되면 즉

AI 워크로드 처리와 거대 언어 모델 훈련 관련 성능을 이야기할 때 빠지지 않는 주제가 네트워크 대역폭과 성능 병목입니다. 왜 이런 이야기가 나올까요? 이번 포스팅에서는 그 이유와 AI 데이터센터 시대에 새롭게 가치를 평가받고 있는 차세대 이더넷 기술에 대해 알아보겠습니다.   AI 인프라에서 네트워크가 병목 구간이 되는 이유   네트워크가 문제인 이유를 먼저 기술적 측면에서 살펴보겠습니다. AI 모델 훈련은 수십억수조 개의 파라미터를 다루는 작업입니다. 자원 집약적인 작업이라 표현을 합니다. 보통 크기가 큰 AI 모델 훈련은 GPU나 TPU 같은 엑셀러레이터(XPU) 수백수천 개에 분산해 연산을 처리합니다. 이 단계를 마친 뒤에는 각 프로세서가 서로 데이터를 주고받아 합산하고, 다시 다음 연산 단계로 넘어갑니다. 이와 같이 ‘연산→교환→통합’이라는 순환 작업의 성능은 네트워크 속도와 직결되어 있습니다. 쉽게 말해 네트워크 지연이나 병목현상이 발생

요즘 AI 인프라 트렌드를 보면 클라우드를 많이 닮아가고 있는 것을 알 수 있습니다. 특히 AI 워크로드 최적화 컨셉을 아키텍처 설계 단계부터 고려하는 것이 눈에 띄게 닮았습니다. 대원씨티에스는 이런 흐름을 일찍부터 감지하고 GPGPU 서버 외에도 NPU, LPU 기반 인프라를 아키텍처 설계 전략에 반영하기 위해 국내 주요 AI 가속기 기업과 파트너십을 맺어오고 있습니다. AI가 모델 훈련의 시대를 넘어 이제 실질적인 비즈니스 가치를 창출하는 추론 시대로 접어 드는 것에 맞춰 대원씨티에스는 워크로드 유형에 맞는 운영, 비용, 확장 등을 고려해 훈련, 미세 조정, 추론을 위한 최적의 AI 가속기 활용 방안을 제시합니다. 이번 포스팅에서는 추론 워크로드를 위한 선택지 중 하나인 LPU(LLM Processing Unit)에 대해 알아볼까 합니다. LPU와 GPGPU, NPU의 차이 LPU는 NPU(Neural Processing Unit)의 하위 범주

제조업의 궁극적인 목표는 스스로 공정을 정밀하게 인식 및 제어하고, 실시간으로 변화에 적응하며, 생산성을 극대화하는 '자율 공장(Autonomous Factory)'을 구현하는 것입니다. 이 목표를 실현하는 핵심 동력이 바로 AI이며, 이는 생산 효율성과 자동화 수준을 한 차원 높여 궁극적으로 완전 무인화를 지향합니다. 스마트 팩토리의 발전 과정은 초기 PLC와 로봇을 활용한 '자동화 시대'를 거쳐, 클라우드 기술을 접목한 '디지털 트윈 시대', 그리고 최근에는 AI를 현장에서 직접 구현하는 '엣지 컴퓨팅 및 피지컬 AI 시대'로 진화하고 있습니다. 이러한 진화의 흐름 속에서 딥엑스(DeepX)의 DX-M1과 같은 고성능 NPU가 국내외에서 주목받고 있습니다. 포스코DX '포스마스터': 제어와 AI의 완벽한 결합 한국 스마트 팩토리 산업을 선도하는 포스코DX는 DX-M1을 활용하여 기존의 기술적 난제를 해결했습니다. 과거에는 PLC가 설비를 제어하

공공, 민간 부문 어디이건 관제 센터는 끊임없이 늘어나는 CCTV가 쏟아내는 영상 데이터의 홍수 속에서 운영됩니다. 소수의 관제 요원이 수십, 수백 개의 화면을 동시에 살피는 현실은 인간의 물리적, 인지적 한계를 시험합니다. 이런 상황에서 등장한 AI는 수동적인 '기록'과 '감시'에 머물던 관제 패러다임을 능동적인 '탐지'와 '대응'으로 전환을 이끈 기술 혁신이었습니다. AI는 지치지 않는 눈으로 방대한 영상을 분석하며 관제 효율을 극대화했습니다. 하지만 이는 시작에 불과했습니다. 1세대 지능형 관제를 이끈 Vision AI가 효율성 증대의 발판을 마련했다면, 진정한 혁명은 이제 막 시작되고 있습니다. 시각과 언어를 동시에 이해하는 비전 언어 모델(Vision Language Model, 이하 VLM)은 인간과 관제 시스템의 관계를 근본적으로 재정의하고 있습니다. AI, 관제 센터의 '눈'이 되다 CCTV 기반 지능형 관제는 AI가 보안 카메라 영

2025년 현재 우리는 OTT와 유튜브가 공중파 방송보다 더 큰 영향력을 끼치고 있고 전국에 촘촘히 설치한 공공 부문의 CCTV가 촬영한 동영상이 치안, 안전, 행정, 교통 등 중요 대민 서비스를 지탱하는 시대를 살고 있습니다. 이처럼 다양한 목적으로 디지털 플랫폼 상에서 처리하는 동영상이 민간과 공공 영역에서 폭발적으로 증가하며 관련 기술 시장은 구조적 변화를 맞이하고 있습니다. 이 변화의 핵심은 동영상 인코딩에 특화한 ASIC입니다. 패션 유행이 돌고 돌듯이 동영상 인코딩 분야도 ASIC에서 소프트웨어 정의 방식으로 그리고 다시 ASIC으로 유행이 바뀌었습니다. 차세대 인코딩 기술로 다시 ASIC에 관심이 몰리는 이유를 살펴보겠습니다. 동영상 인코딩 기술의 진화 동영상 인코딩 기술은 시대의 기술적 한계와 새로운 비즈니스 요구에 발맞춰 끊임없이 진화의 길을 걷고 있습니다. 지금까지의 변천사를 되짚어보면 앞으로 어떤 기술이 대세가 될 것인지 가늠해

AI 분야는 요즘 자고 나면 새로운 개념과 용어가 나오는 느낌이 들 정도로 빠르게 기술과 시장 상황이 바뀌고 있습니다. 관련해 이번 포스팅에서는 온디바이스 LLM(On-Device LLM) 관련 동향을 짚어 볼 수 있는 이야기를 해볼까 합니다. AI 데이터센터나 클라우드 컴퓨팅을 기반으로 동작하던 거대 언어 모델(LLM)의 운영 환경이 이제는 개인 장치와 엣지 디바이스까지 확장되는 추세입니다. 스마트폰과 PC에 AI NPU와 고성능 GPU가 탑재되는 것이 어색하지 않은 시대입니다. 이처럼 빠른 속도로 하드웨어 발전이 이루어지면서 사용자 장치나 엣지에서 모델 압축, 양자화 등의 방법으로 경량화를 한 LLM을 직접 구동하는 온디바이스 LLM(On-Device LLM)에 대한 관심이 높아지고 있습니다. 이러한 추론 방식은 네트워크 지연 걱정 없이 운영 비용을 낮추며, 민감한 데이터도 장치 내에 머무르게 해 데이터 프라이버시와 보안이 향상되는 장점이 있습

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다. 이 키워드는 최신 기술을 지속해서 적용하며 점점 더 지능화되는 제조 혁신의 여정 측면에서 이해해야 합니다. 이 여정을 이해하기 위해 어떤 역사 속에서 제조 산업이 발전했는지 짚어 보겠습니다. 자동화 시대 현대 산업 자동화의 초석은 프로그래머블 로직 컨트롤러(PLC, Programmable Logic Controller)라고 할 수 있습니다. 1968년 제너럴 모터스(GM)가 복잡한 릴레이 제어반을 대체할 프로그래밍 가능한 제어 장치를 요구하면서 탄생한 PLC는 센서로부터 입력을 받아 정해진 논리에 따라 기계를 정밀 제어하는 '두뇌' 역할을 했습니다. 혹독한 산업 현장에서도 높은 신뢰성을 보장하며 빠르게 확

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다. 우리가 곧 마주할 미래를 상징하는 키워드는 에이전틱 AI(Agentic AI)입니다. 작년에 AI 에이전트, 멀티 에이전트 개념을 접할 때만 해도 기업에서 구현하기에는 좀 먼 이야기처럼 느껴졌습니다. 그러던 것이 올 해는 지금 당장 구현할 수 있는 목표로 다가옵니다. 어떤 식으로 접근을 하건 우리는 곧 스스로 목표를 설정하고, 계획을 세우고, 자율적으로 행동하는 AI 에이전트들이 사용자 컴퓨팅 환경부터 기업의 기간계 시스템까지 모든 곳에 스며드는 것을 목격할 것입니다. 사용자 컴퓨팅 환경에서는 이미 생성형 AI 서비스를 쓰는 것이 익숙합니다. 얼리 어댑터들은 AI 에이전트로 사용자 개개인의 업무나 일상을 자

겨울이 다가오면 전국 지자체는 폭설 대비에 나섭니다. 서울 등 도시 지역은 강설을 대비해 때를 대비해 경사가 가파른 도로에 ‘염화 칼슘 용액 살포 장치’를 설치해 운영합니다. 이 장치의 동작 원리는 간단합니다. 커다란 통이나 배관 장치를 통해 눈이 많이 올 때 염화 칼슘 용액을 분사합니다. 그렇다면 폭설이나 노면의 결빙 상태는 어떻게 파악할까요? CCTV 카메라가 송출하는 영상을 보고 사람이 판단합니다. 이들 카메라는 이동통신망이나 기타 네트워크에 연결되어 있는데 현장 영상은 관제 센터에서 모니터링합니다. 영상을 보고 강설과 노면 결빙으로 인해 사고 발생이나 교통 지연이 우려될 때 염화칼슘 용액을 분산하는 식으로 운영이 된다고 보면 됩니다. 이처럼 CCTV 관제를 사람이 하는 경우 예기치 않은 상황이 발생할 수 있습니다. 기상 상황은 눈으로 파악이 가능하지만 액상 제설제 탱크에 염화칼슘 용액이 충분한지, 배관 상태는 멀쩡한지, 분사 제어 장치에 이

거대 언어 모델(Large Language Model, 이하 LLM)이나 소형 언어 모델(Small Language Model, 이하 SLM)을 프로덕션 환경에 배포하여 추론 작업을 수행할 때 GPU, NPU, 메모리 등 자원을 효율적으로 사용하는 것이 중요합니다. 이는 성능 보장과 비용 절감 측면에서 매우 중요하다 볼 수 있습니다. 관련해 LLM, SLM 기반 AI 전환을 추진 중인 많은 조직에서 관심을 보이는 것이 있습니다. 바로 ‘모델 경량화 & 최적화’입니다.  이 기술을 적용하면 빠르고 효율적인 추론을 통해 서비스 응답 속도를 높이고 지연을 최소화할 수 있으며, 자원 효율성이 높아 비용 절감에도 도움이 됩니다.   서버 & 엣지 환경에 대한 고려가 필요   추론 환경은 크게 두 가지로 유형을 구분할 수 있습니다. 하나는 온프레미스나 하이브리드 클라우드 환경의 가상 머신이나 컨테이너 플랫폼에서 운영하는 서버에 모델을 배포해 추론 작업을 하는

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI 도입을 위해서는 기술, 운영, 거버넌스 등 여러 측면에서 발생하는 복합적인 장애물을 이해하고, 이를 극복할 구조적인 해법이 필요합니다. 기업이 생성형 AI를 도입하며 마주하는 어려움은 서로 긴밀하게 연결되어 있습니다. 기술 및 데이터 측면에서는 ‘잘못된 데이터가 잘못된 결과를 낳는다’는 원칙이 작용합니다. 부정확하거나 편향된 데이터는 AI의 성능을 저해할 뿐만 아니라 사회적 편견을 증폭시켜 심각한 윤리적 문제를 일으킬 수 있습니다. 운영 및 재무적 측면에서는 AI 전문가 부족과 막대한 초기 투자 비용이 큰 부담으로 작용하며, 새로운 기술에 대한 조직 내부의 심리적 저항 또한 무시할 수 없는 변수입니다. 마지

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가 필수인 이유 그리고 이를 성공적으로 도입하기 위한 방안과 실행 전략을 4회의 포스팅 시리즈를 통해 알아봅니다. 자세한 내용은 링크드 1: 버티컬 AI의 재발견! 2: 생성형 AI 도입, 장밋빛 미래 뒤의 그림자 3: 생성형 AI 솔루션 시장의 탐색: 우리 기업을 위한 파트너 찾는 법 4: 자율 에이전트의 시대 첫 번째 이야기: 버티컬 AI라는 거스를 수 없는 흐름 생성형 AI의 등장은 AI의 무한한 잠재력을 모두에게 각인시킨 사건이었습니다. 하지만 진정한 비즈니스 혁명은 이제부터 시작입니다. 모두를 위한 범용 생성형 AI의 등장과 진화는 스마트폰 생태계가 걸어온 길과 비슷한 면이 있습니다. 스마트폰의 등장은 모

요즘 DeepSeek 때문에 그런지 중국의 AI 스타트업 관련 소식에 눈이 자연스럽게 갑니다. 이번 포스팅에서는 중국에 기반을 둔 하드웨어 스타트업인 Radxa 이야기를 좀 해볼까 합니다. 최근 Radxa 사이트에 흥미로운 벤치마크 테스트 결과를 소개하는 글이 올라왔습니다.   이 테스트는 Radxa의 SoC 기반 SBC(Single Board Computer)인 ROCK 5B+에 DEEPX의 DX-M1 AI 가속기 모듈을 장착해 어느 정도로 성능이 나오는지 평가한 것입니다. 다음 두 시나리오로 성능을 측정했는데 31 TOPS 수준의 강력한 추론 성능을 보여주었습니다. SBC로 이 정도 성능이 나온다는 것이 놀랍습니다. 31 TOPS 수치에 대해서는 뒤에서 자세히 다루겠습니다. YOLOv5s 모델 추론: 단일 코어(NPU)로 216 FPS 달성, 멀티 코어(3개 NPU 코어) 사용 시 약 645 FPS로 거의 이론치(648 FPS)에 근접 30채널

ChatGPT의 전 세계 사용자 수가 2025년 말 10억 명을 바라보는 시대입니다. 생성형 AI가 촉발한 AI가 창출하는 새로운 비즈니스 가치에 대한 공감이 확산하면서 자연스럽게 엔터프라이즈의 관심사는 훈련(Training)에서 추론(Inference)으로 전환되고 있습니다. 이러한 패러다임의 전환은 AI 데이터센터 전략에도 영향을 끼치고 있습니다. 대표적인 것이 플랫폼 운영 전략입니다. 거대한 GPU 자원 풀의 활용률을 극대화하는 데 있어 훈련과 추론 워크로드를 모두 고려해야 하기 때문입니다. AI 모델 훈련 워크로드는 수 페타바이트(PB)의 데이터를 처리하기 위해 수백, 수천 개의 GPU를 몇 주 또는 몇 달간 독점적으로 사용합니다. 이 워크로드의 유일한 목표는 최대한 빠르게 모델을 훈련하는 데 필요한 처리량(Throughput) 확보입니다. 반면에 AI 모델을 기반으로 실제 서비스를 제공하는 프로덕션 환경의 AI 추론 워크로드는 지향점이 다

AI 시장이 급격히 변화함에 따라, 데이터센터 인프라 역시 확장성과 효율성을 동시에 갖춰야 하는 새로운 도전에 직면하고 있습니다. 특히 최근에는 멀티 모달 언어 모델(MMLM)과 거대 언어 모델(LLM), 소형 언어 모델(SLM) 분야가 폭발적으로 발전하면서 예전보다 훨씬 높은 대역폭과 복잡한 작업 부하를 감당할 수 있는 고성능 네트워크 인프라가 절실해졌습니다. Meta 역시 이러한 흐름 속에서 초대형 AI 인프라를 구상하고 연구·개발에 매진해 왔습니다.   대규모 AI 워크로드에 맞는 네트워크 필요성   Meta의 AI 인프라는MMLM, LLM과 같은 초대형 모델이 빠른 속도로 확장함에 따라 네트워크 규모 자체가 폭발적으로 커졌습니다. 예전에는 10G 이더넷에 수백 노드만 있어도 충분했지만, 이제는 400G~800G 이더넷으로 XPU 기반 노드를 수천 개까지 연결해야 합니다.   고성능·저지연 요구사항을 수용하려면 무손실 전송과 안정적인 고속 인

대원씨티에스는 슈퍼마이크로의 파트너로 국내 주요 고객에게 AI 인프라 구축을 위한 서버 제품을 공급하고 있습니다. 이번 포스팅에서는 대원씨티에스가 공급하는 서버 중 하나인 AS-8125GS-TNMR2 모델이 실제 엔터프라이즈 컴퓨팅 현장에서 어떻게 활용되는지 알아보려 합니다. LLM 솔루션 전문 기업 ‘Lamini’  슈퍼마이크로의 생태계는 매우 광범위합니다. 대원씨티에스와 같이 인프라 전문 기업부터 AI, LLM 솔루션 기업까지 다양한 조직과 협력하고 있습니다. 이번 포스팅에서는 슈퍼마이크로 생태계의 일원 중 하나인 Lamini의 이야기를 해볼까 합니다.  Lamini는 기업들이 거대 언어 모델(Large Language Model, 이하 LLM)을 쉽고 빠르게 활용할 수 있도록 지원하는 LLM 인퍼런스 및 튜닝 플랫폼을 제공하는 기업입니다. Fortune 500 기업부터 AI 스타트업까 다양한 조직이 LLM을 통해 비즈니스 가치를 창출할 수 있

최근 AI가 국가 정책 아젠다의 중심에 놓이는 분위기입니다. 관련해 인프라 전략에 대한 다양한 이야기들이 오가고 있습니다. 메시지마다 내용에 차이를 보이지만 모든 전략의 공통 분모가 있습니다. 바로 그린 컴퓨팅입니다. 어떻게 하면 더 강력한 AI 인프라 컴퓨팅 파워를 더 적은 에너지 소모로 유지할 것인가? 이에 대한 답을 찾는 것은 이제 업계만의 숙제가 아닌 것 같습니다. 관련해 이번 포스팅에서는 대원씨티에스와 함께 AI 인프라 비즈니스를 수행하고 있는 파트너인 KAYTUS의 그린 컴퓨팅 기술과 솔루션을 알아보겠습니다.   하드웨어부터 소프트웨어까지 KAYTUS는 서버 에너지 효율성의 기초가 되는 부품 단위의 최적화에 주목합니다. 클라크 리(Clark Li) KAYTUS DACH 지역 지사장는 자신의 글에서 “부품 수준에서는 팬, 공기 덕트, 방열판 등 부품의 구조 설계를 최적화해 방열 효율을 높일 수 있다”고 강조합니다. 구체적으로 보자면 팬 날

대원씨티에스의 파트너의 Nota AI가 최근 기쁜 소식을 전해왔습니다. 그 내용은 Nota AI가 두바이 AI 페스티벌의 하이라이트 프로그램 중 하나인 퓨처테크 월드컵(Future Tech World Cup)에서 예선 1위를 차지한 것입니다. 이 소식은 Nota AI가 해외 시장에서도 인정받는 기술력을 보유하고 있다는 것을 잘 보여줍니다. UAE(아랍에미리트)의 경우 AI 기업에게 시장 잠재력이 큰 중동 지역의 거점 시장으로 알려져 있습니다. 이를 고려할 때 작년 연말부터 올 초에 들리는 중동발 Nota AI 관련 소식은 한국의 스타트업이 중동 지역의 AI 전환에서 나름의 역할을 할 것 같은 기대감을 들게 합니다.  관련해 이번 포스팅에서 Nota AI가 퓨처테크 월드컵에서 거둔 성과가 갖는 의미를 좀 풀어 볼까 합니다.   디지털 전환과 AI 전환에 속도를 높이는 UAE   중동 지역은 UAE, 사우디아라비아, 카타르 등을 중심으로 스마트 모빌리