All Posts

GPU 클러스터 구축은 험난한 여정입니다. 경험 없이 시작하면 시행착오를 피할 수 없습니다. 알아야 할 것이 너무 많아서 인데요. 고가의 GPU 자원이 제 성능을 내지 못하거나 자원 활용률이 목표치보다 낮게 나오면 튜닝의 늪에 빠질 수 있습니다....

파운데이션 모델 기반 생성형 AI가 대중의 관심을 끌기 시작하던 2022년 말만 해도 AI 업계와 기술 커뮤니티의 화두는 GPU와 훈련이었습니다. 하지만 2025년 현재는 민간, 공공 영역에서 AI 서비스가 프로덕션 환경에 배포되면서 관심사는 추론과 NPU 같은 전용 가속기로 옮겨갔습니다. 그리고 자연스럽게 어떻게 하면 추론 성능을 최적화하고 TCO를 낮출 것인지에 대한 이야기가 오가고 있습니다. 그렇다면 모델은? 대규모로 GPU를 확보해 운영할 수 있는 예산과 인력이 있는 대기업이나 빅테크가 아닌 이상 파운데이션 모델을 직접 훈련하지 않습니다. 일반 기업이나 테크 기업 그리고 공공 기관의 경우 허깅페이스 같은 모델 리포지토리에서 필요한 파운데이션 모델이나 도메인 특화 모델을 가져와 미세 조정해 씁니다. 더불어 사내 보유 데이터와 도메인 지식을 RAG로 보완하는 것이 표준처럼 자리를 잡았습니다. 달라진 인프라 요구 사항 AI가 프로덕션 환경에 본격

AI 패러다임이 추론 중심으로 전환됨에 따라 GPU 자원 활용률 최적화는 더 이상 기술적 과제가 아닌 기업의 생존과 경쟁력을 좌우하는 핵심 전략 과제가 되었습니다. MotusAI는 단일 노드 하이브리드 스케줄링과 유연한 GPU 가상화 툴킷을 통해 R&D의 속도와 프로덕션 서비스의 안정성을 단일 통합 인프라 위에서 동시에 달성할 수 있다는 가능성을 제시하고 있습니다. 이를 기능 측면에서 살펴보겠습니다. 스케줄링 유휴 용량 문제를 해결하는 MotusAI의 핵심 전략은 훈련과 추론 워크로드를 동일한 하드웨어에서 동적으로 통합 조율하는 데 있습니다. 이는 훈련과 추론 클러스터를 물리적으로 분리하던 전통적인 방식과의 근본적인 차별점입니다. MotusAI는 단일 노드에서의 하이브리드 훈련-추론 스케줄링 기능을 제공합니다. 이를 통해 단일 노드 또는 클러스터에서 두 가지 유형의 워크로드를 동적으로 혼합 배치(Mixed Orchestration)할 수 있습니다.

운전자 모니터링 시스템(Driver Monitoring System, 이하 DMS)은 이제 차량 옵션 사양을 넘어 미래 자동차의 핵심이자 법적으로 의무화된 안전 기술로 자리 잡아 가고 있습니다. DMS의 기본 개념부터 NPU를 활용한 장치 구현...

운전자 모니터링 시스템(Driver Monitoring System, 이하 DMS)은 이제 차량 옵션 사양을 넘어 미래 자동차의 핵심이자 법적으로 의무화된 안전 기술로 자리 잡아 가고 있습니다. DMS의 기본 개념부터 NPU를 활용한 장치 구현 방안을 알아보겠습니다. DMS 개념과 핵심 기술 DMS는 차량 내부에 장착한 근적외선(NIR) 카메라 같은 센서와 AI 알고리즘으로 운전자의 상태를 실시간으로 파악하는 능동형 안전 시스템입니다. 이 시스템의 가장 중요한 목표는 졸음운전이나 부주의로 발생하는 교통사고를 예방하는 것입니다. DMS는 보통 네 가지 단계를 거쳐 작동합니다. 먼저 NIR 카메라로 운전자의 얼굴 이미지를 감지하고 AI 모델이 이 이미지에서 얼굴 특징점, 머리 위치, 시선 방향, 눈 깜빡임 빈도 등 핵심 생체 정보를 분석합니다. 시스템은 이 정보를 종합해 운전자가 졸고 있는지 혹은 주의가 산만한지 판단하고, 위험 상황이라고 판단되면 즉

AI 워크로드 처리와 거대 언어 모델 훈련 관련 성능을 이야기할 때 빠지지 않는 주제가 네트워크 대역폭과 성능 병목입니다. 왜 이런 이야기가 나올까요? 이번 포스팅에서는 그 이유와 AI 데이터센터 시대에 새롭게 가치를 평가받고 있는 차세대 이더넷 기술에 대해 알아보겠습니다. AI 인프라에서 네트워크가 병목 구간이 되는 이유 네트워크가 문제인 이유를 먼저 기술적 측면에서 살펴보겠습니다. AI 모델 훈련은 수십억수조 개의 파라미터를 다루는 작업입니다. 자원 집약적인 작업이라 표현을 합니다. 보통 크기가 큰 AI 모델 훈련은 GPU나 TPU 같은 엑셀러레이터(XPU) 수백수천 개에 분산해 연산을 처리합니다. 이 단계를 마친 뒤에는 각 프로세서가 서로 데이터를 주고받아 합산하고, 다시 다음 연산 단계로 넘어갑니다. 이와 같이 ‘연산→교환→통합’이라는 순환 작업의 성능은 네트워크 속도와 직결되어 있습니다. 쉽게 말해 네트워크 지연이나 병목현상이 발생

공공, 민간 부문 어디이건 관제 센터는 끊임없이 늘어나는 CCTV가 쏟아내는 영상 데이터의 홍수 속에서 운영됩니다. 소수의 관제 요원이 수십, 수백 개의 화면을 동시에 살피는 현실은 인간의 물리적, 인지적 한계를 시험합니다. 이런 상황에서 등장한...

AI 산업의 무게 중심이 모델 '훈련(Training)'에서 대규모 '추론(Inference)'으로 빠르게 옮겨가고 있습니다. 이제 기업은 훈련한 모델을 실제 프로덕션 환경에 배포해 가치를 만드는 '추론' 단계에 집중합니다. 추론은 AI 챗봇의...

생성형 AI의 등장은 단순한 기술적 발전을 넘어 산업 경제의 구조를 근본적으로 바꾸는 거대한 흐름이 되었습니다. 초기에는 거대 언어 모델(LLM)의 훈련에 관심이 쏠렸지만, 이제는 AI의 진정한 가치가 드러나는 추론 워크로드로 시선이 옮겨가고...

요즘 AI 인프라 트렌드를 보면 클라우드를 많이 닮아가고 있는 것을 알 수 있습니다. 특히 AI 워크로드 최적화 컨셉을 아키텍처 설계 단계부터 고려하는 것이 눈에 띄게 닮았습니다. 대원씨티에스는 이런 흐름을 일찍부터 감지하고 GPGPU 서버 외에도 NPU, LPU 기반 인프라를 아키텍처 설계 전략에 반영하기 위해 국내 주요 AI 가속기 기업과 파트너십을 맺어오고 있습니다. AI가 모델 훈련의 시대를 넘어 이제 실질적인 비즈니스 가치를 창출하는 추론 시대로 접어 드는 것에 맞춰 대원씨티에스는 워크로드 유형에 맞는 운영, 비용, 확장 등을 고려해 훈련, 미세 조정, 추론을 위한 최적의 AI 가속기 활용 방안을 제시합니다. 이번 포스팅에서는 추론 워크로드를 위한 선택지 중 하나인 LPU(LLM Processing Unit)에 대해 알아볼까 합니다. LPU와 GPGPU, NPU의 차이 LPU는 NPU(Neural Processing Unit)의 하위 범주

제조업의 궁극적인 목표는 스스로 공정을 정밀하게 인식 및 제어하고, 실시간으로 변화에 적응하며, 생산성을 극대화하는 '자율 공장(Autonomous Factory)'을 구현하는 것입니다. 이 목표를 실현하는 핵심 동력이 바로 AI이며, 이는 생산 효율성과 자동화 수준을 한 차원 높여 궁극적으로 완전 무인화를 지향합니다. 스마트 팩토리의 발전 과정은 초기 PLC와 로봇을 활용한 '자동화 시대'를 거쳐, 클라우드 기술을 접목한 '디지털 트윈 시대', 그리고 최근에는 AI를 현장에서 직접 구현하는 '엣지 컴퓨팅 및 피지컬 AI 시대'로 진화하고 있습니다. 이러한 진화의 흐름 속에서 딥엑스(DeepX)의 DX-M1과 같은 고성능 NPU가 국내외에서 주목받고 있습니다. 포스코DX '포스마스터': 제어와 AI의 완벽한 결합 한국 스마트 팩토리 산업을 선도하는 포스코DX는 DX-M1을 활용하여 기존의 기술적 난제를 해결했습니다. 과거에는 PLC가 설비를 제어하

공공, 민간 부문 어디이건 관제 센터는 끊임없이 늘어나는 CCTV가 쏟아내는 영상 데이터의 홍수 속에서 운영됩니다. 소수의 관제 요원이 수십, 수백 개의 화면을 동시에 살피는 현실은 인간의 물리적, 인지적 한계를 시험합니다. 이런 상황에서 등장한 AI는 수동적인 '기록'과 '감시'에 머물던 관제 패러다임을 능동적인 '탐지'와 '대응'으로 전환을 이끈 기술 혁신이었습니다. AI는 지치지 않는 눈으로 방대한 영상을 분석하며 관제 효율을 극대화했습니다. 하지만 이는 시작에 불과했습니다. 1세대 지능형 관제를 이끈 Vision AI가 효율성 증대의 발판을 마련했다면, 진정한 혁명은 이제 막 시작되고 있습니다. 시각과 언어를 동시에 이해하는 비전 언어 모델(Vision Language Model, 이하 VLM)은 인간과 관제 시스템의 관계를 근본적으로 재정의하고 있습니다. AI, 관제 센터의 '눈'이 되다 CCTV 기반 지능형 관제는 AI가 보안 카메라 영

2025년 현재 우리는 OTT와 유튜브가 공중파 방송보다 더 큰 영향력을 끼치고 있고 전국에 촘촘히 설치한 공공 부문의 CCTV가 촬영한 동영상이 치안, 안전, 행정, 교통 등 중요 대민 서비스를 지탱하는 시대를 살고 있습니다. 이처럼 다양한 목적으로 디지털 플랫폼 상에서 처리하는 동영상이 민간과 공공 영역에서 폭발적으로 증가하며 관련 기술 시장은 구조적 변화를 맞이하고 있습니다. 이 변화의 핵심은 동영상 인코딩에 특화한 ASIC입니다. 패션 유행이 돌고 돌듯이 동영상 인코딩 분야도 ASIC에서 소프트웨어 정의 방식으로 그리고 다시 ASIC으로 유행이 바뀌었습니다. 차세대 인코딩 기술로 다시 ASIC에 관심이 몰리는 이유를 살펴보겠습니다. 동영상 인코딩 기술의 진화 동영상 인코딩 기술은 시대의 기술적 한계와 새로운 비즈니스 요구에 발맞춰 끊임없이 진화의 길을 걷고 있습니다. 지금까지의 변천사를 되짚어보면 앞으로 어떤 기술이 대세가 될 것인지 가늠해

AI 분야는 요즘 자고 나면 새로운 개념과 용어가 나오는 느낌이 들 정도로 빠르게 기술과 시장 상황이 바뀌고 있습니다. 관련해 이번 포스팅에서는 온디바이스 LLM(On-Device LLM) 관련 동향을 짚어 볼 수 있는 이야기를 해볼까 합니다. AI 데이터센터나 클라우드 컴퓨팅을 기반으로 동작하던 거대 언어 모델(LLM)의 운영 환경이 이제는 개인 장치와 엣지 디바이스까지 확장되는 추세입니다. 스마트폰과 PC에 AI NPU와 고성능 GPU가 탑재되는 것이 어색하지 않은 시대입니다. 이처럼 빠른 속도로 하드웨어 발전이 이루어지면서 사용자 장치나 엣지에서 모델 압축, 양자화 등의 방법으로 경량화를 한 LLM을 직접 구동하는 온디바이스 LLM(On-Device LLM)에 대한 관심이 높아지고 있습니다. 이러한 추론 방식은 네트워크 지연 걱정 없이 운영 비용을 낮추며, 민감한 데이터도 장치 내에 머무르게 해 데이터 프라이버시와 보안이 향상되는 장점이 있습

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다. 이 키워드는 최신 기술을 지속해서 적용하며 점점 더 지능화되는 제조 혁신의 여정 측면에서 이해해야 합니다. 이 여정을 이해하기 위해 어떤 역사 속에서 제조 산업이 발전했는지 짚어 보겠습니다. 자동화 시대 현대 산업 자동화의 초석은 프로그래머블 로직 컨트롤러(PLC, Programmable Logic Controller)라고 할 수 있습니다. 1968년 제너럴 모터스(GM)가 복잡한 릴레이 제어반을 대체할 프로그래밍 가능한 제어 장치를 요구하면서 탄생한 PLC는 센서로부터 입력을 받아 정해진 논리에 따라 기계를 정밀 제어하는 '두뇌' 역할을 했습니다. 혹독한 산업 현장에서도 높은 신뢰성을 보장하며 빠르게 확

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다. 우리가 곧 마주할 미래를 상징하는 키워드는 에이전틱 AI(Agentic AI)입니다. 작년에 AI 에이전트, 멀티 에이전트 개념을 접할 때만 해도 기업에서 구현하기에는 좀 먼 이야기처럼 느껴졌습니다. 그러던 것이 올 해는 지금 당장 구현할 수 있는 목표로 다가옵니다. 어떤 식으로 접근을 하건 우리는 곧 스스로 목표를 설정하고, 계획을 세우고, 자율적으로 행동하는 AI 에이전트들이 사용자 컴퓨팅 환경부터 기업의 기간계 시스템까지 모든 곳에 스며드는 것을 목격할 것입니다. 사용자 컴퓨팅 환경에서는 이미 생성형 AI 서비스를 쓰는 것이 익숙합니다. 얼리 어댑터들은 AI 에이전트로 사용자 개개인의 업무나 일상을 자

겨울이 다가오면 전국 지자체는 폭설 대비에 나섭니다. 서울 등 도시 지역은 강설을 대비해 때를 대비해 경사가 가파른 도로에 ‘염화 칼슘 용액 살포 장치’를 설치해 운영합니다. 이 장치의 동작 원리는 간단합니다. 커다란 통이나 배관 장치를 통해 눈이 많이 올 때 염화 칼슘 용액을 분사합니다. 그렇다면 폭설이나 노면의 결빙 상태는 어떻게 파악할까요? CCTV 카메라가 송출하는 영상을 보고 사람이 판단합니다. 이들 카메라는 이동통신망이나 기타 네트워크에 연결되어 있는데 현장 영상은 관제 센터에서 모니터링합니다. 영상을 보고 강설과 노면 결빙으로 인해 사고 발생이나 교통 지연이 우려될 때 염화칼슘 용액을 분산하는 식으로 운영이 된다고 보면 됩니다. 이처럼 CCTV 관제를 사람이 하는 경우 예기치 않은 상황이 발생할 수 있습니다. 기상 상황은 눈으로 파악이 가능하지만 액상 제설제 탱크에 염화칼슘 용액이 충분한지, 배관 상태는 멀쩡한지, 분사 제어 장치에 이

거대 언어 모델(Large Language Model, 이하 LLM)이나 소형 언어 모델(Small Language Model, 이하 SLM)을 프로덕션 환경에 배포하여 추론 작업을 수행할 때 GPU, NPU, 메모리 등 자원을 효율적으로 사용하는 것이 중요합니다. 이는 성능 보장과 비용 절감 측면에서 매우 중요하다 볼 수 있습니다. 관련해 LLM, SLM 기반 AI 전환을 추진 중인 많은 조직에서 관심을 보이는 것이 있습니다. 바로 ‘모델 경량화 & 최적화’입니다. 이 기술을 적용하면 빠르고 효율적인 추론을 통해 서비스 응답 속도를 높이고 지연을 최소화할 수 있으며, 자원 효율성이 높아 비용 절감에도 도움이 됩니다. 서버 & 엣지 환경에 대한 고려가 필요 추론 환경은 크게 두 가지로 유형을 구분할 수 있습니다. 하나는 온프레미스나 하이브리드 클라우드 환경의 가상 머신이나 컨테이너 플랫폼에서 운영하는 서버에 모델을 배포해 추론 작업을 하는

제조업의 궁극적인 목표는 스스로 공정을 정밀하게 인식 및 제어하고, 실시간으로 변화에 적응하며, 생산성을 극대화하는 '자율 공장(Autonomous Factory)'을 구현하는 것입니다. 이 목표를 실현하는 핵심 동력이 바로 AI이며, 이는 생산...

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다....