All Posts

AI 분야는 요즘 자고 나면 새로운 개념과 용어가 나오는 느낌이 들 정도로 빠르게 기술과 시장 상황이 바뀌고 있습니다. 관련해 이번 포스팅에서는 온디바이스 LLM(On-Device LLM) 관련 동향을 짚어 볼 수 있는 이야기를 해볼까 합니다. AI 데이터센터나 클라우드 컴퓨팅을 기반으로 동작하던 거대 언어 모델(LLM)의 운영 환경이 이제는 개인 장치와 엣지 디바이스까지 확장되는 추세입니다. 스마트폰과 PC에 AI NPU와 고성능 GPU가 탑재되는 것이 어색하지 않은 시대입니다. 이처럼 빠른 속도로 하드웨어 발전이 이루어지면서 사용자 장치나 엣지에서 모델 압축, 양자화 등의 방법으로 경량화를 한 LLM을 직접 구동하는 온디바이스 LLM(On-Device LLM)에 대한 관심이 높아지고 있습니다. 이러한 추론 방식은 네트워크 지연 걱정 없이 운영 비용을 낮추며, 민감한 데이터도 장치 내에 머무르게 해 데이터 프라이버시와 보안이 향상되는 장점이 있습

AI가 기업의 디지털 전환의 완성이라고 생각하는 이들이 많습니다. 그러다 보니 많은 조직의 IT 투자 우선순위 목록에 AI가 상단에 이름을 올리고 있습니다. 실제 프로젝트를 추진하는 팀은 AI 프로젝트가 늘어 나는 것이 큰 부담으로 다가옵니다. 데이터센터에 GPU 기반 서버와 각종 고성능 네트워크, 스토리지 장비로 AI 워크로드를 위한 인프라 구성을 위해 고려해야 할 것이 많기 때문입니다. 이 중 가장 큰 고민은 전력입니다. 최신 GPU를 장착한 시스템의 전력 소모량이 만만치 않습니다. AI 전용 칩의 소비 전력은 이미 500~700와트에서 1,000와트를 넘어설 것으로 전망됩니다. 상황이 이렇다 보니 전산실이나 데이터센터 환경에서 에너지 효율 극대화 방안을 찾기 쉽지 않습니다. 물론 차세대 AI/ML, LLM, HPC, 빅 데이터 분석 같은 고성능을 요구하는 워크로드를 효과적으로 지원하기 위해 높은 에너지 효율성과 확장성을 데이터센터 설계 단계부

대원씨티에스의 파트너의 Nota AI가 최근 기쁜 소식을 전해왔습니다. 그 내용은 Nota AI가 두바이 AI 페스티벌의 하이라이트 프로그램 중 하나인 퓨처테크 월드컵(Future Tech World Cup)에서 예선 1위를 차지한 것입니다. 이 소식은 Nota AI가 해외 시장에서도 인정받는 기술력을 보유하고 있다는 것을 잘 보여줍니다. UAE(아랍에미리트)의 경우 AI 기업에게 시장 잠재력이 큰 중동 지역의 거점 시장으로 알려져 있습니다. 이를 고려할 때 작년 연말부터 올 초에 들리는 중동발 Nota AI 관련 소식은 한국의 스타트업이 중동 지역의 AI 전환에서 나름의 역할을 할 것 같은 기대감을 들게 합니다.  관련해 이번 포스팅에서 Nota AI가 퓨처테크 월드컵에서 거둔 성과가 갖는 의미를 좀 풀어 볼까 합니다.   디지털 전환과 AI 전환에 속도를 높이는 UAE   중동 지역은 UAE, 사우디아라비아, 카타르 등을 중심으로 스마트 모빌리

VAST Data 플랫폼 진화의 끝은 어디일까요? 최근 VAST Data는 자사 플랫폼에 Kafka API 호환 실시간 이벤트 스트리밍 엔진인 VAST Event Broker를 통합한다고 밝혔습니다. 이게 뜻하는 바는? VAST Data 플랫폼을 사용하는 조직은 이제 Kafka 클러스터를 구축해 관리하는 수고를 덜 수 있는 기회가 생겼다는 것입니다. 중요한 발표라 이번 포스팅에서는 VAST Event Broker 출시 배경과 주요 특징을 좀 자세히 알아보겠습니다. 이벤트 스트리밍 처리가 중요한 이유 먼저 이벤트 스트리밍에 대해 알아보겠습니다. 이벤트 스트리밍은 애플리케이션, 데이터베이스, IoT 장치 등에서 발생하는 실시간 데이터 흐름을 지속적으로 캡처, 즉시 처리 및 전달하는 방식입니다. 배치 처리와 달리 데이터 발생 즉시 개별 이벤트를 처리하여 시스템이 데이터를 즉시 해석하고 대응할 수 있도록 합니다. 이러한 실시간 스트림 처리 능력은 현대 소

대원씨티에스는 KAYTUS의 공식 총판으로서, AI 및 HPC 시장에서 최고의 성능을 제공하는 KR1280V3 서버를 공급하고 있습니다. 이번 글에서는 SPEC CPU 2017 벤치마크 결과를 통해 KR1280V3가 AI 및 HPC 워크로드에서 얼마나 뛰어난 성능을 발휘하는지 살펴보겠습니다. AI와 HPC를 위한 궁극의 선택, KR1280V3 KR1280V3는 1U 듀얼 소켓 고밀도 서버입니다. KR1280V3는 AI와 HPC 같은 고성능 컴퓨팅, 금융 시장 분석이나 알고리즘 트레이딩 같은 고빈도 거래(HFT), 가상화, 빅 데이터 처리와 같은 자원 집약적인 워크로드를 위해 설계된 서버입니다. 이처럼 성능 요구 조건이 까다로운 작업에서 최대 효율을 발휘하는 KR1280V3에서 눈여겨볼 특징은 다음과 같이 정리할 수 있습니다.   스토리지 확장성: 최대 12개의 전면 액세스 2.5인치 SAS/SATA/NVMe 드라이브를 지원하며, CPU에 직접 연결

최근 AI가 국가 정책 아젠다의 중심에 놓이는 분위기입니다. 관련해 인프라 전략에 대한 다양한 이야기들이 오가고 있습니다. 메시지마다 내용에 차이를 보이지만 모든 전략의 공통 분모가 있습니다. 바로 그린 컴퓨팅입니다. 어떻게 하면 더 강력한 AI 인프라 컴퓨팅 파워를 더 적은 에너지 소모로 유지할 것인가? 이에 대한 답을 찾는 것은 이제 업계만의 숙제가 아닌 것 같습니다. 관련해 이번 포스팅에서는 대원씨티에스와 함께 AI 인프라 비즈니스를 수행하고 있는 파트너인 KAYTUS의 그린 컴퓨팅 기술과 솔루션을 알아보겠습니다.   하드웨어부터 소프트웨어까지 KAYTUS는 서버 에너지 효율성의 기초가 되는 부품 단위의 최적화에 주목합니다. 클라크 리(Clark Li) KAYTUS DACH 지역 지사장는 자신의 글에서 “부품 수준에서는 팬, 공기 덕트, 방열판 등 부품의 구조 설계를 최적화해 방열 효율을 높일 수 있다”고 강조합니다. 구체적으로 보자면 팬 날

AI 인프라 투자가 경쟁적으로 이루어지고 있습니다. 최신 GPU가 출시되면 ‘쟁탈전’이 일어난다고 표현할 만큼 기업 간 투자 경쟁이 치열합니다. 이런 소식에 가려져 있지만 중요한 트렌드 하나를 놓치면 안됩니다. 바로 ‘워크로드 최적화’입니다. 최근 몇 년 사이에 빅 테크 기업과 클라우드 사업자들을 통해 AI 워크로드 최적화의 중요성에 대한 이야기가 많이 나오고 있습니다. AI 워크로드는 일반적인 엔터프라이즈 컴퓨팅 환경에서 운영하는 워크로드와 특성이 다릅니다. 그러다 보니 워크로드 최적화 측면에서 온프레미스 AI 인프라를 설계하고 구축하는 것은 결코 간단한 일이 아닙니다. 그렇다면 어떤 기술 요소를 고려해야 하며, 어떻게 최적화해야 할까요? 다음과 같은 내용으로 연재를 통해 하나하나 알아보겠습니다. Part 1: AI 워크로드의 다양한 유형과 각 특성을 이해하고, 이를 인프라 설계에 반영하는 것의 중요성을 살펴봅니다. Part 2: AI 워크로드의

Part 1에서는 AI 개발과 배포 및 운영 과정에 포함된 데이터 전처리, 모델 훈련, 추론 등의 다양한 워크로드 특성을 이해하고, 각기 다른 요구 사항을 인프라 설계에 반영하는 것이 왜 중요한지 살펴보았습니다. Part 2와 Part 3에서는 AI 워크로드의 요구 사항을 충족하기 위해 인프라 설계 시 반드시 고려해야 할 핵심 기술 요소와 최적화 방안을 컴퓨팅 자원(프로세서), 데이터 이동(네트워크 I/O), 데이터 저장(스토리지), 물리적 환경(전력·냉각), 병렬 처리 구조의 다섯 가지 측면에서 상세히 살펴봅니다. 먼저 Part 2에서는 이 중 프로세서, 네트워크 I/O, 스토리지에 대해 먼저 알아보겠습니다. GPU vs CPU: 적합한 프로세서 선택과 구성 비율 최적화 AI 인프라하면 대부분 GPU를 떠올립니다. 하지만 GPU 홀로 모든 것을 하지는 않습니다. CPU도 나름의 역할을 합니다. 따라서 인프라 설계에 있어 워크로드 특성을 반영해 G

Part 2에서는 AI 워크로드의 까다로운 요구사항을 만족시키기 위한 온프레미스 인프라 최적화 방안 중 프로세서(GPU/CPU), 네트워크 I/O, 스토리지에 대해 자세히 살펴보았습니다. Part 3에서는 지난 회에 이어 핵심 기술 요소 최적화의 나머지 부분인 ‘전력 및 냉각’ 문제와 ‘병렬 처리 효율 및 스케일 아웃’ 전략을 다루어 보겠습니다. 전력과 냉각: 고밀도 인프라를 지탱하는 기반 온프레미스 환경에서 전력 공급과 냉각 설비는 AI 인프라의 물리적 한계를 결정하는 요소입니다. 앞선 파트에서 언급한 바와 같이 AI 워크로드, 특히 모델ㄹ 훈련 클러스터의 전력 소모와 발열은 기존 IT 워크로드에 비해 압도적으로 높을 수 있습니다. 실제로 최신 AI 전용 서버인 NVIDIA DGX H100 한 대의 최대 전력 소모는 10.2kW에 달하며, 여러 대의 GPU 서버로 랙을 구성하면 랙당 수십kW에서 100kW 이상의 전력이 필요한 상황도 현실화되고

관제 요원들이 수십, 수백 개의 CCTV 화면을 몇 안 되는 인력이 뜬 눈으로 지켜보던 시대. 이들은 모두 중요한 순간을 놓치거나, 사건이 터진 후에야 영상을 돌려봐야 했던 경험을 기억하고 있을 것입니다. 이런 경험은 이제 과거의 기억이 될 전망입니다. AI 기술의 빠른 발전으로 우리의 눈과 두뇌를 대신하여 24시간 쉬지 않고 보안 위협을 감지하는 시대로 접어들고 있습니다. 총 6편의 포스팅 시리즈를 통해 AI 기반 지능형 관제 시대에 맞는 인프라 투자와 운영 전략의 방향성을 제시해 보고자 합니다. 1편: AI 기반 지능형 관제, 더 이상 선택이 아닌 이유 2편: ‘엣지’에서 할까 ‘서버’에서 할까? 최적의 시스템 설계 3편: AI 기반 지능형 관제의 심장을 고르는 법: AI 가속기 선택 가이드 4편: CPU, GPU, NPU, VPU 무엇이 다를까? 5편: 화질은 그대로, 용량은 1/10? VPU와 영상 트랜스코딩의 마법 6편: 최강의 지능형 관

지난 1편에서는 AI가 왜 CCTV 기반 관제 환경의 필수 요소가 되었는지 알아보았습니다. AI가 보안 담당자의 눈과 두뇌 그리고 입이 되어준다는 것에 이견을 달 이는 없을 것입니다. 그렇다면 이 똑똑한 AI는 어디에서 일하게 해야 가장 효율적일까요? CCTV 자체나 CCTV와 가장 가까운 엣지 환경에서 즉각적으로 판단하게 할 것인가? 아니면 강력한 중앙 서버로 모든 영상을 보내 분석하게 할 것인가? 이번 편에서는 AI 기반 지능형 관제 시스템을 구현할 때 고려할 수 있는 세 가지 아키텍처 사례를 알아보겠습니다. AI 기반 보안 감시 시스템을 설계할 때, 데이터 처리 위치에 따라 크게 엣지 컴퓨팅, 중앙 집중 처리, 그리고 이 둘을 결합한 하이브리드 방식으로 나눌 수 있습니다. 각 방식은 고유한 장단점이 있으므로 시스템의 목적, 환경, 예산 등을 종합적으로 고려하여 최적의 아키텍처를 선택해야 합니다. 엣지 프로세싱 엣지 프로세싱은 AI 분석 기능이

AI 기반 지능형 관제 시스템의 구축의 큰 그림을 그렸다면, 이제 그 심장이 될 핵심 요소인 'AI 가속기'를 선택할 차례입니다. 자동차를 살 때 연비, 최고 속도, 안정성 등을 꼼꼼히 따져보듯이 AI 가속기 역시 다양한 성능 지표를 비교해야 합니다. 단순히 '가장 빠른 것'이 아니라 '우리 시스템에 가장 적합한 것'을 찾는 지혜가 필요합니다. 이번 편에서는 지능형 관제 시스템의 AI 가속기를 선택할 때 확인해야 할 기준들을 알기 쉽게 풀어 보겠습니다. 주요 평가 기준 AI 기반 지능형 관제 시스템의 성능과 효율성은 AI 가속기 선택에 크게 좌우됩니다. 따라서 시스템 요구 사항과 운영 환경을 고려하여 최적의 가속기를 선정하는 것이 매우 중요합니다. AI 가속기를 선택할 때는 여러 기준을 종합적으로 고려해야 합니다. 우선 성능 지표를 살펴야 합니다. 이 때 AI 가속기의 순수 연산 능력인 TOPS(Tera Operations Per Second)도

지난 3편에서 AI 가속기를 고르는 기준을 알아봤으니, 이제 실전에 나설 시간입니다. 시장에는 저마다의 강점을 내세우는 다양한 AI 가속기들이 있습니다. 그래픽과 AI 연산의 강자 'GPU', 추론을 위해 태어난 'NPU', 그리고 영상 처리에 특화된 숨은 고수 'VPU'까지 선택의 폭이 넓습니다. 과연 이들 중 누가 AI 기반 지능형 보안 관제 분야의 왕좌를 차지하게 될까요? 이번 편에서는 각각의 특징과 장단점을 비교해 보겠습니다. GPU(Graphics Processing Units) GPU는 본래 그래픽 렌더링을 위해 설계되었지만, 수천 개의 코어를 활용한 대규모 병렬 처리 능력 덕분에 AI 모델 학습 및 고성능 추론 분야에서 널리 활용됩니다. 특히 중앙 서버 환경에서 복잡하고 큰 AI 모델을 처리하는 데 강력한 성능을 제공하며, NVIDIA CUDA가 상징하는 성숙한 소프트웨어 생태계도 큰 장점입니다. 그러나 GPU는 일반적으로 NPU 같은

수백 대의 4K 카메라가 24시간 영상을 쏟아낸다고 상상해 보십시오. 그 엄청난 데이터를 어떻게 저장하고 전송할 수 있을까요? 바로 이 문제를 해결하는 열쇠가 VPU와 영상의 품질은 최대한 유지하면서 용량은 획기적으로 줄이는 트랜스코딩 기술에 있습니다. 지난 편에서 AI 기반 지능형 관제 분야의 숨은 영웅으로 VPU를 소개했는데요, 이번 편에서는 VPU가 부리는 영상 처리의 마법, 트랜스코딩의 원리와 그 효과를 간략히 짚어 보겠습니다. 트랜스코딩의 역할: 호환성, 대역폭, 저장 공간 최적화 트랜스코딩이란 이미 인코딩된 비디오 스트림을 디코딩한 후, 다른 포맷, 해상도, 또는 비트 전송률로 다시 인코딩하는 과정입니다. 보안 감시 시스템에서 트랜스코딩이 필수적인 이유는 다음과 같습니다. 먼저 호환성을 확보입니다. 다양한 디스플레이 장치, NVR, VMS는 H.264, H.265 같은 각기 다른 비디오 코덱과 해상도를 지원합니다. 트랜스코딩은 원본 스트

지금까지 5회의 연재를 통해 AI 보안의 필요성부터 아키텍처, 핵심 하드웨어까지 긴 여정을 달려왔습니다. 이제 마지막 퍼즐 조각을 맞출 시간입니다. AI 추론에 특화된 'NPU'와 비디오 처리에 최적화된 'VPU'. 이 두 전문 가속기를 어떻게 조합해야 최고의 시너지를 내는 AI 기반 지능형 관제 시스템을 만들 수 있을까요? 이번 시리즈의 마지막 편에서는 NPU와 VPU를 통합한 최적의 서버 아키텍처를 살펴보고, 성공적인 AI 보안 시스템 도입을 위한 현실적인 전략까지 알아보도록 하겠습니다. AI용 NPU와 비디오용 VPU의 통합 최적화된 서버 아키텍처에서는 여러 IP 카메라에서 들어오는 비디오 스트림을 먼저 VPU가 처리합니다. VPU는 수신된 스트림들을 실시간으로 디코딩하고, 필요에 따라 AI 분석에 적합한 해상도로 조절하거나 특정 포맷으로 트랜스코딩하는 역할을 담당합니다. 이렇게 VPU가 전처리하고 정제한 비디오 프레임이나 스트림은 NPU로

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가 필수인 이유 그리고 이를 성공적으로 도입하기 위한 방안과 실행 전략을 4회의 포스팅 시리즈를 통해 알아봅니다. 자세한 내용은 링크드 1: 버티컬 AI의 재발견! 2: 생성형 AI 도입, 장밋빛 미래 뒤의 그림자 3: 생성형 AI 솔루션 시장의 탐색: 우리 기업을 위한 파트너 찾는 법 4: 자율 에이전트의 시대 첫 번째 이야기: 버티컬 AI라는 거스를 수 없는 흐름 생성형 AI의 등장은 AI의 무한한 잠재력을 모두에게 각인시킨 사건이었습니다. 하지만 진정한 비즈니스 혁명은 이제부터 시작입니다. 모두를 위한 범용 생성형 AI의 등장과 진화는 스마트폰 생태계가 걸어온 길과 비슷한 면이 있습니다. 스마트폰의 등장은 모

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI 도입을 위해서는 기술, 운영, 거버넌스 등 여러 측면에서 발생하는 복합적인 장애물을 이해하고, 이를 극복할 구조적인 해법이 필요합니다. 기업이 생성형 AI를 도입하며 마주하는 어려움은 서로 긴밀하게 연결되어 있습니다. 기술 및 데이터 측면에서는 ‘잘못된 데이터가 잘못된 결과를 낳는다’는 원칙이 작용합니다. 부정확하거나 편향된 데이터는 AI의 성능을 저해할 뿐만 아니라 사회적 편견을 증폭시켜 심각한 윤리적 문제를 일으킬 수 있습니다. 운영 및 재무적 측면에서는 AI 전문가 부족과 막대한 초기 투자 비용이 큰 부담으로 작용하며, 새로운 기술에 대한 조직 내부의 심리적 저항 또한 무시할 수 없는 변수입니다. 마지

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다. 우리가 곧 마주할 미래를 상징하는 키워드는 에이전틱 AI(Agentic AI)입니다. 작년에 AI 에이전트, 멀티 에이전트 개념을 접할 때만 해도 기업에서 구현하기에는 좀 먼 이야기처럼 느껴졌습니다. 그러던 것이 올 해는 지금 당장 구현할 수 있는 목표로 다가옵니다. 어떤 식으로 접근을 하건 우리는 곧 스스로 목표를 설정하고, 계획을 세우고, 자율적으로 행동하는 AI 에이전트들이 사용자 컴퓨팅 환경부터 기업의 기간계 시스템까지 모든 곳에 스며드는 것을 목격할 것입니다. 사용자 컴퓨팅 환경에서는 이미 생성형 AI 서비스를 쓰는 것이 익숙합니다. 얼리 어댑터들은 AI 에이전트로 사용자 개개인의 업무나 일상을 자

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다. 이 키워드는 최신 기술을 지속해서 적용하며 점점 더 지능화되는 제조 혁신의 여정 측면에서 이해해야 합니다. 이 여정을 이해하기 위해 어떤 역사 속에서 제조 산업이 발전했는지 짚어 보겠습니다. 자동화 시대 현대 산업 자동화의 초석은 프로그래머블 로직 컨트롤러(PLC, Programmable Logic Controller)라고 할 수 있습니다. 1968년 제너럴 모터스(GM)가 복잡한 릴레이 제어반을 대체할 프로그래밍 가능한 제어 장치를 요구하면서 탄생한 PLC는 센서로부터 입력을 받아 정해진 논리에 따라 기계를 정밀 제어하는 '두뇌' 역할을 했습니다. 혹독한 산업 현장에서도 높은 신뢰성을 보장하며 빠르게 확

제조업의 궁극적인 목표는 스스로 공정을 정밀하게 인식 및 제어하고, 실시간으로 변화에 적응하며, 생산성을 극대화하는 '자율 공장(Autonomous Factory)'을 구현하는 것입니다. 이 목표를 실현하는 핵심 동력이 바로 AI이며, 이는 생산 효율성과 자동화 수준을 한 차원 높여 궁극적으로 완전 무인화를 지향합니다. 스마트 팩토리의 발전 과정은 초기 PLC와 로봇을 활용한 '자동화 시대'를 거쳐, 클라우드 기술을 접목한 '디지털 트윈 시대', 그리고 최근에는 AI를 현장에서 직접 구현하는 '엣지 컴퓨팅 및 피지컬 AI 시대'로 진화하고 있습니다. 이러한 진화의 흐름 속에서 딥엑스(DeepX)의 DX-M1과 같은 고성능 NPU가 국내외에서 주목받고 있습니다. 포스코DX '포스마스터': 제어와 AI의 완벽한 결합 한국 스마트 팩토리 산업을 선도하는 포스코DX는 DX-M1을 활용하여 기존의 기술적 난제를 해결했습니다. 과거에는 PLC가 설비를 제어하