All Posts

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다....

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다....

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI 도입을 위해서는 기술, 운영, 거버넌스 등 여러 측면에서 발생하는 복합적인 장애물을 이해하고, 이를 극복할 구조적인 해법이 필요합니다. 기업이 생성형 AI를 도입하며 마주하는 어려움은 서로 긴밀하게 연결되어 있습니다. 기술 및 데이터 측면에서는 ‘잘못된 데이터가 잘못된 결과를 낳는다’는 원칙이 작용합니다. 부정확하거나 편향된 데이터는 AI의 성능을 저해할 뿐만 아니라 사회적 편견을 증폭시켜 심각한 윤리적 문제를 일으킬 수 있습니다. 운영 및 재무적 측면에서는 AI 전문가 부족과 막대한 초기 투자 비용이 큰 부담으로 작용하며, 새로운 기술에 대한 조직 내부의 심리적 저항 또한 무시할 수 없는 변수입니다. 마지

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI...

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가 필수인 이유 그리고 이를 성공적으로 도입하기 위한 방안과 실행 전략을 4회의 포스팅 시리즈를 통해 알아봅니다. 자세한 내용은 링크드 1: 버티컬 AI의 재발견! 2: 생성형 AI 도입, 장밋빛 미래 뒤의 그림자 3: 생성형 AI 솔루션 시장의 탐색: 우리 기업을 위한 파트너 찾는 법 4: 자율 에이전트의 시대 첫 번째 이야기: 버티컬 AI라는 거스를 수 없는 흐름 생성형 AI의 등장은 AI의 무한한 잠재력을 모두에게 각인시킨 사건이었습니다. 하지만 진정한 비즈니스 혁명은 이제부터 시작입니다. 모두를 위한 범용 생성형 AI의 등장과 진화는 스마트폰 생태계가 걸어온 길과 비슷한 면이 있습니다. 스마트폰의 등장은 모

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가...

지금까지 5 회의 연재를 통해 AI 보안의 필요성부터 아키텍처, 핵심 하드웨어까지 긴 여정을 달려왔습니다. 이제 마지막 퍼즐 조각을 맞출 시간입니다. AI 추론에 특화된 'NPU'와 비디오 처리에 최적화된 'VPU'. 이 두 전문 가속기를 어떻게...

수백 대의 4K 카메라가 24시간 영상을 쏟아낸다고 상상해 보십시오. 그 엄청난 데이터를 어떻게 저장하고 전송할 수 있을까요? 바로 이 문제를 해결하는 열쇠가 VPU와 영상의 품질은 최대한 유지하면서 용량은 획기적으로 줄이는 트랜스코딩 기술에...

지난 3편에서 AI 가속기를 고르는 기준을 알아봤으니, 이제 실전에 나설 시간입니다. 시장에는 저마다의 강점을 내세우는 다양한 AI 가속기들이 있습니다. 그래픽과 AI 연산의 강자 'GPU', 추론을 위해 태어난 'NPU', 그리고 영상 처리에...

AI 기반 지능형 관제 시스템의 구축의 큰 그림을 그렸다면, 이제 그 심장이 될 핵심 요소인 'AI 가속기'를 선택할 차례입니다. 자동차를 살 때 연비, 최고 속도, 안정성 등을 꼼꼼히 따져보듯이 AI 가속기 역시 다양한 성능 지표를 비교해야...

지난 1편에서는 AI가 왜 CCTV 기반 관제 환경의 필수 요소가 되었는지 알아보았습니다. AI가 보안 담당자의 눈과 두뇌 그리고 입이 되어준다는 것에 이견을 달 이는 없을 것입니다. 그렇다면 이 똑똑한 AI는 어디에서 일하게 해야 가장...

관제 요원들이 수십, 수백 개의 CCTV 화면을 몇 안 되는 인력이 뜬 눈으로 지켜보던 시대. 이들은 모두 중요한 순간을 놓치거나, 사건이 터진 후에야 영상을 돌려봐야 했던 경험을 기억하고 있을 것입니다. 이런 경험은 이제 과거의 기억이 될...

요즘 DeepSeek 때문에 그런지 중국의 AI 스타트업 관련 소식에 눈이 자연스럽게 갑니다. 이번 포스팅에서는 중국에 기반을 둔 하드웨어 스타트업인 Radxa 이야기를 좀 해볼까 합니다. 최근 Radxa 사이트에 흥미로운 벤치마크 테스트 결과를 소개하는 글이 올라왔습니다.   이 테스트는 Radxa의 SoC 기반 SBC(Single Board Computer)인 ROCK 5B+에 DEEPX의 DX-M1 AI 가속기 모듈을 장착해 어느 정도로 성능이 나오는지 평가한 것입니다. 다음 두 시나리오로 성능을 측정했는데 31 TOPS 수준의 강력한 추론 성능을 보여주었습니다. SBC로 이 정도 성능이 나온다는 것이 놀랍습니다. 31 TOPS 수치에 대해서는 뒤에서 자세히 다루겠습니다. YOLOv5s 모델 추론: 단일 코어(NPU)로 216 FPS 달성, 멀티 코어(3개 NPU 코어) 사용 시 약 645 FPS로 거의 이론치(648 FPS)에 근접 30채널

Part 2에서는 AI 워크로드의 까다로운 요구사항을 만족시키기 위한 온프레미스 인프라 최적화 방안 중 프로세서(GPU/CPU), 네트워크 I/O, 스토리지에 대해 자세히 살펴보았습니다. Part 3에서는 지난 회에 이어 핵심 기술 요소 최적화의...

Part 1에서는 AI 개발과 배포 및 운영 과정에 포함된 데이터 전처리, 모델 훈련, 추론 등의 다양한 워크로드 특성을 이해하고, 각기 다른 요구 사항을 인프라 설계에 반영하는 것이 왜 중요한지 살펴보았습니다. Part 2와 Part 3에서는...

AI 인프라 투자가 경쟁적으로 이루어지고 있습니다. 최신 GPU가 출시되면 ‘쟁탈전’이 일어난다고 표현할 만큼 기업 간 투자 경쟁이 치열합니다. 이런 소식에 가려져 있지만 중요한 트렌드 하나를 놓치면 안됩니다. 바로 ‘워크로드 최적화’입니다....

ChatGPT의 전 세계 사용자 수가 2025년 말 10억 명을 바라보는 시대입니다. 생성형 AI가 촉발한 AI가 창출하는 새로운 비즈니스 가치에 대한 공감이 확산하면서 자연스럽게 엔터프라이즈의 관심사는 훈련(Training)에서 추론(Inference)으로 전환되고 있습니다. 이러한 패러다임의 전환은 AI 데이터센터 전략에도 영향을 끼치고 있습니다. 대표적인 것이 플랫폼 운영 전략입니다. 거대한 GPU 자원 풀의 활용률을 극대화하는 데 있어 훈련과 추론 워크로드를 모두 고려해야 하기 때문입니다. AI 모델 훈련 워크로드는 수 페타바이트(PB)의 데이터를 처리하기 위해 수백, 수천 개의 GPU를 몇 주 또는 몇 달간 독점적으로 사용합니다. 이 워크로드의 유일한 목표는 최대한 빠르게 모델을 훈련하는 데 필요한 처리량(Throughput) 확보입니다. 반면에 AI 모델을 기반으로 실제 서비스를 제공하는 프로덕션 환경의 AI 추론 워크로드는 지향점이 다

최근 AI가 국가 정책 아젠다의 중심에 놓이는 분위기입니다. 관련해 인프라 전략에 대한 다양한 이야기들이 오가고 있습니다. 메시지마다 내용에 차이를 보이지만 모든 전략의 공통 분모가 있습니다. 바로 그린 컴퓨팅입니다. 어떻게 하면 더 강력한 AI...

AI 시장이 급격히 변화함에 따라, 데이터센터 인프라 역시 확장성과 효율성을 동시에 갖춰야 하는 새로운 도전에 직면하고 있습니다. 특히 최근에는 멀티 모달 언어 모델(MMLM)과 거대 언어 모델(LLM), 소형 언어 모델(SLM) 분야가 폭발적으로 발전하면서 예전보다 훨씬 높은 대역폭과 복잡한 작업 부하를 감당할 수 있는 고성능 네트워크 인프라가 절실해졌습니다. Meta 역시 이러한 흐름 속에서 초대형 AI 인프라를 구상하고 연구·개발에 매진해 왔습니다.   대규모 AI 워크로드에 맞는 네트워크 필요성   Meta의 AI 인프라는MMLM, LLM과 같은 초대형 모델이 빠른 속도로 확장함에 따라 네트워크 규모 자체가 폭발적으로 커졌습니다. 예전에는 10G 이더넷에 수백 노드만 있어도 충분했지만, 이제는 400G~800G 이더넷으로 XPU 기반 노드를 수천 개까지 연결해야 합니다.   고성능·저지연 요구사항을 수용하려면 무손실 전송과 안정적인 고속 인

대원씨티에스는 슈퍼마이크로의 파트너로 국내 주요 고객에게 AI 인프라 구축을 위한 서버 제품을 공급하고 있습니다. 이번 포스팅에서는 대원씨티에스가 공급하는 서버 중 하나인 AS-8125GS-TNMR2 모델이 실제 엔터프라이즈 컴퓨팅 현장에서 어떻게 활용되는지 알아보려 합니다. LLM 솔루션 전문 기업 ‘Lamini’  슈퍼마이크로의 생태계는 매우 광범위합니다. 대원씨티에스와 같이 인프라 전문 기업부터 AI, LLM 솔루션 기업까지 다양한 조직과 협력하고 있습니다. 이번 포스팅에서는 슈퍼마이크로 생태계의 일원 중 하나인 Lamini의 이야기를 해볼까 합니다.  Lamini는 기업들이 거대 언어 모델(Large Language Model, 이하 LLM)을 쉽고 빠르게 활용할 수 있도록 지원하는 LLM 인퍼런스 및 튜닝 플랫폼을 제공하는 기업입니다. Fortune 500 기업부터 AI 스타트업까 다양한 조직이 LLM을 통해 비즈니스 가치를 창출할 수 있