All Posts

AI 분야는 요즘 자고 나면 새로운 개념과 용어가 나오는 느낌이 들 정도로 빠르게 기술과 시장 상황이 바뀌고 있습니다. 관련해 이번 포스팅에서는 온디바이스 LLM(On-Device LLM) 관련 동향을 짚어 볼 수 있는 이야기를 해볼까 합니다. AI 데이터센터나 클라우드 컴퓨팅을 기반으로 동작하던 거대 언어 모델(LLM)의 운영 환경이 이제는 개인 장치와 엣지 디바이스까지 확장되는 추세입니다. 스마트폰과 PC에 AI NPU와 고성능 GPU가 탑재되는 것이 어색하지 않은 시대입니다. 이처럼 빠른 속도로 하드웨어 발전이 이루어지면서 사용자 장치나 엣지에서 모델 압축, 양자화 등의 방법으로 경량화를 한 LLM을 직접 구동하는 온디바이스 LLM(On-Device LLM)에 대한 관심이 높아지고 있습니다. 이러한 추론 방식은 네트워크 지연 걱정 없이 운영 비용을 낮추며, 민감한 데이터도 장치 내에 머무르게 해 데이터 프라이버시와 보안이 향상되는 장점이 있습

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다. 이 키워드는 최신 기술을 지속해서 적용하며 점점 더 지능화되는 제조 혁신의 여정 측면에서 이해해야 합니다. 이 여정을 이해하기 위해 어떤 역사 속에서 제조 산업이 발전했는지 짚어 보겠습니다. 자동화 시대 현대 산업 자동화의 초석은 프로그래머블 로직 컨트롤러(PLC, Programmable Logic Controller)라고 할 수 있습니다. 1968년 제너럴 모터스(GM)가 복잡한 릴레이 제어반을 대체할 프로그래밍 가능한 제어 장치를 요구하면서 탄생한 PLC는 센서로부터 입력을 받아 정해진 논리에 따라 기계를 정밀 제어하는 '두뇌' 역할을 했습니다. 혹독한 산업 현장에서도 높은 신뢰성을 보장하며 빠르게 확

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다. 우리가 곧 마주할 미래를 상징하는 키워드는 에이전틱 AI(Agentic AI)입니다. 작년에 AI 에이전트, 멀티 에이전트 개념을 접할 때만 해도 기업에서 구현하기에는 좀 먼 이야기처럼 느껴졌습니다. 그러던 것이 올 해는 지금 당장 구현할 수 있는 목표로 다가옵니다. 어떤 식으로 접근을 하건 우리는 곧 스스로 목표를 설정하고, 계획을 세우고, 자율적으로 행동하는 AI 에이전트들이 사용자 컴퓨팅 환경부터 기업의 기간계 시스템까지 모든 곳에 스며드는 것을 목격할 것입니다. 사용자 컴퓨팅 환경에서는 이미 생성형 AI 서비스를 쓰는 것이 익숙합니다. 얼리 어댑터들은 AI 에이전트로 사용자 개개인의 업무나 일상을 자

겨울이 다가오면 전국 지자체는 폭설 대비에 나섭니다. 서울 등 도시 지역은 강설을 대비해 때를 대비해 경사가 가파른 도로에 ‘염화 칼슘 용액 살포 장치’를 설치해 운영합니다. 이 장치의 동작 원리는 간단합니다. 커다란 통이나 배관 장치를 통해 눈이 많이 올 때 염화 칼슘 용액을 분사합니다. 그렇다면 폭설이나 노면의 결빙 상태는 어떻게 파악할까요? CCTV 카메라가 송출하는 영상을 보고 사람이 판단합니다. 이들 카메라는 이동통신망이나 기타 네트워크에 연결되어 있는데 현장 영상은 관제 센터에서 모니터링합니다. 영상을 보고 강설과 노면 결빙으로 인해 사고 발생이나 교통 지연이 우려될 때 염화칼슘 용액을 분산하는 식으로 운영이 된다고 보면 됩니다. 이처럼 CCTV 관제를 사람이 하는 경우 예기치 않은 상황이 발생할 수 있습니다. 기상 상황은 눈으로 파악이 가능하지만 액상 제설제 탱크에 염화칼슘 용액이 충분한지, 배관 상태는 멀쩡한지, 분사 제어 장치에 이

거대 언어 모델(Large Language Model, 이하 LLM)이나 소형 언어 모델(Small Language Model, 이하 SLM)을 프로덕션 환경에 배포하여 추론 작업을 수행할 때 GPU, NPU, 메모리 등 자원을 효율적으로 사용하는 것이 중요합니다. 이는 성능 보장과 비용 절감 측면에서 매우 중요하다 볼 수 있습니다. 관련해 LLM, SLM 기반 AI 전환을 추진 중인 많은 조직에서 관심을 보이는 것이 있습니다. 바로 ‘모델 경량화 & 최적화’입니다. 이 기술을 적용하면 빠르고 효율적인 추론을 통해 서비스 응답 속도를 높이고 지연을 최소화할 수 있으며, 자원 효율성이 높아 비용 절감에도 도움이 됩니다. 서버 & 엣지 환경에 대한 고려가 필요 추론 환경은 크게 두 가지로 유형을 구분할 수 있습니다. 하나는 온프레미스나 하이브리드 클라우드 환경의 가상 머신이나 컨테이너 플랫폼에서 운영하는 서버에 모델을 배포해 추론 작업을 하는

제조업의 궁극적인 목표는 스스로 공정을 정밀하게 인식 및 제어하고, 실시간으로 변화에 적응하며, 생산성을 극대화하는 '자율 공장(Autonomous Factory)'을 구현하는 것입니다. 이 목표를 실현하는 핵심 동력이 바로 AI이며, 이는 생산...

4차 산업혁명이라는 거대한 물결 속에서 제조업은 근본적인 변화의 중심에 서 있습니다. 이러한 변화를 상징하는 키워드가 바로 스마트 팩토리(Smart Factory)입니다. 스마트 팩토리의 개념은 자동화 설비와 시설을 갖춘 첨단 공장을 넘어섭니다....

지금까지 연재를 통해 엔터프라이즈 AI 시장의 거대한 흐름이 Vertical AI로 향하고 있다는 것을 살펴보았습니다. 이제 모든 조직이 추구하는 디지털 전환(DX), AI 전환(AX) 시대의 Vertical AI의 미래상을 그려볼 차례입니다....

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI 도입을 위해서는 기술, 운영, 거버넌스 등 여러 측면에서 발생하는 복합적인 장애물을 이해하고, 이를 극복할 구조적인 해법이 필요합니다. 기업이 생성형 AI를 도입하며 마주하는 어려움은 서로 긴밀하게 연결되어 있습니다. 기술 및 데이터 측면에서는 ‘잘못된 데이터가 잘못된 결과를 낳는다’는 원칙이 작용합니다. 부정확하거나 편향된 데이터는 AI의 성능을 저해할 뿐만 아니라 사회적 편견을 증폭시켜 심각한 윤리적 문제를 일으킬 수 있습니다. 운영 및 재무적 측면에서는 AI 전문가 부족과 막대한 초기 투자 비용이 큰 부담으로 작용하며, 새로운 기술에 대한 조직 내부의 심리적 저항 또한 무시할 수 없는 변수입니다. 마지

지난 편에서 버티컬 AI가 비즈니스의 미래인 이유를 살펴보았다면, 이제는 그 가능성 뒤에 숨겨진 현실적인 과제를 직시할 차례입니다. 생성형 AI 도입은 장밋빛 미래를 약속하는 듯 보이지만 그 과정은 결코 간단하지 않습니다. 성공적인 생성형 AI...

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가 필수인 이유 그리고 이를 성공적으로 도입하기 위한 방안과 실행 전략을 4회의 포스팅 시리즈를 통해 알아봅니다. 자세한 내용은 링크드 1: 버티컬 AI의 재발견! 2: 생성형 AI 도입, 장밋빛 미래 뒤의 그림자 3: 생성형 AI 솔루션 시장의 탐색: 우리 기업을 위한 파트너 찾는 법 4: 자율 에이전트의 시대 첫 번째 이야기: 버티컬 AI라는 거스를 수 없는 흐름 생성형 AI의 등장은 AI의 무한한 잠재력을 모두에게 각인시킨 사건이었습니다. 하지만 진정한 비즈니스 혁명은 이제부터 시작입니다. 모두를 위한 범용 생성형 AI의 등장과 진화는 스마트폰 생태계가 걸어온 길과 비슷한 면이 있습니다. 스마트폰의 등장은 모

생성형 AI 기술은 비즈니스 지형을 바꿀 수 있는 잠재력이 있습니다. 다만 무한한 가능성을 기업의 실질적인 성장 동력으로 바꾸려면 보다 정교하고 전략적인 접근이 필요합니다. AI 전환(AX) 혁신을 위해 버티컬 AI(Vertical AI)가...

지금까지 5 회의 연재를 통해 AI 보안의 필요성부터 아키텍처, 핵심 하드웨어까지 긴 여정을 달려왔습니다. 이제 마지막 퍼즐 조각을 맞출 시간입니다. AI 추론에 특화된 'NPU'와 비디오 처리에 최적화된 'VPU'. 이 두 전문 가속기를 어떻게...

수백 대의 4K 카메라가 24시간 영상을 쏟아낸다고 상상해 보십시오. 그 엄청난 데이터를 어떻게 저장하고 전송할 수 있을까요? 바로 이 문제를 해결하는 열쇠가 VPU와 영상의 품질은 최대한 유지하면서 용량은 획기적으로 줄이는 트랜스코딩 기술에...

지난 3편에서 AI 가속기를 고르는 기준을 알아봤으니, 이제 실전에 나설 시간입니다. 시장에는 저마다의 강점을 내세우는 다양한 AI 가속기들이 있습니다. 그래픽과 AI 연산의 강자 'GPU', 추론을 위해 태어난 'NPU', 그리고 영상 처리에...

AI 기반 지능형 관제 시스템의 구축의 큰 그림을 그렸다면, 이제 그 심장이 될 핵심 요소인 'AI 가속기'를 선택할 차례입니다. 자동차를 살 때 연비, 최고 속도, 안정성 등을 꼼꼼히 따져보듯이 AI 가속기 역시 다양한 성능 지표를 비교해야...

생성형 AI 기반의 혁신적 자동화 시스템 구축으로 APAC 지역 수상자로 선정 SS&C 블루프리즘 수석 부사장 겸 APAC 제너럴 매니저, 써니 사하가 대원씨티에스 하성원 대표에게 트로피를 전달하고 있다. 2025년 6월 23일 — 국내 최대 IT 인프라 솔루션 전문기업 대원씨티에스(대표 하성원, 이상호, 김보경)는 세계적인 엔터프라이즈 AI 기업 SS&C 블루프리즘이 주관하는 Customer Excellence Awards 2025에서 Innovation Brilliance Award(혁신 우수상)를 수상하며, 아시아-태평양(APAC) 지역 수상자로 선정되었다고 밝혔다. SS&C 블루프리즘이 주관하는 Customer Excellence Awards(CEA)는 AI와 자동화를 도입하여 비즈니스 혁신을 이룬 전 세계 고객을 대상으로 매년 수여되는 상으로, 2025년에는 7개 카테고리에서 총 28개 수상작이 선정되었다. 각 부문은 글로벌 수상자

지난 1편에서는 AI가 왜 CCTV 기반 관제 환경의 필수 요소가 되었는지 알아보았습니다. AI가 보안 담당자의 눈과 두뇌 그리고 입이 되어준다는 것에 이견을 달 이는 없을 것입니다. 그렇다면 이 똑똑한 AI는 어디에서 일하게 해야 가장...

관제 요원들이 수십, 수백 개의 CCTV 화면을 몇 안 되는 인력이 뜬 눈으로 지켜보던 시대. 이들은 모두 중요한 순간을 놓치거나, 사건이 터진 후에야 영상을 돌려봐야 했던 경험을 기억하고 있을 것입니다. 이런 경험은 이제 과거의 기억이 될...

요즘 DeepSeek 때문에 그런지 중국의 AI 스타트업 관련 소식에 눈이 자연스럽게 갑니다. 이번 포스팅에서는 중국에 기반을 둔 하드웨어 스타트업인 Radxa 이야기를 좀 해볼까 합니다. 최근 Radxa 사이트에 흥미로운 벤치마크 테스트 결과를 소개하는 글이 올라왔습니다. 이 테스트는 Radxa의 SoC 기반 SBC(Single Board Computer)인 ROCK 5B+에 DEEPX의 DX-M1 AI 가속기 모듈을 장착해 어느 정도로 성능이 나오는지 평가한 것입니다. 다음 두 시나리오로 성능을 측정했는데 31 TOPS 수준의 강력한 추론 성능을 보여주었습니다. SBC로 이 정도 성능이 나온다는 것이 놀랍습니다. 31 TOPS 수치에 대해서는 뒤에서 자세히 다루겠습니다. YOLOv5s 모델 추론: 단일 코어(NPU)로 216 FPS 달성, 멀티 코어(3개 NPU 코어) 사용 시 약 645 FPS로 거의 이론치(648 FPS)에 근접 30채널