성능부터 가성비, 전성비까지 GPGPU를 능가하는 NPU의 시대가 온다!

2024년 10월 30일(수)부터 11월 1일(금)까지 3일 간의 일정으로 ‘AIoT 국제 전시회 및 컨퍼런스’가 코엑스 3층 D홀과 컨퍼런스 룸에서 열립니다. 이번 행사에 대원씨티에스의 파트너인 딥엑스(DeepX)가 전시 부스(E101) 참여를 합니다.

지능형 엣지 시대 예고

이번 전시 부스에서 딥엑스는 서버용 제품인 DX-H1을 장착한 HP Z8 Fury G5 워크스테이션으로 100개의 CCTV 채널 데이터를 동시에 처리하는 데모를 시연합니다. 이번 부스 전시를 통해 알리고자 하는 메시지는 “엣지 장치에 GPU를 쓸 이유가 더 이상 없다!”는 것입니다.

흔히 AI 알고리즘을 성능 걱정 없이 원활하게 엣지 장치나 엣지 서버에서 운영하려면 GPU가 필요하다고 생각합니다. 하지만 이는 NPU에 대한 정확한 정보가 없어서 생긴 오해입니다.

딥엑스의 M.2 2280 형태의 AI 반도체 DX-M1과 고성능 데이터센터용 반도체 DX-H1은 엣지 장치와 엣지 서버가 요구하는 성능을 충분히 제공합니다. 딥엑스 NPU를 전 세계가 주목하는 이유는 뛰어난 성능과 함께 놀라운 가성비와 전성비를 두루 제공하기 때문입니다. 이번 데모 시연을 위한 엣지 서버에 장착한 DX-H1을 예로 딥엑스 NPU가 지능형 엣지 시대를 주도하는 기업으로 관심을 모이는 이유를 알아보겠습니다.

DX-H1은 PCI 타입의 카드입니다. 이 카드를 워크스테이션이나 서버에 장착하면 강력한 엣지 서버를 구성할 수 있습니다. GPGPU 카드를 장착했을 때와 비교해 DX-H1은 Yolo7m, Ylov8, PIDNet 등 유명 AI 모델 성능 비교에서 우위를 보입니다. 성능만 놓고 보아도 엣지 환경에서 GPGPU를 굳이 써야 하나? 이런 고민을 하게 하는 결과입니다. 여기에 가격과 전성비의 이점까지 생각하면 엣지 환경은 NPU가 적합하다는 결론에 도달합니다.

100개의 채널을 한 장의 카드로 처리한다고 가정해 보았을 때 DX-H1을 서버에 장착하는 비용이 GPGPU보다 10배가량 저렴합니다. 전력 효율 측면에서 비교해도 DX-H1이 GPGPU보다 전력을 덜 사용합니다. Resnet-50을 기준으로 DX-H1과 GPGPU를 비교하면 FPS당 와트(FPS/W)가 20배 정도 차이 납니다. 이런 전성비는 탄소 배출 절감에도 기여합니다. 딥엑스가 공개한 정보에 따르면 한 장의 DX-H1을 사용하면 연간 9,824톤의 탄소 배출을 줄일 수 있습니다.

대원씨티에스의 AI 인프라와 NPU 기술의 만남

딥엑스 전시 부스에서 꼭 봐야 할 데모는 200TOPS 성능을 낼 수 있는 DX-H1을 2개 장착한 워크스테이션으로 100개의 채널 데이터를 동시에 처리하는 관제 화면입니다. 이 워크스테이션에는 YOLO v7 AI 모델이 배포되며, 이 모델을 통해 100개 채널이 촬영 중인 영상을 실시간으로 AI 기반 분석을 수행합니다. 이 시스템은 대원시티에스가 최적화를 하였습니다. 대원씨티에스는 관제의 목적과 용도 그리고 지능형 관제를 위한 모델의 크기와 성능 요구 조건을 고려해 서버와 워크스테이션 구성을 최적화합니다. 참고로 대원시티에스는 딥엑스와 케이투스와 협력해 NPU를 장착한 엣지 서버 설계와 구축을 지원하고 있으며 최근에는 SuperMicro, Dell 및 HP 환경까지 지원을 확대하고 있습니다.

대원씨티에스가 구성한 엣지 서버나 워크스테이션을 현장에 배치하면 퍼블릭 클라우드나 사설 클라우드에서 운영 중인 서버에 연결할 필요가 없습니다. 관제 센터에 DX-H1 카드를 장착한 서버나 워크스테이션을 배치하면 AI 기반 지능형 분석을 원활하게 수행할 수 있습니다. 그렇다면 딥엑스 데모는 현실 세계에서 어떻게 활용할 수 있을까요? 다음과 같은 응용 분야를 생각해 볼 수 있습니다.

• 침입 감지(Intrusion detection): 특정 구역에 사람이 무단으로 진입하는 경우 이를 감지하여 경고를 제공합니다. 주로 보안 강화 목적으로 활용됩니다.

• 화재 감지(Fire detection): 화재 징후가 포착되면 즉각 경고하여 조기에 화재를 방지할 수 있도록 지원합니다. 창고나 공장 등 화재 위험이 높은 장소에 유용합니다.

• 출입 통제(Access control): 출입 허가 여부를 자동으로 확인하여 보안 구역에 대한 접근을 통제합니다. 무단 출입을 방지하여 안전성을 높이는 데 기여합니다.

• 도로 파손 및 균열 감지 (Pothole & crack detection): 도로에서 발생하는 포트홀이나 균열을 감지하여 도로 안전을 유지하는 데 도움을 줍니다. 교통 사고 예방 및 유지 보수에 효과적입니다.

• 손동작 감지(Hand detection): 사람의 손동작을 감지하여 작업 현장에서 안전을 강화하거나 특정 동작을 인식하여 자동화된 작업을 수행할 수 있습니다.

• 낙상 감지(Fall detection): 사람이 넘어지거나 쓰러지는 사고를 인식하여 신속하게 대응할 수 있도록 합니다. 병원이나 요양 시설에서 유용하게 사용됩니다.

• 안전모 감지(Safety helmet detection): 작업 현장에서 근로자들이 안전모를 착용했는지 여부를 확인하여 안전 규정을 준수하도록 돕습니다.

• 철도 및 장애물 감지(Railroad and obstacle detection): 철도와 주변 장애물을 감지하여 열차 사고를 예방하고 철도 안전성을 강화합니다.

• 인원 수 카운팅 (People counting): 특정 구역 내에 있는 사람의 수를 파악하여 혼잡도 분석이나 보안 강화에 사용할 수 있습니다.

한편, 대원씨티에스는 사내에 M.2 2280 형태의 DX-M1과 라즈베리파이를 활용해 AI로 객체를 인식하는 데모 시스템을 사내에 직접 구축해 운영 중입니다.

NPU를 장착한 엣지 장치나 서버 도입 및 운영을 고려 중이라면? AIoT 국제 전시회 및 컨퍼런스의 딥엑스 부스나 데원씨티에스 본사를 방문하시는 것을 추천합니다.

#딥엑스 #대원씨티에스 #NPU #GPU #GPGPU #AI #엣지서버 #엣지장치 #NPU_라즈베리파이 #DIA_Nexus