중국의 SoC 기반 SBC 기업이 DEEPX의 DX-M1에 반한 이유

요즘 DeepSeek 때문에 그런지 중국의 AI 스타트업 관련 소식에 눈이 자연스럽게 갑니다. 이번 포스팅에서는 중국에 기반을 둔 하드웨어 스타트업인 Radxa 이야기를 좀 해볼까 합니다. 최근 Radxa 사이트에 흥미로운 벤치마크 테스트 결과를 소개하는 글이 올라왔습니다.

이 테스트는 Radxa의 SoC 기반 SBC(Single Board Computer)인 ROCK 5B+에 DEEPX의 DX-M1 AI 가속기 모듈을 장착해 어느 정도로 성능이 나오는지 평가한 것입니다. 다음 두 시나리오로 성능을 측정했는데 31 TOPS 수준의 강력한 추론 성능을 보여주었습니다. SBC로 이 정도 성능이 나온다는 것이 놀랍습니다. 31 TOPS 수치에 대해서는 뒤에서 자세히 다루겠습니다.

• YOLOv5s 모델 추론: 단일 코어(NPU)로 216 FPS 달성, 멀티 코어(3개 NPU 코어) 사용 시 약 645 FPS로 거의 이론치(648 FPS)에 근접

• 30채널 영상 동시 처리: 단일 코어로 240 FPS 처리 가능, 추가 코어를 활용하면 더욱 높은 FPS도 기대 가능

출처: radxa

DX-M1에서 성능에 대한 목마름을 해소한 Radxa

테스트 내용과 결과를 소개하는 글을 보면 Radxa가 꽤나 감동을 받은 눈치입니다. 그도 그럴 것이 SBC가 갖는 성능 한계에 대한 편견을 DEEPX의 DX-M1으로 깬 결과를 손에 넣었습니다. ROCK 5B+는 Rockchip사의 RK3588 칩셋을 기반으로 하며 옥타 코어 구조(최대 2.4GHz Arm Cortex-A76 + 보조 Cortex-A55), Mali-G610 GPU 그리고 6 TOPS급 NPU를 포함하고 있습니다. 일반적인 SBC보다 월등히 높은 CPU·GPU 성능을 제공하며, 멀티미디어 처리, 3D 그래픽 가속, AI 추론 등 다방면에 활용이 가능합니다.

사실 ROCK 5B+의 성능은 꽤 높은 것입니다. 하지만 요즘 시장의 눈 높이에는 조금 모자람이 있습니다. AI 기반 추론 작업이나 혹은 멀티스트림 요구 사항이 큰 작업에서는 더 강력한 연산 파워가 필요할 수 있습니다.

고해상도 영상 분석, 멀티채널 스트림 모니터링, 대형 모델 추론 등의 수요가 급격히 늘고 있는

현실 속에서 DEEPX의 DX-M1은 Radxa에게 가뭄 속 단비와 같습니다. 이번 테스트를 통해 Radxa는 ROCK 5B+의 6 TOPS 성능에 DEEPX의 DX-M1의 25 TOPS를 더해 총 31 TOPS의 성능을 확보할 수 있다는 것을 확인했습니다. ROCK 5B+가 가진 내장 NPU만으로는 버거울 수 있는 복잡한 AI 추론 작업도 DX-M1 모듈을 통해 여유 있게 처리할 수 있음을 입증한 것입니다.

31 TOPS 수준의 성능이면 Radxa는 당장 부족한 성능을 채우기 위해 차세대 고성능 SBC 개발에 시간과 에너지를 쏟지 않아도 됩니다. 현재 시장의 요구에 맞게 다중 카메라 모니터링이나 실시간 검출·추적이 필요한 서비스 구현과 운영에 필요한 성능을 확보할 방안을 DEEPX의 DX-M1에서 찾았기 때문입니다.

테스트 내용

Radxa의 테스트 내용을 보면 별 것 없어 보입니다. 간단히 DEEPX의 DX-M1을 보드에 추가하고 DEEPX SDK를 활용해 성능을 평가했다는 것을 알 수 있습니다. ROCK 5B+는 풍부한 I/O 옵션과 확장을 지원합니다. 듀얼 M.2 슬롯이 있는데 하나는 NVMe SSD나 4G·5G 모뎀을 위한 PCIe 인터페이스로 주로 사용되고, 다른 하나에 Wi-Fi 모듈이나 이번처럼 AI 가속기인 DX-M1를 장착할 수 있습니다. 인터페이스의 경우 USB 3.0 포트, USB Type-C, HDMI(4K/8K 출력 가능), eDP, CSI(Camera Serial Interface), 2.5GbE LAN 등을 지원합니다.

이번 테스트를 위해 Radxa는 OCK 5B+ 기판 하단부에 있는 M.2 슬롯 중 하나에 DX-M1을 장착하였습니다. 시스템을 재부팅하면 AI 가속기는 자동으로 인식되어 PCIe 장치 목록에 올라갑니다. 그리고ROCK 5B+와 DX-M1 간의 통신을 원활히 수행할 수 있도록 DX-NPU 드라이버를 설치하고, DEEPX의 DXNN SDK을 설치한 다음 YOLOv5s DXNN 성능 평가와 YOLOv5s 30채널 동시 검출 테스트를 수행하였습니다. 참고로 DXNN SDK는 모델 변환부터 추론까지 전 과정을 지원하기 때문에 편리하게 활용할 수 있습니다.

31 TOPS 달성의 의미

이번 테스트를 통해 Radxa는 소형 폼팩터라는 경쟁력을 AI 엣지 시장에서 확보할 수 있을 것으로 기대할 것으로 보입니다. ROCK 5B+와 DX-M1의 결합은 소형·저전력·고성능이라는 요구 사항을 만족합니다. 작은 SBC 폼팩터에서 31 TOPS 이상의 추론 성능을 발휘할 수 있어 고해상도·다채널 데이터를 동시에 다뤄야 하는 애플리케이션에도 적극 대응할 수 있습니다.

사용자 입장에서 보면 ROCK 5B+와 DX-M1 조합은 설치·운영 비용 절감, 시스템 설계 단순화, 실시간 응답성 확보라는 세 마리 토끼를 모두 잡을 수 있는 이점이 있습니다. 이게 무슨 말이냐 면 기존 서버나 GPU 기반 시스템은 설치 공간이나 전력 소모가 상당하고, 유지보수에도 비용이 듭니다. 반면 ROCK 5B+ + DX-M1 조합은 M.2 확장만으로 성능을 끌어올릴 수 있으므로, 하드웨어 업그레이드나 유지보수가 훨씬 용이합니다. 모델 변환, 최적화, 배포 또한 DXNN SDK를 통해 직관적으로 이뤄지므로 개발 프로세스가 단순하고 효율적입니다. DEEPX의 NPU와 DXNN SDK에 대한 자세한 정보가 필요하면 대원씨티에스가 도움을 드리겠습니다.

#대원씨티에스 #DIA #NPU #DEEPX #SBC #SoC #Radxa