LLM 솔루션 전문 기업이 슈퍼마이크로의 AMD EPYC과 Instinct 기반 서버를 고객의 선택 옵션으로 제공하는 이유는?

대원씨티에스는 슈퍼마이크로의 파트너로 국내 주요 고객에게 AI 인프라 구축을 위한 서버 제품을 공급하고 있습니다. 이번 포스팅에서는 대원씨티에스가 공급하는 서버 중 하나인 AS-8125GS-TNMR2 모델이 실제 엔터프라이즈 컴퓨팅 현장에서 어떻게 활용되는지 알아보려 합니다.

LLM 솔루션 전문 기업 ‘Lamini’

 슈퍼마이크로의 생태계는 매우 광범위합니다. 대원씨티에스와 같이 인프라 전문 기업부터 AI, LLM 솔루션 기업까지 다양한 조직과 협력하고 있습니다. 이번 포스팅에서는 슈퍼마이크로 생태계의 일원 중 하나인 Lamini의 이야기를 해볼까 합니다.

 Lamini는 기업들이 거대 언어 모델(Large Language Model, 이하 LLM)을 쉽고 빠르게 활용할 수 있도록 지원하는 LLM 인퍼런스 및 튜닝 플랫폼을 제공하는 기업입니다. Fortune 500 기업부터 AI 스타트업까 다양한 조직이 LLM을 통해 비즈니스 가치를 창출할 수 있도록 돕고 있습니다.

 Lamini는 기업들이 LLM을 신속하게 구축하고 실행할 수 있는 환경을 제공합니다. 조금 더 자세히 보자면 Meta의 Llama 3, Mistral 2와 같은 오픈소스 모델을 기반으로 고객의 고유한 데이터에 맞춰 LLM을 미세 조정(fine-tuning)하여 정확도를 높이고, 고객의 특정 요구 사항에 최적화된 맞춤형 LLM을 구축할 수 있도록 지원합니다.

 Lamini의 차별점은 기술 역량에서 나옵니다. Lamini는 자체 개발한 ‘Lamini Memory Tuning’ 기술을 통해 LLM 성능을 혁신적으로 향상시켰습니다. 이 기술은 LLM이 생성하는 정보의 정확성(factual accuracy)과 다양한 상황에 대한 일반화 능력(generalization)을 동시에 개선하는 데 중점을 두고 있습니다.

 풀어 설명하자면 Lamini Memory Tuning은 LLM에서 발생하는 환각 현상을 줄여 결과의 신뢰성을 높이고, 다양한 질문과 상황에 유연하게 대응할 수 있도록 일반화 능력을 유지합니다. 이를 통해 기업은 정확하고 신뢰할 수 있는 LLM을 구축하고, 다양한 비즈니스 요구 사항에 맞춰 활용할 수 있습니다.

 고객의 선택지를 AMD까지 확대

 Lamini의 솔루션은 다양한 하드웨어를 수용할 수 있습니다. Lamini는 AMD 및 NVIDIA GPU 모두에서 LLM 튜닝을 지원하는 풀 스택 솔루션을 제공합니다. 즉, 특정 GPU 브랜드에 종속되지 않고 기업이 이미 보유하고 있거나 원하는 GPU를 자유롭게 선택하여 LLM을 구축하고 실행할 수 있습니다. 이러한 유연성을 통해 기업은 기존 GPU 인프라를 최대한 활용하여 LLM 기술을 도입해 AI 에이전트를 구현 및 운영할 수 있습니다.

 이런 장점을 살려 고객에게 더 폭넓은 선택지를 제공하기 위해 Lamini는 슈퍼마이크로와 긴밀하게 협력하고 있습니다. 양사가 힘을 모으고 있는 것 중 하나는 Lamini 솔루션과 함께 공급할 서버 라인업을 확대하는 것입니다. 관련해 Lamini는 슈퍼마이크로 AS-8125GS-TNMR2 GPU 서버를 현재 고객에게 AMD 기반 AI 인프라 선택지로 제시하고 있습니다.

 슈퍼마이크로 AS-8125GS-TNMR2는 기업의 AI 인프라 요구 사항을 충족하도록 설계된 고성능 서버입니다. 강력한 연산 능력, 빠른 데이터 전송 속도, 안정적인 시스템 운영 및 폭넓은 소프트웨어 호환성을 제공하여 AI 워크로드를 효율적으로 처리할 수 있도록 지원합니다.

 AMD EPYC 9534 CPU와 AMD Instinct MI300X GPU를 탑재하여 멀티 스레드 AI 워크로드와 복잡한 AI 알고리즘을 빠르게 처리합니다. 최신 CDNA 3 아키텍처 기반의 GPU는 19,456개의 스트림 프로세서, 192GB HBM3 메모리, 256MB 마지막 레벨 캐시(LLC)를 통해 막대한 양의 데이터를 고속으로 처리할 수 있습니다.

 또한, 고대역폭 PCIe 5.0 x16 인터페이스는 CPU와 GPU 간의 데이터 전송 병목 현상을 최소화하여 모델 훈련 및 추론 속도를 높입니다. 그리고 400G까지 지원 가능한 네트워킹 옵션과 이중화 전원 공급 장치를 통해 안정적인 시스템 운영도 보장합니다. 이외에도 AMD ROCm 오픈 소프트웨어 스택은 다양한 AI 프레임워크 및 도구와의 호환성을 제공하여 개발 및 배포 편의성을 높입니다.

AI 인프라 구축과 확장의 새로운 길을 열다

 Lamini는 자사 솔루션을 운영할 서버 라인업에 슈퍼마이크로 AS-8125GS-TNMR2 GPU 서버를 추가하였습니다. Lamini 고객은 슈퍼마이크로 서버로 구성한 고성능 AI 인프라를 통해 LLM 튜닝을 더욱 빠르고 정확하게 수행하여 AI 서비스 경쟁력을 강화할 수 있습니다. 또한, 모듈형으로 확장할 수 있는 슈퍼마이크로 서버의 유연성을 통해 미래의 AI 수요 증가에 유연하게 대응할 수 있습니다. 관련해 Lamini의 CEO인 Sharon Zhou는 “슈퍼마이크로와의 협력을 통해 엔터프라이즈 AI 솔루션을 빠르게 제공할 수 있었습니다. 앞으로도 슈퍼마이크로 및 AMD와 함께 고객들에게 최고 수준의 AI 서비스를 제공하기를 기대합니다.”라고 밝혔습니다.

 한국 고객에게도 슈퍼마이크로 AS-8125GS-TNMR2 서버는 매우 합리적인 선택지가 될 수 있습니다. 과거에는 엔터프라이즈 AI 분야에서 NVIDIA GPU 생태계가 주류를 이루면서, AMD GPU를 사용하는 데 있어 호환성이나 소프트웨어 지원 측면에서 우려가 있었습니다. 그러나 최근 AMD ROCm 오픈소프트웨어 생태계가 빠르게 성장하고, PyTorch, TensorFlow 등의 주요 딥러닝 프레임워크 역시 AMD GPU를 공식 지원함에 따라 이런 우려가 크게 완화되었습니다. 더불어 컨테이너 기술을 토대로 하는 MLOps, LLMOps 플랫폼의 경우 AMD 인프라 통합에 어려움이 없습니다. 더 자세한 내용이 궁금하시다면? 대원씨티에스가 슈퍼마이크로 AS-8125GS-TNMR2 서버 도입과 운영 전략을 제시해 드리겠습니다.

 #대원씨티에스 #슈퍼마이크로 #AMD #AMD_EPYC #AMD_Instinct #AMD_GPU