Agentic AI 시대, RL/Eval 수요 증가에 대응하는 AI 인프라 확장 전략

AI 워크로드의 중심이 바뀔 때마다 인프라 전략도 함께 달라져야 합니다. 2026년 현재 기업 AI 전략의 핵심 축으로 부상한 영역은 Agentic AI입니다. 에이전트는 훈련·추론과 워크로드 특성이 달라 인프라 운영과 확장 방식을 정할 때 고려 사항이 다릅니다. 관련해 이번 포스팅에서는 조직의 데이터, 시스템, 업무 흐름에 맞는 에이전트를 안정적으로 운영하기 위해 AI 인프라를 풀스택 관점에서 어떻게 확장해야 하는지 살펴보겠습니다.

에이전트는 무엇이 다른가?

최근 기업의 AX(AI Transformation) 전략은 단순 챗봇을 넘어 업무를 계획하고 실행하는 AI 에이전트로 확장되고 있습니다. 훈련과 추론에 이어 에이전트가 AI 인프라 용량 산정과 확장 계획에서 중요한 변수가 된 것이죠. 워크로드 유형이 인프라 전략에 영향을 주는 이유는 명확합니다. 훈련, 추론, 에이전트 운영은 각각 자원 사용 패턴과 병목 지점이 다르기 때문입니다. 차이점을 좀 더 자세히 알아보겠습니다.

훈련과 파인튜닝은 대규모 연산 자원을 단기간 집중적으로 사용하는 작업입니다. 반면 추론은 배포된 모델이 사용자 요청을 지속적으로 처리하는 운영성 워크로드입니다. 초당 토큰 수, 동시 요청 수, 응답 지연으로 자원을 산정합니다. 꾸준히 돌아가는 특성이 있습니다.

에이전트 워크로드는 훈련·파인튜닝과도 일반적인 추론과도 다릅니다. 훈련·파인튜닝은 모델을 개선하기 위해 집중적으로 진행하고 어느 시점이 되면 끝이 나는 작업입니다. 반면에 에이전트는 실제 업무에 투입된 후에도 계속 조정해야 합니다. 업무 환경이나 조건이 바뀌거나 새로운 도구가 연결되거나 실패 사례가 쌓이면 다시 평가하고 보완해야 합니다.

추론과도 다릅니다. 에이전트는 일반적인 추론처럼 요청을 받아 답변을 생성하는 것보다 복잡합니다. 업무 목표를 이해하고, 필요한 도구를 선택하고, 여러 단계로 업무를 나누어 작업을 수행합니다.

그렇다면 에이전트 워크로드는 인프라 최적화를 위해 어떤 특성을 고려해야 할까요? 그 힌트는 OpenAI, Anthropic 등 프런티어 모델 기업이 투자를 확대하는 강화학습 및 평가 환경, 즉 RL/Eval(Reinforcement Learning/Evaluation)에서 찾을 수 있습니다.

효과가 분명한 업무부터 RL/Eval을 적용해야 하는 이유

RL/Eval이 필요한 이유는 에이전트가 단순 데모가 아니라 실제 업무 환경에 투입되기 때문입니다. 실제 업무는 상황이 바뀌고 예외 상황 앞에서 자주 꼬입니다. 에이전트가 제 역할을 다하려면 업무 현장에서 작업을 거듭하며 익히고 평가받는 과정이 필요합니다. 강화학습과 평가를 통해 에이전트를 개선하는 과정은 신입 직원이 반복적인 피드백을 통해 숙련도를 높이는 과정과 유사합니다. 에이전트에게 과제를 주고 수행하게 한 뒤 결과를 채점해 다음 시도를 조정합니다. 이를 반복하는 것이 RL/Eval입니다.

이 접근법의 효과는 일부 사례에서 확인되고 있습니다. 예를 들어 Cursor는 실제 사용자 세션과 유사한 환경에서 강화학습을 적용해 자사 벤치마크인 CursorBench에서 직전 모델 대비 37% 높은 점수를 기록했다고 밝혔습니다. 코드 데이터를 더 넣어서가 아니라 RL/Eval 환경이 성능을 끌어올린 결과로 볼 수 있습니다.

RL/Eval 환경의 중요성은 AI 업계가 엔터프라이즈보다 먼저 체감하는 분위기입니다. 투자도 적극적입니다. 일례로 디인포메이션(The Information) 보도에 따르면 Anthropic 경영진은 향후 1년 동안 RL/Eval 환경에 10억 달러 이상을 투입하는 방안을 논의한 것으로 알려졌습니다. Mercor와 Surge 같은 데이터 기업, Mechanize와 Prime Intellect 같은 스타트업도 RL/Eval 쪽으로 무게를 옮기고 있습니다.

관심이 높아지는 만큼 우려의 목소리도 함께 들립니다. AI 인프라 담당자는 이 부분도 챙겨봐야 합니다. 대표적인 우려는 리워드 해킹(reward hacking)입니다. 리워드 해킹은 에이전트가 실제 과제를 해내지 않고 보상만 얻어 가는 편법입니다. 일각에서는 RL/Eval이 에이전트의 품질 개선에 한계가 있을 수 있다는 시각을 보내기도 합니다. AI 인프라 담당자는 가능성과 우려라는 동전의 양면을 함께 살펴 실용적인 전략을 세워야 합니다. 처음부터 과도하게 RL/Eval 관련 투자에 나서지 말고 자사의 AX 성숙도를 고려해 점진적으로 접근해야 한다는 뜻입니다.

RL/Eval 환경을 점진적으로 확장하는 순서를 살펴보겠습니다. 첫 시작은 평가입니다. 배포했거나 배포할 에이전트가 주어진 업무를 얼마나 잘 해내는지 재는 체계가 먼저입니다. 평가 체계는 견고하게 설계해야 합니다. 허술한 평가는 리워드 해킹을 부릅니다. 앞서 언급한 신중론이 가리키는 실패가 여기서 시작됩니다. 다음이 RL/Eval이 맞물려 돌아가는 파이프라인을 구축하는 것입니다. 따라서 초기에는 비즈니스 가치와 평가 기준이 명확한 업무를 선정하고, 해당 업무에 에이전틱 워크플로우와 RL/Eval 파이프라인을 단계적으로 적용하는 것이 바람직합니다.

RL/Eval을 고려한 AI 인프라 스택 구축과 확장 전략

RL/Eval을 AI 인프라 전략의 한 축으로 삼으려면 풀스택 관점에서 계획을 세워야 합니다. 그동안 훈련·파인튜닝용 AI 가속기와 추론용 AI 가속기 용량만 고려했다면 이제 RL/Eval을 위해 어느 정도 자원 확보가 필요한지 세밀하게 따져봐야 합니다.

RL/Eval 워크로드는 자원을 여러 갈래로 나눠 요구합니다. 에이전트가 과제를 수행하는 롤아웃 단계는 방대한 모델 호출을 일으킵니다. 대규모 추론 부하가 인프라에 가해진다고 보면 됩니다. 작업 실행 단계는 코드 실행과 도구 호출을 감당할 컴퓨트와 오케스트레이션을 요구합니다. GPU가 아니라 CPU가 중심인 영역입니다. 평가 단계는 검증 모델과 채점 파이프라인용 자원을 따로 씁니다. 또한 롤아웃과 학습 단계를 연결하는 네트워크 대역폭, 에이전트의 궤적(trajectory)과 로그를 저장할 스토리지도 함께 계획해야 합니다. 파이프라인의 단계에 따라 자원 사용 패턴이 다르다는 점에 주목해야 합니다.

소프트웨어 스택도 함께 최적화해야 합니다. 에이전트의 작업 처리 특성이 추론 성능과 비용을 좌우하기 때문입니다. vLLM, SGLang과 같은 추론 엔진, Kubernetes 기반 오케스트레이션, 관측성 도구를 에이전트 워크로드 특성에 맞게 최적화해야 합니다.

한국 기업이라면 한 가지를 더 고려해야 합니다. 범용 모델이 국내 산업별 업무 맥락, 문서 형식, 규제 환경을 충분히 이해하지 못할 수 있다는 점입니다. 조직의 데이터와 시스템, 워크플로우에 맞춘 에이전트를 만들려면 한국 도메인 환경도 고려해야 합니다.

Agentic AI 인프라 확장에 풀스택 파트너가 필요한 이유

살펴본 바와 같이 Agentic AI 시대가 본격적으로 열리면서 AI 인프라의 수요 패턴이 바뀌고 있습니다..이제는 1년 전보다 풀스택 AI 관점에서 인프라 구축, 운영, 확장 전략을 수립하는 일이 훨씬 중요해졌습니다. 대원씨티에스는 고객의 AI 인프라 스택 현황 분석을 시작으로 Agentic AI 같은 새로운 수요를 풀스택 측면에서 유연하게 수용하는 방안을 안내합니다..Agentic AI와 RL/Eval 수요에 대응하는 인프라 확장 방안이 필요하시다면 대원씨티에스에 문의해 주십시오.

<참고 자료>

TechCrunch, "Silicon Valley bets big on 'environments' to train AI agents"

Epoch AI, "An FAQ on Reinforcement Learning Environments"

Cursor, "A technical report on Composer 2"

Sapphire Ventures, "Reinforcement Learning: Learning by Doing"