AI Security | DWCTS AI Business

AI Security

기업들이 LLM/MMLM, RAG 기반 AI 어시스턴트와 에이전트를 도입할 때 특히 온프레미스 또는 하이브리드 환경에서 여러 보안 이슈에 직면합니다. 온프레미스 환경에서 AI 에이전트를 운영하면 데이터가 외부로 유출될 위험을 낮출 수 있습니다. 그러나 내부 사용자들이 LLM에 입력한 민감 정보가 모델 응답을 통해 다른 사용자에게 노출되거나, 잘못된 설정으로 사내 비밀이 모델 내부에 저장·학습되어 프롬프트 인젝션으로 새어나올 가능성이 위험으로 남아 있습니다. 대원씨티에스는 AI 보안 관련 파트너 생태계를 통해 LLM 활용에 대한 가이드라인과 보안 통제 강화 방안을 제안합니다.

AI의 특성을 고려한 보안이 필요

전통적인 보안 운영 체계와 통제 수단들은 주로 정책 기반 접근제어, 로그 모니터링, 정형 자산 위주의 보호전략에 맞춰져 있습니다. 하지만 이러한 기법들은 LLM /RAG 중심의 AI 환경에 그대로 적용하기에는 한계가 있습니다. 더불어 기존 보안 운영(Security Operation), 보안 제어(Security Control) 체제로는 AI 시스템 환경과 워크로드의 특성을 수용하기 부족합니다.

AI 보안 관련 도전 과제

정책 기반 접근 통제의 한계

기존 기업 보안은 역할과 규칙에 따라 자원 접근을 허용/차단하는 방식으로 운영
AI 어시스턴트 환경에서는 자원이 자연어 질의와 생성 응답 형태로 나타나, 사용자가 권한이 없더라도 LLM에게 우회적으로 질문하여 민감 데이터 요약본이나 추론된 정보를 얻는 새로운 경로가 생김
기존 IAM 정책만으로는 "어떤 사용자가 어떤 질문을 하는 경우에 모델이 어떤 정보를 참조할 수 있는지"까지 세밀하게 규정하기 어려움
기존 권한 체계로 커버되지 않는 회색지대가 발생하며, 공격자는 이를 노려 LLM에게 허가되지 않은 데이터를 말하도록 유도할 수 있음

로그 기반 모니터링의 한계

LLM 환경의 상호작용은 비정형 텍스트로 구성되어, 기존 SIEM 규칙이나 DLP 솔루션이 쉽게 식별하지 못하는 방식으로 민감 정보가 교환될 수 있음
API 호출이나 대화 ID 정도만 로그로 남을 뿐 대화 내용의 민감도를 인지하지 못하며, 대화 전문을 로깅하더라도 포함된 정보가 기업 비밀인지 식별하기 어렵고, 대량의 로그를 사람이 모니터링하기도 어려움
침해 시도 징후가 로그로 남아도 이를 규칙 기반으로 잡아내기 어려움
LLM에 특화된 콘텐츠 모니터링/필터링 기법이 없으면 기존 로그 기반 탐지는 LLM 보안 사고를 놓칠 가능성이 큼

정형 자산 위주 보안 전략의 한계

전통 보안은 서버, 엔드포인트, DB, 네트워크 장비 등 자산의 경계를 보호하는 데 중점을 둠
LM은 회사 내부의 수많은 문서를 학습하여 전체 지식 베이스를 함축하므로, 개별 문서 파일 ACL만으로 지식을 통제할 수 없어 자산의 경계가 모호함
LLM은 입력 프롬프트에 따라 다양한 작업을 수행하여 새로운 취약점이 발생할 우려가 있음
기존 보안 정책은 LLM의 다양한 작업 수행 맥락을 반영하기 어려움

모델 동작의 불확실성과 관리 문제

LLM의 비결정론적 특성으로 인해 일관된 정책 적용이 어려움
LLM의 버전 업이나 파인 튜닝에 따라 거동이 변하여, 보안 검증된 모델도 업데이트 후 새로운 취약점이 생길 수 있음
기존에는 소프트웨어 패치 시 CVE 등을 활용하지만, LLM은 변경점이 내부 가중치로 되어 있어 변경에 따른 보안 영향 분석이 어려움
비결정론적인 생성형 AI 서비스와 자산을 다루는 데에, 전통적인 고정 정책·정형 자산 중심 보안 운영은 한계를 드러냄

Our Services

AI 인프라 플랫폼 보안

사내 격리 AI 인프라 구축, 모든 데이터 내부 처리, 외부 인터넷 연결 차단 모델 구동 및 격리 도커 컨테이너 등 안전한 환경에 모델 호스팅, 악성 코드 탐지 시 시스템 영향 차단 방안 제시

신뢰 가능한 프롬프트 설계

프롬프트 엔지니어링 단계부터 보안 및 신뢰성을 고려 및 프롬프트 흐름 무결성 검증, LLM 에이전트 플러그인 호출 시 권한 상승 시도 검사 방안 제시

필터링 정책

사용자 입력 엄격 검사 및 정규화,

금지어, 특수 문자 패턴, 숨겨진 지시 등 필터링 및 민감 정보 모델 입력/출력 노출 방지 자동화 필터링 계층 구축 방안 제시