Data Engineering | DWCTS AI Business

Data Engineering

AI 모델의 성공적인 개발과 운영을 위해서는 양질의 데이터 확보와 철저한 전처리가 필수입니다. 그러나 데이터 수집부터 데이터 전처리, 그리고 이를 모델 훈련과 추론에 활용하기까지는 다양한 어려움이 존재합니다. 대원씨티에스는 다양한 프로젝트를 통해 쌓은 노하우를 바탕으로 데이터 전처리에 대한 고객의 고민을 해결하기 위해 함께 노력합니다.

AI 시대의 데이터 엔지니어링

AI 발전의 밑바탕에는 날리지 그래프, 벡터 데이터베이스, 캡 아키텍처 같은 첨단 데이터 플랫폼 기술들이 자리하고 있습니다. 이 기술들은 LLM과 밀접하게 상호작용하면서 LLM 성능을 끌어올리고 실시간 데이터 활용도를 높입니다. 더불어, 다양한 데이터베이스 기술이 공존하는 만큼 특정 기술에 매몰되지 않고 상황에 따라 최적의 기술을 선택하는 유연함이 요구됩니다.

데이터 수집 및 전처리의 주요 도전 과제

데이터 품질 및 규제 준수 문제

데이터 품질 및 양 확보의 어려움
데이터 편향으로 인한 결과 편향 발생 가능성
개인정보 보호 등 보안 및 규제 요건 준수 필요
GDPR, CCPA 등 법규 위반 시 법적 위험 및 평판 손상 초래

데이터 정제 및 라벨링 과정의 복잡성

원시 데이터의 오염된 값, 중복, 이상치 정제에 많은 시간 및 비용 소요
누락값 처리, 데이터 형식 표준화, 중복 제거 등 필수 과정의 어려움
지도학습 모델의 데이터 라벨링 시 전문 인력 수작업으로 인한 병목 현상
복잡한 기준의 데이터 주석 처리 시 AI 프로젝트 시간의 최대 80% 소요 가능성
낮은 라벨 품질 및 편향으로 인한 모델 한계 발생
데이터 증강 시 원본 데이터 특성 유지하며 변형 데이터 생성의 어려움

데이터 포맷 변환 및 저장 최적화 이슈

모델 학습에 적합한 데이터 형태 변환 및 효율적 저장 필요
비정형 데이터의 구조화된 텐서 변환, 대규모 표 형식 데이터의 칼럼 기반 포맷 변환 필요
포맷 변환 및 스키마 통일 과정의 복잡성 및 데이터 손실/불일치 가능성
학습용 대용량 데이터 고속 읽기 위한 스토리지 아키텍처 최적화 필요
최적화 위한 추가 인프라 투자 및 튜닝에 전문 지식과 비용 요구

연산 성능 및 비용 문제

방대한 데이터셋 전처리 시 막대한 연산 자원 필요
전처리 연산의 계산 집약성 및 단일 서버 처리 한계
분산 처리 엔진 및 병렬 컴퓨팅 자원 도입으로 인한 비용 증가
연산 성능과 비용 균형 유지의 어려움

Our Services

데이터 수집 및 정제 전략

데이터 정제 규칙과 품질 관리 프로세스를 적용하여 자동화 도구를 활용해 정형/비정형 데이터를 클리닝하고, 정기적으로 데이터 품질 감사를 수행하여 완전성, 일관성, 신뢰성을 점검하는 방안 제시

데이터 아키텍처 설계

중복 계산을 줄이고 일관성을 보장하며, 학습 단계의 I/O 병목을 완화하고,필요시 분산 처리 및 병렬화를 활용해 대규모 연산을 효율적으로 처리하는 방안 제시

지속적인 최적화

데이터 증가에 따른 인프라 확장,

더 나은 알고리즘 도입, 파이프라인

단계 개선 등을 지속적으로 실행함으로써 AI 시스템의 성능을 계속 향상시키고 비즈니스 가치 창출을 극대화