Featured
XGEN 배포 플랫폼과 모델 서빙
8개 환경 공통 차트 수정 0회로 운영
XGEN은 금융·커머스 고객사에 공급되는 기업용 AI 에이전트 플랫폼입니다(2026.07 TTA GS 1등급). 앱 서비스는 파트원들이 나눠 맡고, 저는 어느 서버에서든 같은 방식으로 올리는 배포 플랫폼과 GPU 모델 서빙을 맡았습니다.
- 문제 고객사 서버, 폐쇄망, GPU 종류가 늘 때마다 배포 설정이 갈라졌습니다.
- 판단 ArgoCD ApplicationSet 중앙 배포를 도입했다가, 서버마다 배포 도구가 있는 구조와 맞지 않아 한 달 만에 되돌리고 Helm 차트 하나에 서버별 설정 파일만 두는 구조로 바꿨습니다.
- 결과 고객사 3곳과 사내 5개, 8개 환경을 같은 차트로 운영합니다. 환경 6곳을 늘리는 동안 공통 차트는 한 번도 고치지 않았습니다.
서빙 · 장애 · 운영 더 보기
- 서빙 GPU 서버마다 모델 서버를 자동으로 띄우고, 요청은 모델이 올라간 서버로 보냅니다. 실행 엔진 10종, 모델 7종(LLM, 임베딩, 음성 등)을 관리 화면에서 다룹니다.
- 장애 AMD GPU에서 llama.cpp가 로드 직후 멈추는 문제를 약 6시간 동안 좁혀 ROCm 드라이버 문제로 확인하고 Vulkan으로 바꿨습니다. 이후 GPU 종류별로 실행 엔진을 자동 선택합니다.
- 운영 문서 처리 서비스 최대 메모리 약 47% 감소(2,257MB → 1,204MB). 11개 저장소에 개발·검증·운영 3단계 배포와 MR별 미리보기 서버를 넣었습니다.
관리 화면과 구조도는 포트폴리오 PDF에
FastAPIK3sHelmArgoCDvLLMllama.cppPostgreSQLValkeyQdrantMinIOGrafana
