AI Engineer
손성준
LLM Serving · AI Search · MCP Agents · DevOps
LLM 서빙, AI 검색엔진, RAG, MCP 에이전트, Kubernetes 인프라를 다루는 기술 블로그입니다. 커머스 검색엔진에서 출발해 AI 에이전트 플랫폼(XGEN)까지, 실전에서 직접 만들고 운영한 경험을 기록합니다.
Topics
관심사별로 바로 읽기
Featured
- AI수정일:
graph-tool-call: LLM Agent를 위한 그래프 기반 도구 검색 엔진
1,077개 API endpoint를 가진 커머스 플랫폼에서 LLM Agent가 적절한 도구를 찾는 문제를 해결하기 위해 그래프 기반 도구 검색 엔진을 설계하고 구현한 과정을 정리한다. OpenAPI 스펙 자동 수집, 관계 그래프 구축, BM25+그래프확장+임베딩 하이브리드 검색, MCP Annotation-Aware Retrieval까지 8일간의 개발 여정을 다룬다.
LLM AgentTool Retrieval - AI수정일:
vLLM에서 llama.cpp로: LLM 서빙 아키텍처 통합 마이그레이션
vLLM Ray Serve 분산 구조에서 통합 모델 서빙 서비스로 마이그레이션한 과정. 백엔드 스위칭 매니저 설계, llama.cpp와 vLLM 런타임 전환까지.
모델서빙리팩토링 - Search
Rust로 커머스 검색 엔진을 처음부터 만들기
NestJS 기반 검색 서비스의 한계를 넘어, Rust로 이커머스 검색 엔진을 처음부터 설계하고 구현한 과정을 다룬다.
Rust검색엔진
Recent Posts
AI에게 모델 개발을 맡기고, 시스템에는 의심을 맡겼다: 원티드 AI 해커톤 출품기
데이터와 목표만 주면 AI Agent가 모델 후보를 만들고 실행하는 expharness를 원티드 AI Championship 2026에 출품했다. 데이터 누수, 비용 회계, 잘못된 종료 설명, 제출 당일 배포 실패를 겪으며 Agent의 판단과 시스템의 사실을 분리한 과정을 정리한다.
사람이 다음 실험을 고르지 않았다: Agent 자율 모드로 ML 해커톤에 출전한 기록
위성영상 객체탐지 해커톤에서 AI Agent가 실험 결과를 판정하고 다음 가설을 세우며 GPU 작업을 이어가도록 자율 실험 루프를 만든 과정을 정리한다. 사람은 목표와 안전 경계, 최종 제출 승인만 맡았다.
AI가 오류 없이 같은 말만 반복할 때: 대화 정체 감지와 재생 카나리 만들기
실패 로그 없이 같은 질문을 반복하는 AI 에이전트 대화를 구조적 신호로 감지하고, 실제 실패 유형을 합성 시나리오로 재생해 배포 후 회귀를 확인한 과정을 정리한다.
아이폰이 잠겨도 AI 코딩 작업은 계속된다: SSH 재접속과 분리 실행 설계
iOS 앱의 SSH 연결이 끊겨도 Claude Code와 Codex 작업이 서버에서 계속되도록 프로세스, 출력 파일, 재개 위치를 분리했다. 바이트 오프셋 복구, APNs 완료 알림, SQLite 동시성 문제까지 실제 시행착오를 정리한다.