태그: AI
이 태그가 달린 글 "AI".
vLLM에서 llama.cpp로: LLM 서빙 아키텍처 통합 마이그레이션
vLLM Ray Serve 분산 구조에서 통합 모델 서빙 서비스로 마이그레이션한 과정. 백엔드 스위칭 매니저 설계, llama.cpp와 vLLM 런타임 전환까지.
FastAPI 워크플로우 엔진: 접근 제어와 감사 로깅 구현
FastAPI 기반 워크플로우 엔진에 엔터프라이즈급 권한 관리와 감사 추적 시스템을 구축한 과정. 실행 권한 체계 설계, IO 로깅 미들웨어, Redis 기반 세션 관리까지.
문서 임베딩 파이프라인: 청킹 옵션과 전처리 전략
xgen-retrieval에서 PDF/DOCX/PPT 문서를 임베딩 파이프라인으로 처리하는 과정 - force_chunking, advanced chunking, OCR 처리, 텍스트 정제, 메타데이터 추출까지
Late Chunking과 Sparse Embedding: 차세대 검색 파이프라인
xgen-workflow에서 Late Chunking 기법으로 문서 컨텍스트를 보존하는 청킹과, Sparse Embedding을 결합한 차세대 RAG 검색 파이프라인 설계 및 구현