Tag: XGEN
All the articles with the tag "XGEN".
-
vLLM에서 llama.cpp로: LLM 서빙 아키텍처 통합 마이그레이션
vLLM Ray Serve 분산 구조에서 통합 모델 서빙 서비스로 마이그레이션한 과정. 백엔드 스위칭 매니저 설계, llama.cpp와 vLLM 런타임 전환까지.
-
FastAPI 워크플로우 엔진: 접근 제어와 감사 로깅 구현
FastAPI 기반 워크플로우 엔진에 엔터프라이즈급 권한 관리와 감사 추적 시스템을 구축한 과정. 실행 권한 체계 설계, IO 로깅 미들웨어, Redis 기반 세션 관리까지.
-
문서 임베딩 파이프라인: 청킹 옵션과 전처리 전략
xgen-retrieval에서 PDF/DOCX/PPT 문서를 임베딩 파이프라인으로 처리하는 과정 - force_chunking, advanced chunking, OCR 처리, 텍스트 정제, 메타데이터 추출까지
-
Tauri Sidecar로 Python 워크플로우 엔진 자동 시작
Tauri 데스크톱 앱에서 Python 기반 xgen-workflow와 xgen-embedding을 sidecar로 자동 관리하는 구현기