태그: RAG
이 태그가 달린 글 "RAG".
문서 임베딩 파이프라인: 청킹 옵션과 전처리 전략
xgen-retrieval에서 PDF/DOCX/PPT 문서를 임베딩 파이프라인으로 처리하는 과정 - force_chunking, advanced chunking, OCR 처리, 텍스트 정제, 메타데이터 추출까지
Late Chunking과 Sparse Embedding: 차세대 검색 파이프라인
xgen-workflow에서 Late Chunking 기법으로 문서 컨텍스트를 보존하는 청킹과, Sparse Embedding을 결합한 차세대 RAG 검색 파이프라인 설계 및 구현
Iterative RAG: 반복 검색으로 복잡한 질문 답변하기
xgen-workflow에서 단순 RAG의 한계를 넘어 Iterative 방식으로 반복 검색하며 컨텍스트를 보완하는 4단계 파이프라인 구현 - Query Expansion, Large-Scale Search, Iterative Filtering, Compression
aiohttp로 임베딩 API 클라이언트 만들기: 타임아웃과 배치 분할 최적화
llama.cpp 임베딩 서버와 통신하는 aiohttp 비동기 클라이언트를 구현하며 세션 재사용, 커넥션 타임아웃 설정, 대용량 텍스트 배치 분할, 지수 백오프 재시도 로직을 최적화한 과정.