태그: 검색엔진
이 태그가 달린 글 "검색엔진".
Morphik — 페이지 이미지 기반 문서 검색과 RAG 파이프라인
OCR/파싱 대신 페이지 이미지 자체를 활용하는 Morphik의 RAG 접근 방식을 정리한다. 비전 LLM 기반 문서 검색이 기존 텍스트 파싱 대비 정확도와 속도를 모두 확보하는 원리를 다룬다.
LangChain SemanticChunker — 의미 기반 텍스트 분할 가이드
LangChain의 SemanticChunker를 활용한 의미 기반 텍스트 분할을 정리한다. 문장 임베딩 유사도로 청크 경계를 결정하는 방식, breakpoint_threshold 설정, RAG 검색 정확도 향상 효과를 다룬다.
LangChain PydanticOutputParser — LLM 출력을 구조화된 데이터로 변환
LangChain의 PydanticOutputParser를 활용해 LLM 출력을 타입이 명확한 구조화된 데이터로 파싱하는 방법을 정리한다. Pydantic 모델 정의, 포맷 인스트럭션 생성, 유효성 검사 과정을 다룬다.
RAG 챗봇 대화 기록 유지 — 메모리 관리 전략과 구현
RAG 기반 챗봇에서 대화 이력을 유지하고 관리하는 메모리 전략을 정리한다. 프롬프트에 이력 직접 삽입, 요약 메모리, 토큰 제한 윈도우 등 실용적인 대화 관리 방법을 다룬다.