Posts
작성한 모든 글입니다.
vLLM vs LMDeploy vs SGLang: LLM 서빙 프레임워크 3종 벤치마크 비교
vLLM, LMDeploy, SGLang 세 가지 LLM 추론 프레임워크의 처리 속도, 메모리 효율, 동시 요청 처리 능력을 벤치마크 기반으로 비교 분석한다.
LangChain SemanticChunker — 의미 기반 텍스트 분할 가이드
LangChain의 SemanticChunker를 활용한 의미 기반 텍스트 분할을 정리한다. 문장 임베딩 유사도로 청크 경계를 결정하는 방식, breakpoint_threshold 설정, RAG 검색 정확도 향상 효과를 다룬다.
LangChain PydanticOutputParser — LLM 출력을 구조화된 데이터로 변환
LangChain의 PydanticOutputParser를 활용해 LLM 출력을 타입이 명확한 구조화된 데이터로 파싱하는 방법을 정리한다. Pydantic 모델 정의, 포맷 인스트럭션 생성, 유효성 검사 과정을 다룬다.
RAG 챗봇 대화 기록 유지 — 메모리 관리 전략과 구현
RAG 기반 챗봇에서 대화 이력을 유지하고 관리하는 메모리 전략을 정리한다. 프롬프트에 이력 직접 삽입, 요약 메모리, 토큰 제한 윈도우 등 실용적인 대화 관리 방법을 다룬다.