태그: LLM
이 태그가 달린 글 "LLM".
RAG 챗봇 대화 기록 유지 — 메모리 관리 전략과 구현
RAG 기반 챗봇에서 대화 이력을 유지하고 관리하는 메모리 전략을 정리한다. 프롬프트에 이력 직접 삽입, 요약 메모리, 토큰 제한 윈도우 등 실용적인 대화 관리 방법을 다룬다.
RAG 고도화 개요 — Retrieval, Generation, 평가 전략 로드맵
RAG 시스템 고도화의 전체 로드맵을 정리한다. 청킹 전략, 질의 변형, 검색 알고리즘 최적화, 리랭킹 후처리, 프롬프트 엔지니어링, 생성 품질 평가까지 각 단계별 개선 포인트를 다룬다.
Intel NPU 가속을 활용한 TinyLlama 챗봇 구현
Intel NPU Acceleration Library를 사용하여 TinyLlama 모델을 NPU에서 추론하는 챗봇을 구현한 과정. transformers 버전 호환성 문제와 NPU 가속 설정을 정리한다.
OJT 리팩토링과 Kotaemon RAG 구현기
기존 OJT 시스템의 한계를 해결하고자 전면 리팩토링을 진행했다. Kotaemon RAG 프레임워크를 도입하여 문서 기반 질의응답 성능을 대폭 개선한 과정을 공유한다.