Tag: LLM
All the articles with the tag "LLM".
-
RAG 챗봇 대화 기록 유지 — 메모리 관리 전략과 구현
RAG 기반 챗봇에서 대화 이력을 유지하고 관리하는 메모리 전략을 정리한다. 프롬프트에 이력 직접 삽입, 요약 메모리, 토큰 제한 윈도우 등 실용적인 대화 관리 방법을 다룬다.
-
RAG 고도화 개요 — Retrieval, Generation, 평가 전략 로드맵
RAG 시스템 고도화의 전체 로드맵을 정리한다. 청킹 전략, 질의 변형, 검색 알고리즘 최적화, 리랭킹 후처리, 프롬프트 엔지니어링, 생성 품질 평가까지 각 단계별 개선 포인트를 다룬다.
-
Intel NPU 가속을 활용한 TinyLlama 챗봇 구현
Intel NPU Acceleration Library를 사용하여 TinyLlama 모델을 NPU에서 추론하는 챗봇을 구현한 과정. transformers 버전 호환성 문제와 NPU 가속 설정을 정리한다.
-
OJT 리팩토링과 Kotaemon RAG 구현기
기존 OJT 시스템의 한계를 해결하고자 전면 리팩토링을 진행했다. Kotaemon RAG 프레임워크를 도입하여 문서 기반 질의응답 성능을 대폭 개선한 과정을 공유한다.