Tag: LLM
All the articles with the tag "LLM".
-
API 추상화 레이어: 로컬 LLM과 원격 서비스 통합
Tauri 데스크톱 앱에서 Standalone(로컬 LLM), Service(Python Sidecar), Connected(원격 Gateway) 세 모드를 단일 API 인터페이스로 통합한 추상화 레이어 설계
-
Iterative RAG: 반복 검색으로 복잡한 질문 답변하기
xgen-workflow에서 단순 RAG의 한계를 넘어 Iterative 방식으로 반복 검색하며 컨텍스트를 보완하는 4단계 파이프라인 구현 - Query Expansion, Large-Scale Search, Iterative Filtering, Compression
-
vLLM 모델 배포: 샘플링 파라미터 튜닝 가이드
xgen-model에서 vLLM과 llama-server 두 백엔드의 핵심 파라미터를 정리하고, GPU 메모리 활용률, 컨텍스트 길이, 배치 설정이 성능에 미치는 영향을 실전 경험으로 정리
-
Agent Xgen Node: AI 에이전트를 워크플로우 노드로
LLM 에이전트를 워크플로우의 재사용 가능한 노드로 설계한 과정. Preparer-Executor 패턴, 멀티 프로바이더 지원, ReAct 도구 호출, 스트리밍/논스트리밍 통합까지.