태그: AI
이 태그가 달린 글 "AI".
graph-tool-call: LLM Agent를 위한 그래프 기반 도구 검색 엔진
수정일:1,077개 API endpoint를 가진 커머스 플랫폼에서 LLM Agent가 적절한 도구를 찾는 문제를 해결하기 위해 그래프 기반 도구 검색 엔진을 설계하고 구현한 과정을 정리한다. OpenAPI 스펙 자동 수집, 관계 그래프 구축, BM25+그래프확장+임베딩 하이브리드 검색, MCP Annotation-Aware Retrieval까지 8일간의 개발 여정을 다룬다.
vLLM에서 llama.cpp로: LLM 서빙 아키텍처 통합 마이그레이션
수정일:vLLM Ray Serve 분산 구조에서 통합 모델 서빙 서비스로 마이그레이션한 과정. 백엔드 스위칭 매니저 설계, llama.cpp와 vLLM 런타임 전환까지.
graph-tool-call은 검색엔진에서 실행 계획 컴파일러로 진화하고 있다
LLM에게 수많은 도구를 그대로 던지는 방식의 한계를 넘어, graph-tool-call이 도구 검색엔진에서 실행 가능한 계획을 만드는 컴파일러 계층으로 확장되는 흐름을 정리한다.
graph-tool-call v0.20 개발기: RPC 탐지에서 Plan-and-Execute 컴파일러까지
graph-tool-call v0.19의 tool result 압축 이후, v0.20 방향으로 진행한 RPC 패턴 감지, 동적 prefix 탐지, intent parser, graph 기반 path synthesizer, runner, response synthesizer, zero-vector retrieval까지의 설계 변화를 정리한다. 아직 릴리스 전 브랜치 기준의 개발기다.