태그: LLMOps
이 태그가 달린 글 "LLMOps".
텍스트가 안 뽑히는 PDF를 에이전트가 읽게 만드는 법
XGEN Agent 파일 처리에서 스캔 PDF를 fast pre-scan으로 판별하고, 페이지 렌더링과 VLM fallback으로 텍스트 레이어가 없는 문서까지 읽게 만든 과정을 정리한다.
K8s 없이 Workbench 띄우기: XGEN Workbench Docker 독립 스택과 폐쇄망 배포
Kubernetes 기반 XGEN Workbench를 단일 GPU 서버와 폐쇄망 환경에서도 운영할 수 있도록 Docker 독립 스택, DockerDriver, USB 이미지 반입, pull_policy never, GPU 세션 이미지를 정리한 과정을 다룬다.
xgen-model 멀티노드 GPU 서빙 구조: DaemonSet, Headless Service, 서버 타겟 라우팅
xgen-model을 단일 GPU Pod에서 GPU 노드 전체로 확장하기 위해 DaemonSet, Headless Service, cluster-aware API, 서버 타겟 라우팅, gpu_ids 기반 슬롯 분리를 적용한 과정을 정리한다.
graph-tool-call은 검색엔진에서 실행 계획 컴파일러로 진화하고 있다
LLM에게 수많은 도구를 그대로 던지는 방식의 한계를 넘어, graph-tool-call이 도구 검색엔진에서 실행 가능한 계획을 만드는 컴파일러 계층으로 확장되는 흐름을 정리한다.