태그: LLM
이 태그가 달린 글 "LLM".
XGEN GPU 벤더 추상화 — Vulkan 의존 제거와 멀티 벤더 Dockerfile 전략
XGEN 모델 서버의 GPU 관리가 Vulkan 종속 구조에서 벤더 중립 아키텍처로 전환한 과정을 정리한다. Hardware 계층 타입 시스템 설계, Management API 재설계, 프론트엔드 GPU UX 개선, NVIDIA/AMD 벤더별 Dockerfile 분리 전략과 amdsmi 설치 순서 트랩까지 실전 삽질기를 포함한다.
LLM 텍스트 우선 표시: Agent UX에서의 응답 순서 최적화
LLM의 텍스트 응답을 먼저 보여주고 브라우저 액션은 스트리밍 중에 병렬 실행하는 mid-stream 최적화로 Agent 체감 속도를 30-50% 개선한 과정
시나리오 검증(Validation) 자동화: 녹화 -> 실행 -> 검증 파이프라인
AI Agent가 녹화한 시나리오 액션을 LLM이 자동 검증하여 중복 제거, 실패 재시도 정리, 누락 단계 경고, 대기 삽입까지 수행하는 파이프라인 구현
AMD GPU에서 LLM 돌리기: Vulkan vs ROCm 비교
XGEN 모델 서버에서 AMD GPU로 LLM을 서빙할 때 Vulkan과 ROCm 백엔드를 선택하는 기준, mlock 설정, GPU 감지 fallback chain 구현까지 실전 비교