Tag: LLM
All the articles with the tag "LLM".
-
LLM 텍스트 우선 표시: Agent UX에서의 응답 순서 최적화
LLM의 텍스트 응답을 먼저 보여주고 브라우저 액션은 스트리밍 중에 병렬 실행하는 mid-stream 최적화로 Agent 체감 속도를 30-50% 개선한 과정
-
시나리오 검증(Validation) 자동화: 녹화 -> 실행 -> 검증 파이프라인
AI Agent가 녹화한 시나리오 액션을 LLM이 자동 검증하여 중복 제거, 실패 재시도 정리, 누락 단계 경고, 대기 삽입까지 수행하는 파이프라인 구현
-
AMD GPU에서 LLM 돌리기: Vulkan vs ROCm 비교
XGEN 모델 서버에서 AMD GPU로 LLM을 서빙할 때 Vulkan과 ROCm 백엔드를 선택하는 기준, mlock 설정, GPU 감지 fallback chain 구현까지 실전 비교
-
GPU 상태 모니터링 및 자동 모델 배포 시스템
amdsmi → pynvml → torch.hip → torch.cuda 순서의 Fallback Chain으로 GPU를 감지하고, xgen-model이 UI 설정에 따라 자동으로 vLLM 또는 llama-server를 선택해 배포하는 시스템