Tag: AMD
All the articles with the tag "AMD".
-
XGEN GPU 벤더 추상화 — Vulkan 의존 제거와 멀티 벤더 Dockerfile 전략
XGEN 모델 서버의 GPU 관리가 Vulkan 종속 구조에서 벤더 중립 아키텍처로 전환한 과정을 정리한다. Hardware 계층 타입 시스템 설계, Management API 재설계, 프론트엔드 GPU UX 개선, NVIDIA/AMD 벤더별 Dockerfile 분리 전략과 amdsmi 설치 순서 트랩까지 실전 삽질기를 포함한다.
-
GPU 상태 모니터링 및 자동 모델 배포 시스템
amdsmi → pynvml → torch.hip → torch.cuda 순서의 Fallback Chain으로 GPU를 감지하고, xgen-model이 UI 설정에 따라 자동으로 vLLM 또는 llama-server를 선택해 배포하는 시스템
-
llama.cpp 서버 운영기: ROCm GPU에서의 삽질과 해결
AMD GPU 환경에서 llama.cpp 서버를 운영하며 겪은 ROCm GPU page fault, 메모리 크래시, Vulkan 전환까지의 실전 트러블슈팅 기록