태그: vLLM

이 태그가 달린 글 "vLLM".

• 멀티 GPU LLM 배포: GPU 선택 및 레이어 오프로딩 전략

  31 Jan, 2026

  XGEN 모델 서버에서 멀티 GPU 환경을 지원하는 방법 - main_gpu, split_mode, tensor_split, n_gpu_layers를 통한 레이어 오프로딩 설계와 ProcessManager의 백엔드 자동 선택 구조

• OpenAI 호환 API 서버 직접 만들기

  25 Jan, 2026

  XGEN 모델 서버에서 /v1/chat/completions, /v1/embeddings 등 OpenAI 호환 엔드포인트를 FastAPI로 구현하고, llama-server와 vLLM 백엔드를 프록시하는 구조 설계 기록

• vLLM vs llama.cpp: 백엔드 스위칭 아키텍처 설계

  22 Jan, 2026

  XGEN 모델 서버에서 vLLM과 llama-server를 런타임에 전환하는 UnifiedBackendManager 설계, switch-backend API, model_type에 따른 분기 전략, 리팩토링 과정 기록

• vLLM 모델 배포: 샘플링 파라미터 튜닝 가이드

  31 Dec, 2025

  xgen-model에서 vLLM과 llama-server 두 백엔드의 핵심 파라미터를 정리하고, GPU 메모리 활용률, 컨텍스트 길이, 배치 설정이 성능에 미치는 영향을 실전 경험으로 정리