Tag: vLLM

All the articles with the tag "vLLM".

• vLLM + llama.cpp GPU 모델 서빙 최적화 실전기

  1 Dec, 2025

  대규모 언어 모델의 효율적인 서빙을 위해 vLLM과 llama.cpp 기반 추론 엔진을 구축한 과정. GPU 리소스 최적화, 동적 배칭, CUDA 메모리 관리까지 프로덕션 경험을 정리한다.

• vLLM vs LMDeploy vs SGLang: LLM 서빙 프레임워크 3종 벤치마크 비교

  20 Jul, 2025

  vLLM, LMDeploy, SGLang 세 가지 LLM 추론 프레임워크의 처리 속도, 메모리 효율, 동시 요청 처리 능력을 벤치마크 기반으로 비교 분석한다.

• SGLang vs vLLM 비교: LLM 추론 프레임워크 선택 가이드

  19 Jul, 2025

  UC 버클리에서 개발된 SGLang과 vLLM의 아키텍처, 처리량, 지연 시간, 메모리 효율을 비교 분석한다. RadixAttention vs PagedAttention, 배치 스케줄링 전략 차이까지.