Tag: HuggingFace
All the articles with the tag "HuggingFace".
-
OpenSearch ML 모델 배포 시 메모리 99% 점유 원인과 해결법
OpenSearch에 Hugging Face 임베딩 모델을 배포한 후 메모리가 급격히 차오르는 원인을 분석한다. ML Commons 기반 추론의 모델 크기, JVM 힙, 동시 요청 처리, 노드 역할 분리 등 해결 전략을 정리한다.
-
Hugging Face 데이터셋을 Qdrant에 로드하고 검색하기
Hugging Face에 공개된 사전 임베딩 데이터셋을 Qdrant에 로드하여 즉시 벡터 검색을 실습하는 방법을 정리한다. arxiv-titles 데이터셋 예시로 대규모 벡터 업로드와 검색 과정을 다룬다.
-
GliNER과 DPO-LoRA를 활용한 모델 파인튜닝
GliNER NER 모델과 DPO, LoRA를 결합한 파인튜닝 파이프라인 구축 과정. 데이터 수집부터 학습, 평가, 배포까지 실전 경험을 정리한다.