태그: 임베딩
이 태그가 달린 글 "임베딩".
LangChain SemanticChunker — 의미 기반 텍스트 분할 가이드
LangChain의 SemanticChunker를 활용한 의미 기반 텍스트 분할을 정리한다. 문장 임베딩 유사도로 청크 경계를 결정하는 방식, breakpoint_threshold 설정, RAG 검색 정확도 향상 효과를 다룬다.
OpenSearch ML 모델 배포 시 메모리 99% 점유 원인과 해결법
OpenSearch에 Hugging Face 임베딩 모델을 배포한 후 메모리가 급격히 차오르는 원인을 분석한다. ML Commons 기반 추론의 모델 크기, JVM 힙, 동시 요청 처리, 노드 역할 분리 등 해결 전략을 정리한다.
“Qdrant를 위한 Semantic Chunking — 임베딩 기반 문서 분할”
“Qdrant에 저장할 문서를 의미적으로 분할하는 Semantic Chunking 방법을 정리한다. 문장 임베딩 유사도로 청크 경계를 결정하고, 고정 길이 분할 대비 검색 정확도를 높이는 구현 방법을 다룬다.”
Qdrant로 코드베이스 시맨틱 검색 구현하기
Qdrant를 활용해 코드베이스에 시맨틱 검색을 적용하는 방법을 정리한다. 자연어 질의용 sentence-transformers와 코드 유사도 검색용 jina-embeddings-v2-base-code 모델을 활용한 듀얼 임베딩 전략을 다룬다.