태그: NLP
이 태그가 달린 글 "NLP".
Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교
NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.
GliNER과 DPO-LoRA를 활용한 모델 파인튜닝
GliNER NER 모델과 DPO, LoRA를 결합한 파인튜닝 파이프라인 구축 과정. 데이터 수집부터 학습, 평가, 배포까지 실전 경험을 정리한다.
벡터 기반 시맨틱 검색 구현기
Python FastAPI와 OpenSearch를 활용해 Dense Vector 기반 시맨틱 검색을 구현한 과정. 임베딩 모델 선택, 벡터 인덱스 설계, 하이브리드 검색까지.
상품 리뷰 분석 API 개발기 - 형태소 분석기 성능 최적화
상품 리뷰 텍스트 분석의 정확도를 높이기 위한 형태소 분석기 교체 작업. Elasticsearch nori 분석기 전환, 한국어 NLP 처리 최적화 과정을 정리한다.