Tag: NLP

All the articles with the tag "NLP".

• Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교

  8 Mar, 2025

  NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.

• GliNER과 DPO-LoRA를 활용한 모델 파인튜닝

  1 Nov, 2024

  GliNER NER 모델과 DPO, LoRA를 결합한 파인튜닝 파이프라인 구축 과정. 데이터 수집부터 학습, 평가, 배포까지 실전 경험을 정리한다.

• 벡터 기반 시맨틱 검색 구현기

  1 Sep, 2024

  Python FastAPI와 OpenSearch를 활용해 Dense Vector 기반 시맨틱 검색을 구현한 과정. 임베딩 모델 선택, 벡터 인덱스 설계, 하이브리드 검색까지.

• 상품 리뷰 분석 API 개발기 - 형태소 분석기 성능 최적화

  1 May, 2024

  상품 리뷰 텍스트 분석의 정확도를 높이기 위한 형태소 분석기 교체 작업. Elasticsearch nori 분석기 전환, 한국어 NLP 처리 최적화 과정을 정리한다.