Tag: AI
All the articles with the tag "AI".
-
Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교
NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.
-
OJT 리팩토링과 Kotaemon RAG 구현기
기존 OJT 시스템의 한계를 해결하고자 전면 리팩토링을 진행했다. Kotaemon RAG 프레임워크를 도입하여 문서 기반 질의응답 성능을 대폭 개선한 과정을 공유한다.
-
GliNER과 DPO-LoRA를 활용한 모델 파인튜닝
GliNER NER 모델과 DPO, LoRA를 결합한 파인튜닝 파이프라인 구축 과정. 데이터 수집부터 학습, 평가, 배포까지 실전 경험을 정리한다.
-
이미지 검색 기술과 객체 추출 기반 검색
이미지를 바탕으로 유사한 상품을 검색하는 AI 기술을 정리한다. 쇼핑몰 상품 이미지에서 가방, 안경 등 객체를 추출하고 유사 이미지를 매칭하는 구조를 다룬다.