태그: AI
이 태그가 달린 글 "AI".
Tauri 2.0으로 AI 데스크톱 앱 만들기
Next.js 프론트엔드와 Rust 백엔드를 결합한 XGEN 데스크톱 AI 워크스테이션 개발기
Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교
NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.
OJT 리팩토링과 Kotaemon RAG 구현기
기존 OJT 시스템의 한계를 해결하고자 전면 리팩토링을 진행했다. Kotaemon RAG 프레임워크를 도입하여 문서 기반 질의응답 성능을 대폭 개선한 과정을 공유한다.
GliNER과 DPO-LoRA를 활용한 모델 파인튜닝
GliNER NER 모델과 DPO, LoRA를 결합한 파인튜닝 파이프라인 구축 과정. 데이터 수집부터 학습, 평가, 배포까지 실전 경험을 정리한다.