Tag: Tokenization

All the articles with the tag "Tokenization".

• Tokenization 기법 정리: BPE, WordPiece, SentencePiece 비교

  8 Mar, 2025

  NLP에서 텍스트를 토큰으로 분할하는 주요 기법(BPE, WordPiece, SentencePiece)의 원리와 차이를 정리한다. BERT, GPT 등 Transformer 모델에서 사용하는 토크나이저 비교.