Tag: 딥러닝
All the articles with the tag "딥러닝".
-
GPT 모델 처음부터 만들기 (2) - 셀프 어텐션 구현
GPT 구현 시리즈 2편. 셀프 어텐션 메커니즘의 원리를 이해하고 PyTorch로 직접 구현한다. Query/Key/Value 행렬 생성, 어텐션 스코어 계산, 마스킹까지.
-
Thompson Sampling: 탐색과 활용의 균형을 잡는 알고리즘
A/B 테스트, 추천 시스템, 광고 최적화에서 활용되는 Thompson Sampling 알고리즘의 원리. 베타 분포 기반 확률적 탐색으로 최적의 선택지를 찾는 Multi-Armed Bandit 문제 해결 방법.
-
GPT 모델 처음부터 만들기 (1) - 데이터 전처리와 기본 구조
GPT 언어 모델을 처음부터 구현하는 시리즈 1편. 텍스트 데이터 전처리, 문자 단위 토크나이저 구현, 입력/타겟 시퀀스 생성, 기본 신경망 구조 설계까지.
-
KoBERT: 한국어 BERT 모델 소개와 파인튜닝 예제
KoBERT는 한국어 위키 5백만 문장으로 사전학습된 BERT 모델이다. 한국어 텍스트 분류, 감성 분석 등에 파인튜닝하는 방법과 BERTDataset, BERTClassifier 구현 코드를 정리한다.