Tag: AI
All the articles with the tag "AI".
-
Transformer의 Query, Key, Value 행렬 생성 과정
Transformer 어텐션에서 Q, K, V 행렬이 생성되는 과정을 단계별로 정리한다. 입력 임베딩에서 가중치 행렬을 곱해 Query, Key, Value를 만들고 어텐션 스코어를 계산하기까지.
-
Dropout이란? PyTorch 신경망에 Dropout 적용하기
딥러닝 모델의 과적합(Overfitting)을 방지하는 Dropout 기법의 원리와 PyTorch에서 신경망에 적용하는 방법. 훈련/평가 모드 전환, 드롭 확률 설정까지.
-
GPT 모델 처음부터 만들기 (2) - 셀프 어텐션 구현
GPT 구현 시리즈 2편. 셀프 어텐션 메커니즘의 원리를 이해하고 PyTorch로 직접 구현한다. Query/Key/Value 행렬 생성, 어텐션 스코어 계산, 마스킹까지.
-
Thompson Sampling: 탐색과 활용의 균형을 잡는 알고리즘
A/B 테스트, 추천 시스템, 광고 최적화에서 활용되는 Thompson Sampling 알고리즘의 원리. 베타 분포 기반 확률적 탐색으로 최적의 선택지를 찾는 Multi-Armed Bandit 문제 해결 방법.