태그: AI
이 태그가 달린 글 "AI".
셀프 어텐션(Self-Attention) 동작 과정 단계별 정리
셀프 어텐션은 입력 시퀀스 내부에서 각 토큰이 다른 모든 토큰과의 관계를 학습해 문맥 정보를 재구성하는 메커니즘이다. 이 과정을 거친 출력은 이후 피드포워드 네트워크나 다음 레이어로 전달되어 문장 수준의 의미를 정교하게 표현하게 된다.
Transformer의 Query, Key, Value 행렬 생성 과정
Transformer 어텐션에서 Q, K, V 행렬이 생성되는 과정을 단계별로 정리한다. 입력 임베딩에서 가중치 행렬을 곱해 Query, Key, Value를 만들고 어텐션 스코어를 계산하기까지.
Dropout이란? PyTorch 신경망에 Dropout 적용하기
딥러닝 모델의 과적합(Overfitting)을 방지하는 Dropout 기법의 원리와 PyTorch에서 신경망에 적용하는 방법. 훈련/평가 모드 전환, 드롭 확률 설정까지.
GPT 모델 처음부터 만들기 (2) - 셀프 어텐션 구현
GPT 구현 시리즈 2편. 셀프 어텐션 메커니즘의 원리를 이해하고 PyTorch로 직접 구현한다. Query/Key/Value 행렬 생성, 어텐션 스코어 계산, 마스킹까지.