Tag: 딥러닝
All the articles with the tag "딥러닝".
-
Scaled Dot-Product Attention 동작 원리와 수식 정리
스케일드 닷 프로덕트 어텐션은 쿼리(Query), 키(Key), 밸류(Value) 삼중 구조를 사용해, 유사도 계산 → 스케일 조정 → 확률 정규화 → 가중합의 네 단계를 거쳐 문맥 정보를 추출하는 어텐션 메커니즘이다.
-
셀프 어텐션(Self-Attention) 동작 과정 단계별 정리
셀프 어텐션은 입력 시퀀스 내부에서 각 토큰이 다른 모든 토큰과의 관계를 학습해 문맥 정보를 재구성하는 메커니즘이다. 이 과정을 거친 출력은 이후 피드포워드 네트워크나 다음 레이어로 전달되어 문장 수준의 의미를 정교하게 표현하게 된다.
-
Transformer의 Query, Key, Value 행렬 생성 과정
Transformer 어텐션에서 Q, K, V 행렬이 생성되는 과정을 단계별로 정리한다. 입력 임베딩에서 가중치 행렬을 곱해 Query, Key, Value를 만들고 어텐션 스코어를 계산하기까지.
-
Dropout이란? PyTorch 신경망에 Dropout 적용하기
딥러닝 모델의 과적합(Overfitting)을 방지하는 Dropout 기법의 원리와 PyTorch에서 신경망에 적용하는 방법. 훈련/평가 모드 전환, 드롭 확률 설정까지.