Posts
All the articles I've posted.
-
셀프 어텐션(Self-Attention) 동작 과정 단계별 정리
셀프 어텐션은 입력 시퀀스 내부에서 각 토큰이 다른 모든 토큰과의 관계를 학습해 문맥 정보를 재구성하는 메커니즘이다. 이 과정을 거친 출력은 이후 피드포워드 네트워크나 다음 레이어로 전달되어 문장 수준의 의미를 정교하게 표현하게 된다.
-
Transformer의 Query, Key, Value 행렬 생성 과정
Transformer 어텐션에서 Q, K, V 행렬이 생성되는 과정을 단계별로 정리한다. 입력 임베딩에서 가중치 행렬을 곱해 Query, Key, Value를 만들고 어텐션 스코어를 계산하기까지.
-
macOS에서 USB 포맷 실패 시 해결 방법
macOS의 디스크 유틸리티(Disk Utility)를 이용해 USB를 포맷하려고 할 때, 간혹 포맷이 실패하는 경우가 있다. 특히 “파티션 맵을 수정할 수 없습니다. (-69874)”라는 오류와 함께 디스크가 정상적으로 초기화되지 않는 상황이 발생할 수 있다.
-
Dropout이란? PyTorch 신경망에 Dropout 적용하기
딥러닝 모델의 과적합(Overfitting)을 방지하는 Dropout 기법의 원리와 PyTorch에서 신경망에 적용하는 방법. 훈련/평가 모드 전환, 드롭 확률 설정까지.