Tag: Query-Key-Value

All the articles with the tag "Query-Key-Value".

• 셀프 어텐션(Self-Attention) 동작 과정 단계별 정리

  14 Jul, 2025

  셀프 어텐션은 입력 시퀀스 내부에서 각 토큰이 다른 모든 토큰과의 관계를 학습해 문맥 정보를 재구성하는 메커니즘이다. 이 과정을 거친 출력은 이후 피드포워드 네트워크나 다음 레이어로 전달되어 문장 수준의 의미를 정교하게 표현하게 된다.