트랜스포머(인공신경망)

1. 개요2. 등장배경3. 어텐션 메커니즘

3.1. 스케일드 닷-프로덕트 어텐션(Scaled Dot-Product Attention)3.2. 멀티-헤드 어텐션(Multi-Head Attention)

4. 구조

4.1. 인코더(Encoder)4.2. 디코더(Decoder)4.3. 포지셔널 인코딩(Positional Encoding)4.4. Add & Norm

5. 파생 모델6. 파급력7. 한계8. 연관 문서

1. 개요

2017년 구글 브레인(현 구글 딥마인드) 연구진이 논문 Attention Is All You Need에서 발표한 인공신경망 구조로, 기존의 순환 신경망(RNN)과 합성곱 신경망(CNN)의 한계를 극복하며 등장했다.

주로 자연어 처리(NLP) 분야에서 혁신을 일으켰으며, 기존의 RNN(Recurrent Neural Network)이나 LSTM(Long Short-Term Memory) 기반 모델들이 가지고 있던 장거리 의존성 문제와 병렬 처리의 한계를 어텐션 메커니즘(Attention Mechanism)만으로 해결하고자 설계되었다.

현재는 이후 BERT, GPT, T5 등 수많은 고성능 언어 모델의 기반 구조가 되었으며, 자연어 처리뿐만 아니라 컴퓨터 비전, 음성 인식, 강화학습 등 인공지능의 다양한 분야에서 핵심 기술로 널리 활용되고 있다.

2. 등장배경

트랜스포머 이전의 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델들은 주로 RNN이나 LSTM, GRU와 같은 순환 신경망 구조에 기반했다. 시퀀스 데이터를 순차적으로 처리하는 이런 RNN 기반 모델들은 몇 가지 무시할 수 없는 한계를 가지고 있었다.

대표적으로 장거리 의존성 문제를 들 수 있는데, 장거리 의존성 문제란 시퀀스의 길이가 길어질수록 초반부의 중요 정보가 후반부까지 제대로 전달되지 못하고 소실되거나 변질되기 쉬운 현상을 의미한다. LSTM이나 GRU와 같은 개선된 구조들이 등장하여 이 문제를 상당히 완화했지만, 아주 긴 시퀀스를 다루는 데에는 여전히 뚜렷한 한계가 있었다.

또 다른 난점은 RNN 모델들이 본질적으로 순차적인 계산 방식을 따른다는데 있었다. 각 시점(단어)의 계산이 이전 시점의 계산이 완료되어야 시작될 수 있다는 병렬 처리의 어려움이 바로 그것이다. 병렬 처리가 어렵다보니 GPU와 같은 병렬 연산 장치의 효율성을 충분히 활용하기 어려웠고 모델 학습 속도를 저해하는 요인이 되었다.

마지막으로 언급할 필요가 있는 것은 고정된 크기의 문맥 벡터가 가진 한계이다. 초기 인코더-디코더 구조에서는 인코더가 입력 시퀀스 전체의 정보를 고정된 크기를 가진 문맥 벡터 하나로 압축해 디코더에 전달하는 방식이 주로 사용되었는데 이 과정에서 필연적으로 정보 병목 현상과 손실이 발생할 가능성이 있었다. 이 것을 해결하기 위해 도입된 것이 바로 어텐션 메커니즘(attention mechanism). [1]

어텐션 메커니즘은 제안 초반에는 디코더가 필요한 입력 부분에 집중할 수 있게 함으로써 RNN의 고정된 문맥이 야기하는 문제를 해소하는데 주로 동원됐다. 이런 방식은 효과는 있었지만 근본적으로 RNN 기반 구조가 지닌 순차적 처리 방식의 한계는 여전히 남아 있었다.

트랜스포머는 이런 문제들을 해결하기 위해 순환 구조를 완전히 배제하고 대신 후술할 셀프-어텐션(Self-Attention) 메커니즘을 핵심 요소로 사용하여 시퀀스 내의 모든 단어 쌍 간의 관계를 직접적으로 모델링하고 병렬 처리 효율을 극대화했다.

3. 어텐션 메커니즘

<nopad>

Attention Is All You Need⁽²⁰¹⁷⁾

트랜스포머의 가장 중요한 개념은 어텐션 메커니즘(attention mechanism)이다. 이름("Attention Is All You Need")에서 알 수 있듯이, 순환적인 구조나 컨볼루션 연산 없이 오직 어텐션 메커니즘만을 사용해 입력과 출력 간의 관계 혹은 입력과 출력 시퀀스 내부 요소들 간의 관계를 파악한다.

어텐션 메커니즘을 중심으로 설계되면서 트랜스포머는 입력 데이터에서 중요한 부분을 강조하여 정보를 효율적으로 처리할 수 있게 되었다.
뿐만 아니라 기존 모델인 RNN은 입력 데이터를 순차적으로 처리해 병렬화가 어려웠지만, 트랜스포머는 입력 시퀀스를 병렬적으로 처리할 수 있어 GPU와 같은 고성능 하드웨어를 효율적으로 사용할 수 있게 되었다.

논문 발표 당시 연구진은 트랜스포머를 기계 번역 태스크에 적용하여 우수한 성능을 입증했다. 이후 이 구조는 언어 모델링을 비롯한 수많은 자연어 처리 작업과 이미지, 음성 데이터 처리로 확장되며 인공지능 전반의 발전에 크게 기여했다.

3.1. 스케일드 닷-프로덕트 어텐션(Scaled Dot-Product Attention)

트랜스포머에서 사용되는 기본적인 어텐션 메커니즘이다. 이는 쿼리(Query), 키(Key), 밸류(Value)라는 세 가지 벡터를 기반으로 작동한다. 어떤 특정 쿼리에 대해 모든 키와의 유사도(Attention Score)를 계산하고, 이 유사도를 가중치로 사용하여 밸류 벡터들의 가중합을 구하는 방식이다.

입력으로 쿼리 행렬 [math(Q)], 키 행렬 [math(K)], 밸류 행렬 [math(V)]가 주어졌을 때, 어텐션 결과는 다음과 같이 계산된다.

[math(Attention(Q, K, V) = softmax(\frac{QK^T}{\sqrt{d_k}})V)]

[math(Q)]: 현재 계산하려는 대상(예: 특정 단어)을 나타내는 벡터.
[math(K)]: 시퀀스 내의 모든 요소(예: 모든 단어)의 특징을 나타내는 벡터. 쿼리와의 유사도를 계산하는 데 사용된다.
[math(V)]: 시퀀스 내의 모든 요소의 실제 정보 값을 담고 있는 벡터. 최종 출력은 이 밸류 벡터들의 가중합으로 결정된다.
[math(QK^T)]: 쿼리와 각 키 벡터 간의 내적(Dot-Product)을 통해 유사도를 계산한다.
[math(\sqrt{d_k})]: 스케일링 인자. 키 벡터의 차원 [math(d_k)]의 제곱근으로 나누어줌으로써 내적 값이 너무 커지는 것을 방지하고 그래디언트 소실 문제를 완화한다. 논문에서는 이것이 중요하다고 언급한다.
[math(softmax)]: 계산된 유사도 점수들을 확률 분포(총합이 1)로 변환하여 각 밸류 벡터에 대한 가중치를 얻는다.
최종 결과는 이 가중치와 밸류 벡터 [math(V)]를 곱하여 가중합을 구한 것이다. 이는 쿼리와 관련된 중요한 정보들이 강조된 벡터 표현이 된다.

3.2. 멀티-헤드 어텐션(Multi-Head Attention)

트랜스포머는 단일 어텐션 함수를 사용하는 대신, 멀티-헤드 어텐션 방식을 사용한다. 이는 어텐션을 여러 개의 '헤드'로 나누어 병렬적으로 수행한 후, 그 결과들을 결합하는 방식이다.

쿼리, 키, 밸류 벡터를 각각 [math(h)]개의 서로 다른 선형 변환(가중치 행렬 [math(W^Q_i, W^K_i, W^V_i)])을 통해 서로 다른 부분 공간(subspace)으로 투영(project)한다. 즉, [math(h)]개의 [math(Q_i, K_i, V_i)] 세트를 만든다.
각 헤드마다 독립적으로 스케일드 닷-프로덕트 어텐션을 수행한다: [math(head_i = Attention(Q_i, K_i, V_i))].
각 헤드에서 나온 어텐션 결과 [math(head_1, ..., head_h)]를 모두 이어 붙인다(concatenate).
이어 붙인 결과에 다시 한번 선형 변환(가중치 행렬 [math(W^O)])을 적용하여 최종적인 멀티-헤드 어텐션 출력을 얻는다.

[math(MultiHead(Q, K, V) = Concat(head_1, ..., head_h)W^O)]
[math(where \ head_i = Attention(QW^Q_i, KW^K_i, VW^V_i))]

멀티-헤드 어텐션은 모델이 입력 시퀀스의 서로 다른 위치에 있는 정보들끼리 서로의 다양한 측면[2] 을 동시에 학습하고 고려할 수 있게 해준다. 어떤 헤드는 주어-동사 관계에 집중하고, 다른 헤드는 수식 관계에 집중하는 식이다.

4. 구조

트랜스포머의 구조는 크게 위치 인코딩(positional encoding), 멀티헤드 어텐션(Muti-Head Attention), FFN(순방향 신경망)으로 이루어져있다.

위치 인코딩은 위치 정보를 구분해해줄 벡터를 생성하고 이를 임베딩 벡터에 더해주며, 멀티헤드 어텐션은 토큰 과의 연관성을 여러 헤드에서 각각 도출하고, 그 결과를 피드 포워드 네트워크 FFN에서 멀티 헤드 어텐션 결과들을 토큰 단위로 point-wise로 종합하여 결과를 다음 트랜스포머 레이어로 출력하는 구조를 갖는다. 학습을 진행하게 되면 FFN (feed-forward network) 뿐만 아니라 attention 연산 직전에 입력 임베딩을 Query, Key, Value로 변환 해주기 위해 weight를 곱해주게 되는데 해당 weight가 학습이 된다.

Encoder only구조인 BERT, Decoder only구조인 GPT가 워낙 유명하다 보니 간과하기 쉽지만 최초로 제안된 트랜스포머는 기본적으로 인코더-디코더 구조를 따른다. 아래에서는 이 인코더-디코더 아키텍처를 기준으로 트랜스포머의 구조를 서술한다.

인코더는 입력 시퀀스를 받아 일련의 연속적인 표현(contextualized embeddings)으로 변환하고 디코더는 이 표현과 이전에 생성된 출력 시퀀스를 활용해 다음 출력 토큰을 예측한다.

4.1. 인코더(Encoder)

인코더는 동일한 구조의 N개(논문에서는 N=6)의 레이어를 쌓아서 구성된다. 각 레이어는 두 개의 서브 레이어(sub-layer)로 이루어져 있다.

멀티-헤드 셀프-어텐션 (Multi-Head Self-Attention): 입력 시퀀스 내의 모든 단어 쌍 간의 관계를 파악한다. 여기서 쿼리, 키, 밸류는 모두 이전 레이어의 출력(또는 첫 레이어의 경우 입력 임베딩 + 포지셔널 인코딩)으로부터 나온다. 즉, 입력 시퀀스가 스스로에게 어텐션을 수행하여 각 단어의 문맥적 의미를 풍부하게 만든다.
포지션-와이즈 피드-포워드 신경망 (Position-wise Feed-Forward Network): 각 위치(position)마다 독립적으로 적용되는 완전 연결(fully connected) 피드-포워드 네트워크이다. 보통 두 개의 선형 변환과 그 사이에 ReLU 활성화 함수로 구성된다: [math(FFN(x) = max(0, xW_1 + b_1)W_2 + b_2)]. 이는 어텐션 서브 레이어에서 얻은 표현을 추가적으로 비선형 변환하여 모델의 표현력을 높인다.

각 서브 레이어의 출력에는 잔차 연결(Residual Connection)과 계층 정규화 (Layer Normalization)가 순차적으로 적용된다. 즉, 각 서브 레이어의 최종 출력은 [math(LayerNorm(x + Sublayer(x)))] 형태가 된다. 여기서 [math(x)]는 서브 레이어의 입력이고, [math(Sublayer(x))]는 서브 레이어 함수(셀프-어텐션 또는 FFN)의 출력이다. 이는 깊은 네트워크에서의 그래디언트 소실/폭주 문제를 완화하고 학습을 안정화시키는 데 중요한 역할을 한다.

입력 시퀀스는 먼저 입력 임베딩(Input Embedding)을 통해 각 단어가 벡터로 변환되고, 여기에 포지셔널 인코딩(Positional Encoding) 값이 더해져서 첫 번째 인코더 레이어의 입력으로 사용된다.

4.2. 디코더(Decoder)

디코더 역시 동일한 구조의 N개(논문에서는 N=6)의 레이어를 쌓아서 구성된다. 각 디코더 레이어는 인코더 레이어의 두 서브 레이어 외에 추가적으로 세 번째 서브 레이어를 가진다.

마스크드 멀티-헤드 셀프-어텐션 (Masked Multi-Head Self-Attention): 디코더의 입력(타겟 시퀀스)에 대해 셀프-어텐션을 수행한다. 여기서 중요한 점은 마스킹(Masking)이 적용된다는 것이다. 디코더는 출력을 순차적으로 생성해야 하므로, 특정 위치의 단어를 예측할 때 그 뒤에 오는 단어들의 정보(미래 정보)를 참고해서는 안 된다. 이를 위해 어텐션 스코어 계산 시 미래 위치에 해당하는 값들을 아주 작은 값(음의 무한대에 가까운 값)으로 마스킹하여 소프트맥스 함수를 통과한 후 해당 가중치가 0이 되도록 만든다.
멀티-헤드 인코더-디코더 어텐션 (Multi-Head Encoder-Decoder Attention): 이 서브 레이어는 디코더가 인코더의 출력 정보를 활용하는 부분이다. 쿼리는 이전 디코더 서브 레이어(마스크드 셀프-어텐션)의 출력에서 오고, 키와 밸류는 인코더 스택의 최종 출력에서 온다. 이를 통해 디코더는 현재 예측하려는 단어와 입력 시퀀스의 어떤 부분들이 가장 관련 있는지 파악하여 그 정보를 활용한다.
포지션-와이즈 피드-포워드 신경망 (Position-wise Feed-Forward Network): 인코더와 동일한 구조와 역할을 수행한다.

디코더의 각 서브 레이어에도 마찬가지로 잔차 연결과 계층 정규화가 적용된다 ([math(LayerNorm(x + Sublayer(x)))]). 디코더의 입력은 타겟 시퀀스(보통 학습 시에는 정답 시퀀스, 추론 시에는 이전에 생성된 시퀀스)를 출력 임베딩(Output Embedding)하고 포지셔널 인코딩을 더한 것이다. 일반적으로 타겟 시퀀스는 오른쪽으로 한 칸씩 밀린(shifted right) 형태로 입력된다.

디코더 스택의 최종 출력은 마지막으로 선형 변환(Linear Transformation)을 거치고 소프트맥스 함수(Softmax Function)를 통과하여 다음 단어에 대한 확률 분포를 생성한다.

4.3. 포지셔널 인코딩(Positional Encoding)

트랜스포머는 RNN과 달리 순환 구조가 없기 때문에 모델 자체적으로는 단어의 순서나 위치 정보를 절대로 알 수 없다. 인간의 언어는 통사적 정보가 중요할 뿐더러, 문법 관계나 어순이 바뀌면 의미가 달라지는 경우도 부지기수이기 때문에 이를 해결하기 위해 입력 임베딩 벡터에 포지셔널 인코딩이라는 벡터를 더해준다. 이 벡터는 단어의 절대적인 위치 또는 상대적인 위치 정보를 담고 있다.

Attention Is All You Need에서는 사인(sine) 함수와 코사인(cosine) 함수를 이용한 고정된 방식의 포지셔널 인코딩을 사용했다. 각 위치 [math(pos)]와 임베딩 차원 내의 각 인덱스 [math(i)]에 대해 다음과 같이 계산된다.

[math(PE_{(pos, 2i)} = sin(pos / 10000^{2i/d_{model}}))]

[math(PE_{(pos, 2i+1)} = cos(pos / 10000^{2i/d_{model}}))]

여기서 [math(d_{model})]은 모델의 임베딩 차원이다. 이렇게 구현하면 모델이 상대적인 위치 정보도 쉽게 학습할 수 있게 되고 학습 데이터보다 긴 시퀀스에 대해서도 외삽(extrapolation)이 가능하다는 장점이 있다. 학습 가능한(learned) 포지셔널 인코딩 방식도 사용될 수 있다.

4.4. Add & Norm

잔차 연결 (Residual Connection)
각 서브 레이어의 입력 [math(x)]를 해당 서브 레이어의 출력 [math(Sublayer(x))]에 더해주는 연산 ([math(x + Sublayer(x))]). 이는 네트워크가 깊어져도 정보가 잘 전달되게 하고, 학습을 용이하게 한다. 아이덴티티 매핑(identity mapping)을 기본 경로로 제공하여, 서브 레이어가 필요하다면 입력에 대한 '잔차'만 학습하도록 유도한다.

계층 정규화 (Layer Normalization)
각 레이어의 입력에 대해 정규화를 수행한다. 배치 정규화(Batch Normalization)와 달리 각 데이터 샘플 내의 모든 특성(feature)에 걸쳐 평균과 분산을 계산하여 정규화한다. 이는 미니배치 크기에 영향을 받지 않고 시퀀스 길이에 따른 변화에 덜 민감하여 트랜스포머와 같은 모델에 더 적합하다. 정규화는 학습 과정을 안정화하고 수렴 속도를 높이는 데 도움을 준다.

5. 파생 모델

트랜스포머 아키텍처는 현대 인공지능, 특히 자연어 처리 분야에 지대한 영향을 미쳤다. 수많은 후속 모델들이 트랜스포머를 기반으로 개발되었다.

BERT(Bidirectional Encoder Representations from Transformers): 트랜스포머의 인코더 구조만을 사용하여 양방향 문맥을 학습하는 마스크 언어 모델(Masked Language Model). 다양한 다운스트림 NLP 태스크에서 범용적으로 뛰어난 성능을 보여주었다.

GPT(Generative Pre-trained Transformer): 트랜스포머의 디코더 구조만을 사용하여 단방향(왼쪽에서 오른쪽)으로 텍스트를 생성하는 모델. ChatGPT의 기반이 된 GPT-3, GPT-4 등이 여기에 속한다.

T5(Text-to-Text Transfer Transformer): 모든 NLP 문제를 텍스트-투-텍스트 형식으로 변환하여 해결하려는 통합적인 접근 방식을 취한 모델. 인코더-디코더 구조를 사용한다.

ViT(Vision Transformer): 트랜스포머 구조를 컴퓨터 비전 분야에 적용한 모델. 이미지를 여러 패치(patch)로 나누어 시퀀스처럼 처리하여 이미지 분류 등에서 CNN(Convolutional Neural Network)과 경쟁력 있는 성능을 보여주었다.

위에 기술된 모델 외에도 XLNet, RoBERTa, ALBERT, BART, ELECTRA, Transformer-XL, Reformer, Longformer 등 수많은 변형 및 응용 모델들이 존재한다.

6. 파급력

트랜스포머의 등장은 대규모 사전 학습 모델(Large Language Model, LLM) 시대를 열었으며 인공지능 연구 및 응용의 패러다임을 바꾸는 계기가 되었다. 트랜스포머의 병렬 처리 능력이나 모델 확장성, 장거리 의존성 포착 능력은 타의 추종을 불허하며 BERT의 성공 이후에는 기존에 시계열 데이터 처리에 쓰이던 RNN의 입지를 대폭 약화시켜 버렸다. 전통적으로 CNN의 영역이던 컴퓨터 비전 영역에도 손을 뻗쳐 현재는 자연어 처리뿐 아니라 이미지 분석(ViT), 이미지와 영상 생성(DiT), 음성 인식(Whisper)등 다양한 분야에 적용되고 있다.

HuggingFace같은 전용 플랫폼이 생겨나는가 하면, 단백질 구조 예측 인공지능인 알파폴드2(AlphaFold 2)[3]는 데미스 허사비스에게 노벨화학상을 안겨주었고 U-net을 핵심 컴포넌트로 가지고 있던 기존 확산 모델들마저 2023년을 기점으로 트랜스포머 백본인 DiT(Diffusion Transformer)로 대체되며[4] 인공 신경망이 적용되던 거의 전 분야에 걸쳐 기반 아키텍처가 트랜스포머로 갈아치워지고 있는 실정이다.

이렇게 기계학습과 인공지능 학계에서 트랜스포머의 영향력이 막대하다보니 요즘은 트랜스포머의 강점이 인공 신경망의 강점이 되고 트랜스포머의 한계가 곧 인공 신경망의 한계로 받아들여질 정도가 되어버렸다. 많은 사람들이 이런 상황에 경각심을 느끼고 트랜스포머를 대신할 아키텍처 개발에 힘쓰고 있지만 이런 대안 모델들은 아직까지 트랜스포머를 대체하는데 실패하고 있다. MAMBA같은 상태공간모델(State space model)이나 TTT(Test time training)등이 가능성을 보여주었지만 하이브리드 아키텍처의 형태로 트랜스포머의 약점을 보완하거나 특정 작업에 특화된 성능을 보여주며 공존하는데 그치는 실정이다.

7. 한계

트랜스포머는 입력 시퀀스의 길이가 길어질수록 계산량과 메모리 사용량이 급격히 증가하는 문제를 가지고 있다. 핵심 메커니즘인 셀프-어텐션이 시퀀스 길이 [math(n)]에 대해 [math(O(n^2 \cdot d))]의 계산 복잡도를 가지기 때문인데 [5] 이를 해결하기 위해 Longformer, Reformer, Linformer 등 희소(sparse) 어텐션이나 효율적인 어텐션 메커니즘 연구가 활발히 진행되고 있다. 다행히 동일 성능 대비 요구 연산량이 상당한 속도로 줄어들고 있지만 모델들의 덩치가 너무 커진데다 상업 모델들의 성공으로 날로 늘어가는 연산량 수요를 무마하기엔 역부족인 상태다.

해석의 어려움도 문제다. 어텐션 가중치를 통해 모델이 어떤 부분에 집중하는지 시각화하는 것은 가능하지만 현재는 인공지능 연구자들조차 트랜스포머 모델의 결정 과정을 완전히 설명하지는 못한다. 물론 이는 다른 인공 신경망에도 똑같이 해당하는 얘기기는 하다. 다만 트랜스포머의 경우 그 규모와 복잡함, 특유의 어텐션 메커니즘 때문에 연구가 더더욱 난해해진다는 것.
모델 내부의 복잡한 상호작용을 이해하기 어렵다는 것은 큰 약점인데, 아키텍처 혁신이 가져온 성능 향상에 비례하여 인공 신경망 모델들의 사회적 영향력도 같이 커지고 있기 때문이다. 과거에는 기능 향상에만 집중하여 간과되기 일쑤였으나 최근 들어 LLM의 정렬 문제가 실질적인 화두로 떠오르기 시작하면서 설명 가능한 인공지능(XAI) 연구는 더는 무시할 수 없는 분야가 되었다. 업계에서는 Anthropic이 관련 연구로 꾸준히 성과를 내고 있으며 유수의 대학과 연구기관에서도 트랜스포머라는 블랙박스를 글래스박스로 만드는 기술 개발에 인력과 자원을 쏟고 있다.

또 트랜스포머는 강력한 성능을 발휘하기 위해서 대규모 데이터셋에서의 사전 학습(pre-training)이 거의 필수적이다. 빅테크 기업들이 만든 LLM 프론티어 모델들은 매개변수는 있는대로 늘리고 데이터는 거의 전 인터넷을 박박 긁어다 쓰는 수준이라 데이터 부족 문제와 더불어 단순한 매개변수 증가로 인한 성능 향상이 점차 포화 상태에 도달하고 있다는 우려가 제기되고 있다.

이러한 한계를 극복하기 위해 최근엔 추론(Reasoning) 능력을 강조한 추론 모델이 등장하고 있다. 추론 모델은 단순히 데이터 크기나 매개변수를 늘리는 것에서 벗어나, 복잡한 추론 작업을 처리할 수 있도록 설계되었다. 대표적으로 o1및 o3는 단순히 매개변수를 확장하는 대신 복잡한 추론 능력을 향상시키는 방향으로 발전했으며, 이 같은 추론 중심 접근이 차세대 트랜스포머 모델 개발의 주요 방향으로 떠오르고 있다.

8. 연관 문서

[1] 어떤 사람들은 어텐션 메커니즘이 트랜스포머 아키텍처와 동시에 제안된 것으로 착각하기도 하지만 사실 어텐션 메커니즘의 Attention Is All You Need의 투고보다 빨랐다.[2] 문법적 관계, 의미적 유사성 등이 대표적이지만 사람이나 심지어 전문가조차 쉽게 포착할 수 없는 상호연관성도 포함될 수 있다.[3] AlphaFold2는 분명히 트랜스포머가 중요한 부분을 차지하고 있지만, 전체 구조를 볼 때 트랜스포머 기반이라고 간단히 표현하기보다는, 트랜스포머와 그래프 신경망(GNN)을 결합한 하이브리드 모델로 보는 것이 정확하다.[4] Stable Diffusion3와 Sora가 대표적인 예시이다.[5] 여기서 [math(d)]는 임베딩 차원이다

#!if version2 == null
{{{#!wiki style="border:1px solid gray;border-top:5px solid gray;padding:7px;margin-bottom:0px"
[[크리에이티브 커먼즈 라이선스|[[파일:CC-white.svg|width=22.5px]]]] 이 문서의 내용 중 전체 또는 일부는 {{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/인공지능|인공지능]]}}}{{{#!if external != "o"
[[인공지능]]}}}}}} 문서의 {{{#!if uuid == null
'''uuid not found'''}}}{{{#!if uuid != null
[[https://namu.wiki/w/인공지능?uuid=4f7bd7a7-006c-4e91-867c-d6f35a5035ed|r1970]]}}} 판{{{#!if paragraph != null
, [[https://namu.wiki/w/인공지능?uuid=4f7bd7a7-006c-4e91-867c-d6f35a5035ed#s-|번 문단]]}}}에서 가져왔습니다. [[https://namu.wiki/history/인공지능?from=1970|이전 역사 보러 가기]]}}}

#!if version2 != null
{{{#!wiki style="display: block;"
{{{#!wiki style="border:1px solid gray;border-top:5px solid gray;padding:7px;margin-bottom:0px"
[[크리에이티브 커먼즈 라이선스|[[파일:CC-white.svg|width=22.5px]]]] 이 문서의 내용 중 전체 또는 일부는 다른 문서에서 가져왔습니다.
{{{#!wiki style="text-align: center"
{{{#!folding [ 펼치기 · 접기 ]
{{{#!wiki style="text-align: left; padding: 0px 10px"
{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/인공지능|인공지능]]}}}{{{#!if external != "o"
[[인공지능]]}}}}}} 문서의 {{{#!if uuid == null
'''uuid not found'''}}}{{{#!if uuid != null
[[https://namu.wiki/w/인공지능?uuid=4f7bd7a7-006c-4e91-867c-d6f35a5035ed|r1970]]}}} 판{{{#!if paragraph != null
, [[https://namu.wiki/w/인공지능?uuid=4f7bd7a7-006c-4e91-867c-d6f35a5035ed#s-|번 문단]]}}} ([[https://namu.wiki/history/인공지능?from=1970|이전 역사]])
{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid2 == null
'''uuid2 not found'''}}}{{{#!if uuid2 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph2 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]]){{{#!if version3 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid3 == null
'''uuid3 not found'''}}}{{{#!if uuid3 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph3 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version4 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid4 == null
'''uuid4 not found'''}}}{{{#!if uuid4 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph4 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version5 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid5 == null
'''uuid5 not found'''}}}{{{#!if uuid5 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph5 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version6 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid6 == null
'''uuid6 not found'''}}}{{{#!if uuid6 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph6 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version7 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid7 == null
'''uuid7 not found'''}}}{{{#!if uuid7 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph7 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version8 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid8 == null
'''uuid8 not found'''}}}{{{#!if uuid8 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph8 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version9 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid9 == null
'''uuid9 not found'''}}}{{{#!if uuid9 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph9 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version10 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid10 == null
'''uuid10 not found'''}}}{{{#!if uuid10 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph10 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version11 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid11 == null
'''uuid11 not found'''}}}{{{#!if uuid11 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph11 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version12 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid12 == null
'''uuid12 not found'''}}}{{{#!if uuid12 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph12 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version13 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid13 == null
'''uuid13 not found'''}}}{{{#!if uuid13 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph13 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version14 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid14 == null
'''uuid14 not found'''}}}{{{#!if uuid14 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph14 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version15 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid15 == null
'''uuid15 not found'''}}}{{{#!if uuid15 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph15 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version16 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid16 == null
'''uuid16 not found'''}}}{{{#!if uuid16 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph16 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version17 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid17 == null
'''uuid17 not found'''}}}{{{#!if uuid17 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph17 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version18 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid18 == null
'''uuid18 not found'''}}}{{{#!if uuid18 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph18 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version19 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid19 == null
'''uuid19 not found'''}}}{{{#!if uuid19 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph19 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version20 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid20 == null
'''uuid20 not found'''}}}{{{#!if uuid20 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph20 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version21 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid21 == null
'''uuid21 not found'''}}}{{{#!if uuid21 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph21 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version22 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid22 == null
'''uuid22 not found'''}}}{{{#!if uuid22 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph22 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version23 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid23 == null
'''uuid23 not found'''}}}{{{#!if uuid23 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph23 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version24 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid24 == null
'''uuid24 not found'''}}}{{{#!if uuid24 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph24 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version25 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid25 == null
'''uuid25 not found'''}}}{{{#!if uuid25 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph25 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version26 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid26 == null
'''uuid26 not found'''}}}{{{#!if uuid26 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph26 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version27 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid27 == null
'''uuid27 not found'''}}}{{{#!if uuid27 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph27 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version28 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid28 == null
'''uuid28 not found'''}}}{{{#!if uuid28 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph28 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version29 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid29 == null
'''uuid29 not found'''}}}{{{#!if uuid29 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph29 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version30 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid30 == null
'''uuid30 not found'''}}}{{{#!if uuid30 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph30 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version31 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid31 == null
'''uuid31 not found'''}}}{{{#!if uuid31 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph31 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version32 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid32 == null
'''uuid32 not found'''}}}{{{#!if uuid32 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph32 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version33 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid33 == null
'''uuid33 not found'''}}}{{{#!if uuid33 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph33 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version34 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid34 == null
'''uuid34 not found'''}}}{{{#!if uuid34 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph34 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version35 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid35 == null
'''uuid35 not found'''}}}{{{#!if uuid35 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph35 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version36 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid36 == null
'''uuid36 not found'''}}}{{{#!if uuid36 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph36 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version37 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid37 == null
'''uuid37 not found'''}}}{{{#!if uuid37 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph37 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version38 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid38 == null
'''uuid38 not found'''}}}{{{#!if uuid38 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph38 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version39 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid39 == null
'''uuid39 not found'''}}}{{{#!if uuid39 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph39 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version40 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid40 == null
'''uuid40 not found'''}}}{{{#!if uuid40 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph40 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version41 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid41 == null
'''uuid41 not found'''}}}{{{#!if uuid41 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph41 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version42 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid42 == null
'''uuid42 not found'''}}}{{{#!if uuid42 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph42 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version43 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid43 == null
'''uuid43 not found'''}}}{{{#!if uuid43 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph43 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version44 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid44 == null
'''uuid44 not found'''}}}{{{#!if uuid44 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph44 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version45 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid45 == null
'''uuid45 not found'''}}}{{{#!if uuid45 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph45 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version46 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid46 == null
'''uuid46 not found'''}}}{{{#!if uuid46 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph46 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version47 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid47 == null
'''uuid47 not found'''}}}{{{#!if uuid47 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph47 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version48 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid48 == null
'''uuid48 not found'''}}}{{{#!if uuid48 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph48 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version49 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid49 == null
'''uuid49 not found'''}}}{{{#!if uuid49 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph49 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}{{{#!if version50 != null
{{{#!wiki style="display: block;"

{{{#!wiki style="display: inline-block"
{{{#!if external == "o"
[[https://namu.wiki/w/|]]}}}{{{#!if external != "o"
[[]]}}}}}} 문서의 {{{#!if uuid50 == null
'''uuid50 not found'''}}}{{{#!if uuid50 != null
[[https://namu.wiki/w/?uuid=|r]]}}} 판{{{#!if paragraph50 != null
, [[https://namu.wiki/w/?uuid=#s-|번 문단]]}}} ([[https://namu.wiki/history/?from=|이전 역사]])}}}}}}}}}}}}}}}}}}}}}

트랜스포머(인공신경망)

1. 개요

2. 등장배경

3. 어텐션 메커니즘

3.1. 스케일드 닷-프로덕트 어텐션(Scaled Dot-Product Attention)

3.2. 멀티-헤드 어텐션(Multi-Head Attention)

4. 구조

4.1. 인코더(Encoder)

4.2. 디코더(Decoder)

4.3. 포지셔널 인코딩(Positional Encoding)

4.4. Add & Norm

5. 파생 모델

6. 파급력

7. 한계

8. 연관 문서

분류