| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | |
| <colbgcolor=#646464><colcolor=#fff> 논문 저자 | Jacob Devlin |
| 분야 | NLP |
| 발표 년도 | 2018 |
| 논문 링크 | |
1. 개요
[clearfix]
1. 개요
BERT는 구글에서 개발한 자연어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 쌓은 모델이다.학습은 다음 문장 예측(NSP)과 문장의 가려진 단어 예측(MLP)으로 학습된다.
GPT-3와 함께 대표적인 트랜스포머 활용 구조로 알려져 있다.