| BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding | |
| <colbgcolor=#646464><colcolor=#fff> 논문 저자 | Jacob Devlin |
| 분야 | NLP |
| 발표 년도 | 2018 |
| 논문 링크 | |
1. 개요
BERT는 구글에서 개발한 자연어 처리 모델이다. Transformer 구조에 Encoder를 여러 층 쌓은 모델이다.학습은 다음 문장 예측(Next Sentence Prediction (NSP))과 문장의 가려진 단어 예측(Masked Language Modeling (MLM))으로 학습된다.
GPT-3와 함께 대표적인 트랜스포머 활용 구조로 알려져 있다.
2. 활용
* 다크버트(DarkBERT)는 BERT 기반 구조를 활용해 다크웹 데이터를 이해하고 분석하는 데 특화된 언어 모델로, 특정 도메인에 맞춘 BERT 응용 사례 중 하나라 할 수 있다. ‘Dark’라는 명칭은 해당 모델이 다크웹 환경을 중심으로 학습되었음을 의미한다.