BERT

 

 

 

#BERT

 

• BERT(Bidirectional Encoder Representations from Transformers)는 구글에서 2018년에 발표한 모델

• BERT는 Transformer의 인코더-디코더 중 인코더만 사용하고, 인코더를 양방향으로 설계하여 만들었음

 

• BERT를 이용한 언어 처리는 2단계로 이루어짐

- 거대 Encoder가 입력 문장들을 임베딩하여 언어를 모델링하는 Pre-training 과정

- 이를 fine-tuning하여 여러 자연어 처리 Task를 수행하는 과정

 

 

#BERT의 Pre-training

1) BERT의 MLM(Masked Language Model)

- MLM은 입력 문장에서 랜덤하게 일부 단어를 마스크하고, 해당 단어를 예측하는 것

 

2) BERT의 NSP(Next Sentence Prediction)

- NSP는 두 문장이 주어졌을 때, 두 번째 문장이 첫 번째 문장의 다음 문장인지 아닌지를 예측하는 것으로 학습