<aside> 💡 [본 논문의 핵심 포인트는 무엇인가?]

• UniLM → NLU(Natural Language Model)과 NLG(- Generation) 모두 fine tuning이 가능
• 3가지 Pre-training 진행: Unidirectional LM, Bidirectional LM, Seq to Seq LM
• 1개의 Transformer로 학습

</aside>

1. Introduction

🍪 NLP task의 발전을 이끈 Model Pre-training! (with language modeling)

• 어떤 발전이 있었냐면…

  • ELMo: 두 가지 Unidirectional LM으로 학습
    • Left-to-right
    • Right-to-left
  • GPT: 한 가지 Unidirectional LM으로 학습
    • Left-to-right
  • BERT: Bidirectional LM

    • NLU task는 잘 하는데, NLG는 잘 못함 (왜?)

      NLU에서의 강점

      • 문장의 앞뒤 문맥을 동시에 고려하기 때문에, 텍스트의 의미를 이해하는 데 매우 유리
      • 이로 인해, 문장의 의미 분석, 문장 간 관계 파악 등 NLU 작업에서 좋은 성능을 발휘

      NLG에서의 약점

      • NLG 작업은 보통 왼쪽에서 오른쪽으로 순차적으로 단어를 생성
      • But, BERT는 양방향 문맥을 사용하기 때문에, 생성 과정에서는 다음 단어를 생성할 때 이전 단어의 문맥을 사용하는 것이 어려워짐 → 자연스러운 문장 생성을 수행하는 데 한계가 있음

  

🍪 본 논문에서 제안하는 UniLM은요?

• 3가지 Pre-training 기법을 사용

  

  Pre-training 관점에서 이전 LM과 UniLM의 비교

  • Unidirectional LM
    • 왼쪽에서 오른쪽(LTR) 또는 오른쪽에서 왼쪽(RTL)으로 단어를 순차적으로 예측함
    • NLG 작업에서 중요한 역할을 함 (텍스트를 자연스럽게 생성하는 데 유리)
  • Bidirectional LM
    • 문장의 양쪽 문맥을 동시에 사용하여 단어를 예측함
    • 문맥 이해력 강화 → NLU 작업에 유리
  • Sequence to Sequence (Seq2Seq) LM
    • 입력 시퀀스를 바탕으로 출력 시퀀스를 예측함
    • 복잡한 NLG 작업에서 유리함 (예: 번역, 요약 등)

• 이어질 내용 미리보기

  • Downstream tasks에서 우수한 성능을 보임 (Example Downstream Tasks)

    

  • 파라미터를 공유하여 하나의 네트워크에서 학습됨, cloze task를 활용하여 모델링 objective를 정의함

  • Pre-training이 끝나면 fine-tuning을 통해 downstream tasks에 적용 (like BERT)

  • Cloze task를 기반으로 한 마스킹 적용 → NLU, NLG 둘 다 좋은 성능을 보여줌

<aside> 💡 Cloze Task가 무엇인가?

Cloze task는 원래 교육 심리학에서 시작된 개념으로, 텍스트에서 특정 단어나 구절을 빈칸으로 만들고 이를 채우도록 하는 문제를 말함. NLP에서는 이 기법을 언어 모델이 문맥을 이해하도록 학습하는 데 사용하고 있음. 예를 들어, 문장이 "The cat sat on the [MASK]"이라면 모델은 [MASK] 자리에 "mat"을 예측하도록 훈련되는 식!

</aside>

• UniLM에서의 Cloze Task 예시
  • Unidirectional Cloze Task
    • "The cat sat on the [MASK]"에서 모델이 왼쪽에서 오른쪽으로 단어를 예측 (vice versa)
  • Bidirectional Cloze Task
    • "The [MASK] sat on the [MASK]"에서 모델은 문장의 양쪽 문맥을 사용하여 두 마스킹된 단어를 예측
  • Sequence-to-Sequence Cloze Task
    • 입력 시퀀스와 출력 시퀀스를 설정하고, 입력 시퀀스를 바탕으로 출력 시퀀스를 예측함
    • 입력이 "Translate English to French: [MASK]"라면, 모델이 "Traduire l'anglais en français: [MASK]"와 같은 출력을 생성

🍪 Summary

1. 여러 가지 모델링 기법을 통합한 pre-training은 cloze task를 통해 objective를 정의함으로써 여러 네트워크를 구현할 필요가 없음
2. 다양한 모델링 objective로 학습되기 때문에 좀 더 일반화된 representation을 학습할 수 있음
3. Seq-to-seq LM을 학습함으로써 더욱 복잡한 NLG task (abstractive summarization, question generation)에서 좀 더 나은 성능을 보임

2. Unified Language Model Pre-training (Method)

🍪 Input Representation

• Input x: word sequence
  • Unidirectional LM에서 → single-segment 형태
  • Bidirectional LM과 Seq-to-seq LM에서 → segment-pair 형태
• Segment는 SOS 토큰으로 시작, EOS 토큰으로 끝남