jeongname / klue

한국어 문장 관계 분류 경진대회 🏆 [Private, 1st]

Data

• premise와 hypothesis의 관계를 판별하는 모델을 개발

  • Train
  • Test

• 외부데이터

  • KAKAO
    
  • KLUE

EDA

• KLUE Data Label
  • 5개의 label을 토대로 gold_label을 판별
• premise와 hypothesis, label의 관계
  • 대체로 하나의 premise에 hypothesis 세 문장, 세 개의 label이 매칭
• label 분포
  • 세 개의 label이 고르게 분포
    

모델링

5 fold로 모델을 fine-tuning 후 Voting ensemble

• Model
  • Roberta-large
• Optimizer
  • AdamW
• Learning rate scheduler
  • Cosine annealing with warmup

추론

• Hard voting
  • 5개의 모델로 label을 예측
  • 대부분의 모델이 neutral에 치중
    
  • 5개의 label 중 같은 label이 3개 이상이면 해당 label 획득, 아니면 neutral

    def voting(df):
      cols = ['neutral', 'contradiction', 'entailment']
      for col in cols:
        if df[col] > 2:
          return col
      return 'neutral'
    

  • 가장 빈번한 label을 부여했을 때 label이 neutral에 치중
    
  • label 별로 threshold 다르게 적용

      neutral: 3 / contradiction: 2 -> contradiction
      neutral: 3 / entailment: 2 -> entailment
      neutral: 4 / contradiction: 1 -> contradiction
      neutral: 4 / entailment: 1 -> entailment
    

  • 결과
    
• Soft voting
  • 추가