ML/AI/SW Developer

Week10(pstage) - Day3

1. 개인학습

2. KLUE RE 대회 진행

  • Custom model 제작 - 가설: [CLS] token만 쓰는 것은 이상하다. 한문장안에 여러 관계가 있을 수 있는데, 그 모든 것을 담고 있는 CLS token을 사용하는 것이 맞을 까?
    • Entity embedding + classification head 수정
    • [CLS] 토큰의 임베딩 벡터와, 두 엔티티의 임베딩 벡터를 concat해서 활용
  • 대회 회고록 작성

3. 피어 세션

  • 실험 결과 공유 - 팀 노션정리