ML/AI/SW Developer

Week10(pstage) - Day2

1. 개인학습

2. KLUE RE 대회 진행

  • entity embedding
    • 아무것도 아님: 0
    • subject: 1
    • object: 2
    • 해볼려고 했는데, 1, 2로 나누면 학습이 깨짐 -> 사실 Embedding layer의 초기값에 많이 영향을 받는 듯 하다.
  • punctuation으로 entity 표시하는 것으로 변경
  • Custom model 제작 - 가설: [CLS] token만 쓰는 것은 이상하다. 한문장안에 여러 관계가 있을 수 있는데, 그 모든 것을 담고 있는 CLS token을 사용하는 것이 맞을 까?

3. 피어 세션

  • 실험 결과 공유 - 팀 노션정리

4. 알고리즘