1. 개인학습
2. KLUE RE 대회 진행
- entity embedding
- 아무것도 아님: 0
- subject: 1
- object: 2
- 해볼려고 했는데, 1, 2로 나누면 학습이 깨짐 -> 사실 Embedding layer의 초기값에 많이 영향을 받는 듯 하다.
- punctuation으로 entity 표시하는 것으로 변경
- Custom model 제작 - 가설: [CLS] token만 쓰는 것은 이상하다. 한문장안에 여러 관계가 있을 수 있는데, 그 모든 것을 담고 있는 CLS token을 사용하는 것이 맞을 까?
3. 피어 세션
- 실험 결과 공유 - 팀 노션정리