1. 개인학습
- Dense embedding + Reader (Roberta-base) 진행 중
2. MRC 대회 진행
- passage를 chunk로 나누는데, 이 chunk들을 같은 후보로 봐야할까? 다른 후보로 보는 것이 좋을까?
- 다른 후보로 보고 처리하는 것 → 좋은 아이디어 같다!
- negative sampling 할 때, random/tf-idf/ 등등이 있는데 사용해 보신 아이디어나 경험
- Random, BM25, GOLD, in-batch
- 참고 [2004.04906] Dense Passage Retrieval for Open-Domain Question Answering (arxiv.org)
- Sparse와 Dense랑 야무지게 섞는 법
- concatenation 해서 layer 태우기
- sparse 임베딩 벡터를 Linear transform을 해서 차원 크기를 어느정도 맞추고, sum 이나 concate을 해서 최종 임베딩 벡터 만드는 방법
- post processing으로 soft/hard voting
- 당연히 해봐야하는 것!!
- concatenation 해서 layer 태우기