1. 개인학습

• KLUE-Relation Extraction

2. 특강

• 자연어 처리를 위한 언어 모델의 학습과 평가
  • 언어 모델링
    • 주어진 문맥을 활용해 다음에 나타날 단어 예측하기
  • 양방향 언어 모델링
    • ELMo (2018): 2개의 LSTM 구조
    • BERT (2019): Transformers
  • 언어 모델의 평가
    • GLUE 벤치마크 (영어) - 평가에 활용
      • Quora Qurestion Pairs (QQP, 문장 유사도 평가)
      • Question NLI (QNLI, 자연어 추론)
      • The Stanford Sentiment Treebank (SST, 감정 분석)
      • The Corpus of Linguistic Acceptability (CoLA, 언어 수용성)
      • Sementic Textual Similarity Benchmark (STS-B, 문장 유사도 평가)
      • Microsoft Research Paraphrase Corpus (MRPC, 문장 유사도 평가)

      • Recognizing Textual Entailment (RTE, 자연어 추론)

      • SQAUD 1.1/2.0 (질의응답)

      • MultiNLI Matched (자연어 추론)
      • MulitNLI Mismatched (자연어 추론)
      • Winograd NLI (자연어 추론)
    • FLUE, CLUE, IndoNLU benchmark, IndicGLUE, RussianSuperGLUE
    • KLUE (Korean Language Understanding Evaluation)
      • 개체명 인식
      • 품사 태깅 및 의존 구문 분석
      • 문장 분류
      • 자연어 추론
      • 문장 유사도
      • 관계 추출
      • 질의 응답
      • 목적형 대화
• AI 시대의 커리어 빌딩
  • Careers in AI
    • 학교 / 회사?
      • 학교: 논문 > 상품/서비스
      • 회사: 상품/서비스 > 논문
    • 회사
      • AI for X
        • AI로 기존의 비즈니스를 더 잘하려는 회사
      • AI centric
        • AI로 새로운 비즈니스를 창출하려는 회사
    • AI team
      • Business
        • 사업기획, 서비스기획, 법무/윤리, …
      • Engineering
        • Data, AI, AIOps, …
    • Engineering
      • 모델링은 팀 전체 업무의 일부
      • 아직 정확한 포지션이 정립이 되지 않은 상황 -> 꼼꼼히 읽어보자
  • Step
    1. Understand yourself
    2. Start early
       • AI competition
       • 최신 논문 재현
  • 필요한 역량?
    • SW Engineering 역량 - 개발
    • 영어
    • Grit: 끈기 있는 자세
    • Humility
    • Passion
    • Teamwork
    • Kindness

3. 피어세션

• 대회참여