1. 개인학습

• pytorch4
• pytorch5

2. 선택 과제

• Why? xavier uniform으로 초기화?
  • 관련논문
  • Xaiver함수는 비선형함수(ex. sigmoid, tanh)에서 효과적인 결과를 보여준다
  • 하지만 ReLU함수에서 사용 시 출력 값이 0으로 수렴하게 되는 현상을 확인 할 수 있다
  • 이전 Layer의 activation value와 다음 Layer의 activation value 평균과 표준 편차가 일정해야 한다

3. 알고리즘 풀이

• 풀이

4. 피어세션

• 강의 요약
• 과제 코드 리뷰
• 알고리즘 코드 공유

5. 마스터세션

• Data centric AI
  • 코딩을 못하면 AL/DL 어려울까? 응!
  • 왜? 전반적인(CS 지식)이 필요하니까!
• Pre-trainning
  • back-bone 만 바꿔가며 좋은 성능~
  • NLP
    • back-bone: BERT…
• 성능이 중요할까?
  • A 모델이 97%, B 모델이 98%의 성능을 보여준다고 할 때, 이 1%가 어떤 영향을 가지는 지는 도메인에 따라 다르다. 때문에 전혀 중요하지 않은 분야도 있다!
• Research 분야
  • 모델 개발 / 하이퍼파라미터 튜닝 싸움
• Real world(industrial 영역)
  • 작업 과정
    • A. 어떤 문제를 풀어야 하는가?
    • B.Data
    • C.Modeling
    • D.Deployment
  • B, C보다는 A, D가 더 중요하다!!
• Data Feedback Loop
  • 사용자의 데이터를 자동화해 모델에 피딩하는 체게 필요
    • 언제까지 crtl + enter를 사람이 눌러줄 수 없다…
  • 네트워크 ~ 하드웨어, 데이터 플랫폼 모든걸 이해해야함
  • 특히 대용량 데이터를 다뤄본 경험이 중요!!