1. 개인학습

• 베이즈 통계
  • 조건부 확률을 활용해 정보를 갱신하는 방법
  • 조건부 확률
    • $Y$ 가 관찰되었을 때, X가 발생할 확률
    • $ P(X \vert Y) = {P(X,Y) \over P(Y)} $
  • 베이즈 정리
    • $P(\theta \vert D) = P(\theta) {P(D \vert \theta) \over P(D)}$
    • $P(\theta \vert D)$ : 사후확률(posterior)
    • $P(\theta)$ : 사전확률(prior)
    • $P(D \vert \theta)$ : 가능도(likelihood)
    • $P(D)$ : Evidence
• 면접 복기
  • 프로젝트 소개
  • 프로젝트 관련 기초지식(ML/AI + CS)
    • 이론
    • 메트릭
    • Why?

2. 선택과제 복습

• 1번
  • 미니배치 효과
    • 불안정하지만 빠른 수렴
    • Convex 형태가 아닌 딥러닝 모델을 수렴시키기에 더 적합
• 2번
  • 시간 역순으로 전파되어오는 그래디언트들의 합!
  • $\frac{\partial \xi}{\partial W_x} = \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_n} \frac{\partial S_n}{\partial W_x} + \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_n} \frac{\partial S_n}{\partial S_{n-1}}\frac{\partial S_{n-1}}{\partial W_x} \cdots = \sum\limits_{k=0}^n \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_k} \frac{\partial S_k}{\partial W_x} = \sum\limits_{k=0}^n \frac{\partial \xi}{\partial S_k} X_k $
  • $\frac{\partial \xi}{\partial W_{rec}} = \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_n} \frac{\partial S_n}{\partial W_{rec}} + \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_n} \frac{\partial S_n}{\partial S_{n-1}}\frac{\partial S_{n-1}}{\partial W_{rec}} \cdots = \sum\limits_{k=0}^n \frac{\partial \xi}{\partial y} \frac{\partial y}{\partial S_k} \frac{\partial S_k}{\partial W_{rec}} = \sum\limits_{k=1}^n \frac{\partial \xi}{\partial S_k} S_{k-1} $
• 3번
  • 용어! 표본평균 / 표본분산