Bishop PRML - Ch2. Probability Distributions (1)

Binary Variables

• Bernoulli distribution

  • $\mathrm{Bern}(x\mid \mu )={\mu }^x(1-\mu {)}^{1-x}$
    • $p(x=1\mid \mu )=1-p(x=0\mid \mu )=\mu$ 일 때의 분포
  • mean
    • $E\left[x\right]=\mu$
  • variance
    • $\mathrm{var}\left[x\right]=\mu (1-\mu )$
  • likelihood
    • $p(D\mid \mu )={\prod }_{n=1}^{N}p(x_n\mid \mu )={\prod }_{n=1}^N{\mu }^{x_n}(1-\mu {)}^{1-x_n}$
  • log likelihood
    • $\ln p(D\mid \mu )={\sum }_{n=1}^N\ln p(x_n\mid \mu )={\sum }_{n=1}^N\{x_n\ln \mu +(1-x_n)\ln (1-\mu \left)\right\}$
  • MLE
    • ${\mu }_{\text{ML}}=\frac{1}{N}{\sum }_{n=1}^M{x}_n$
    • log likelihood을 미분하여, extrema를 구함으로서 구할 수 있음
    • sample mean과 동일함에 유의

• binomial distribution

  • $\mathrm{Bin}(m\mid N,\mu )=\left(\frac{N}{m}\right){\mu }^m(1-\mu {)}^{N-m}$
    • N회의 Bernoulli 독십시행결과 m번의 성공을 할 확률
    • $\left(\frac{N}{m}\right)=\frac{N!}{(N-m)!m!}$
  • mean
    • $E\left[m\right]={\sum }_{m=0}^{N}m\mathrm{Bin}(m\mid N,\mu )=N\mu$
  • variance
    • $\mathrm{var}\left[m\right]={\sum }_{m=0}^N(m-E[m]{)}^2\mathrm{Bin}(m\mid N,\mu )=N\mu (1-\mu )$

• beta function / gamma function

  • Euler integral

    • Euler integral of first kind (beta function)
      • $B(x,y)={\int }_0^1{t}^{x-1}(1-t{)}^{y-1}dt=\frac{\Gamma \left(x\right)\Gamma \left(y\right)}{\Gamma (x+y)}$
    • Euler integral of second kind (gamma function)
      • $\Gamma \left(x\right)={\int }_0^{\infty }\frac{t^{x-1}}{e^t}dt$

  • gamma function

    • factorial의 실수에 대한 일반화
    • 증명
      • (L'Hospital's Rule)
      • $\Gamma (x+1)=x\Gamma \left(x\right)$
      • $\Gamma \left(1\right)=1,0!=1$
      • $\therefore \Gamma (n+1)=n!,\Gamma \left(n\right)=(n-1)!$

  • beta function

    • $B(x,y)={\int }_0^1{t}^{x-1}(1-t{)}^{y-1}dt=\frac{\Gamma \left(x\right)\Gamma \left(y\right)}{\Gamma (x+y)}$
    • $B(n,m)=\frac{(n-1)!(m-1)!}{(n+m-2)!}$

• beta distribution

  • $\mathrm{Beta}(\mu \mid a,b)=\frac{\Gamma (a+b)}{\Gamma \left(a\right)\Gamma \left(b\right)}{\mu }^{a-1}(1-\mu {)}^{b-1}$
    • $\Gamma \left(x\right)={\int }_0^{\infty }{u}^{x-1}{e}^{-u}du$
    • Binomial distribution의 conjugate prior
    • $f(x;\alpha ,\beta )=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{{\int }_0^1{u}^{\alpha -1}(1-u{)}^{\beta -1}du}=\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{B(\alpha ,\beta )}=\frac{\Gamma (\alpha +\beta )}{\Gamma \left(\alpha \right)\Gamma \left(\beta \right)}{x}^{\alpha -1}(1-x{)}^{\beta -1}$
    • 잘 보면 binomial distribution식의 실수판임, 이를 염두에 두고 보면 좀 더 연관성이 보일 것
      • 이를 고려할 때, 두 모수를 각각 시행횟수로 볼 수 있음
      • 본문에서 a와 b를 유효 관찰수로 해석할 수 있다는 소리는 바로 이런 의미
  • mean
    • $E\left[\mu \right]=\frac{a}{a+b}$
  • variance
    • $\mathrm{var}\left[\mu \right]=\frac{ab}{(a+b{)}^2(a+b+1)}$

• posterior of binomial likelihood & beta prior

  • $p(\mu \mid m,l,a,b)\propto {\mu }^{m+a-1}(1-\mu {)}^{l+b-1}$
  • $p(\mu \mid m,l,a,b)=\frac{\Gamma (m+a+l+b)}{\Gamma (m+a)\Gamma (l+b)}{\mu }^{m+a-1}(1-\mu {)}^{l+b-1}$
  • 이를 최대화하는 방식이 바로 MAP
  • posterior값을 다음 MAP에서의 prior로 이용하는 방식을 통하여 커버 샘플수를 점점 키워가며 학습하는 순차적 접근법을 쓸 수 있음 (small batch로 나누어 학습할 수 있음)

• prediction with likelihood & prior

  • $p(x=1\mid D)={\int }_0^{1}p(x=1\mid \mu )p(\mu \mid D)du={\int }_0^1\mu p(\mu \mid D)du=E[\mu \mid D]$
  • $p(x=1\mid D)=\frac{m+a}{m+a+l+b}$
  • $m,l\to \infty$일 경우, $p(x=1\mid D)=\frac{m}{m+l}$이 되어, MLE의 결과와 동일해짐
  • beta distribution의로 표현된 prior은 관측값의 수가 증가할 수록(a, b의 값이 클 수록) $\mathrm{Beta}(\mu \mid a,b)$의 그래프가 뾰족해짐
    • 데이터가 많을 수록 평균적으로 posterior의 불확실성 감소 (posterior가 나타내는 분포 자체는 stochastic하나, 분포의 모수가 deterministic해짐)
    • \mathbb{E}_\boldsymbol{\theta}[\boldsymbol{\theta}] = \mathbb{E}_\mathcal{D}[\mathbb{E}_\boldsymbol{\theta}[\boldsymbol{\theta}{\mid}\mathcal{D}]]
      • \mathbb{E}_\boldsymbol{\theta}[\boldsymbol{\theta}] = \int{p(\boldsymbol{\theta})\boldsymbol{\theta}\,d\boldsymbol{\theta}}
      • \mathbb{E}_\mathcal{D}[\mathbb{E}_\boldsymbol{\theta}[\boldsymbol{\theta}{\mid}\mathcal{D}]] = \int\left\{\int{\boldsymbol{\theta}p(\boldsymbol{\theta}{\mid}\mathcal{D})\,d\boldsymbol{\theta}}\right\}p(\mathcal{D})\,d\mathcal{D}
      • posterior평균의 데이터 분포에 대한 기대값은 prior평균과 동일
    • \operatorname{var}_\boldsymbol{\theta}[\boldsymbol{\theta}] = \mathbb{E}_\mathcal{D}[\operatorname{var}_\boldsymbol{\theta}[\boldsymbol{\theta}{\mid}\mathcal{D}]]+\operatorname{var}_\mathcal{D}[\mathbb{E}_\boldsymbol{\theta}[\boldsymbol{\theta}{\mid}\mathcal{D}]]
      • posterior분산의 데이터 분포에 대한 기대값은 prior분산보다 작음
      • 데이터 분포에 대한 기대값임에 유의, 데이터 분포 내의 subset에 대해서는 다를 수 있음