Bishop PRML - Ch2. Probability Distributions (0)

density estimiation

• frequentist
  • MLE (maximum likelihood estimation)
    • likelihood $p(D\mid \theta )$ 가 최대값이 되는 모수를 구함
• Bayesian
  • MAP (maximum a posterior)
    • likelihood * prior $p(D\mid \theta )p\left(\theta \right)$ 가 최대값이 되는 모수를 구함

conjugate priors

• posterior 분포가 prior와 동일한 함수 형태가 될 수 있도록 만들어줌
• multinoial - Dirichlet
• Gaussian - Gaussian

nonparametric density estimation

• histograms
• nearest-neighbours
• kernels