Thu 30 August 2018

Gumbel Distribution

cdf:

pdf:

mean:

where \(\gamma\approx0.5772\) is the Euler-Mascheroni constant.

Sanity Check

• Check that \(\lim_{x\to-\infty}F(x;\mu)=0 …

Category: Bayesian Machine Learning Tagged: Reparametrization Trick Gumbel

comments

Tue 06 February 2018

Gaussian Process (GP)의 정의를 놓고 보면 누가 봐도 Stochastic Process 형태를 띄고 있지만, 사실 GP는 Linear Regression로 부터 유도될 수도 있다. 먼저 Linear Regression을 Bayesian 모델로 확장하여 Bayesian Linear Regression 모델을 만들 수 있는데, 여기서 등장하는 Inner Product들을 Kernel Trick을 이용해 Kernelize하면 Bayesian Kernel Linear Regression (?) 모델을 만들 수 …

Category: Bayesian Machine Learning Tagged: Gaussian Process Kernel Method

comments

Sat 03 February 2018

Markov Chain Monte Carlo (MCMC)방법에서는 Sampling 하고자 하는 분포가 있을 때, 임의의 분포의 Sample들로 부터 출발해서 Markov Transition을 반복한다. 그리고 충분한 반복 후에 Sample들이 원하는 분포로 수렴하도록 Markov Chain을 디자인한다. 그런데 이러한 번거로운 방법이 분포를 직접 근사하는 Rejection Sampling에 비해서 과연 어떤 점이 좋은 것일까?

Monte Carlo Sampling에 있어서 …

Category: Bayesian Machine Learning Tagged: MCMC Personal Thoughts

comments

Thu 28 September 2017

Overcoming catastrophic forgetting in neural networks 논문의 Elastic Weight Consolidation 방법을 보면 Neural Network 모델의 Negative Log-Likelihood의 Hessian Matrix를 Fisher Information Matrix를 이용해서 근사하는 부분이 있다. Hessian Matrix를 계산하기 위해서는 아주 큰 Parameter Vector \(\theta\)에 대한 두 번 미분을 해야 하므로 계산이 어렵지만, Fisher Information은 \(\theta\)에 대해 한 …

Category: Bayesian Machine Learning

comments