franztao

Talk is cheap, show me the code.

Markov_Chain_Monte_Carlo_04_Gibbs_Sampling

2022年10月

如果我们要向一个高维的分布$P(Z) = P(Z_1,Z_2,\cdots,Z_N)$中进行采样。那么我们怎么来进行采样呢？我们的思想就是一维一维的来，在对每一维进行采样的时候固定住其他的维度，这就是Gibbs Sampling。 我们首先规定一个$z_{-i}$是去除$z_i$后的序列，${ z_1,z_2,\cdots,z_{i-1},z_{i+1},\cdots,z_N }$。 A ...

Posted by franztao on January 2, 2020

Markov_Chain_Monte_Carlo_03_Metropolis_Hastings_Sampling

2022年10月

上一节中我们讲解了Detailed Balance，这是平稳分布的充分必要条件。Detailed Balance为： \[\begin{equation} \pi(x)P(x\mapsto x^\ast) = \pi(x^\ast)P(x^\ast \mapsto x) \end{equation}\] 这里的$P(x\mapsto x^\ast)$...

Posted by franztao on January 1, 2020

Markov_Chain_Monte_Carlo_02_Markov_Chain

2022年10月

在上一小节中，我们描述了三种采样方法，也就是概率分布采样法，拒绝采样法和重要性采样法。这三种采样方法在高维情况下的采样效率很低，所以我们需要另找方法。 基础概念介绍} 首先我们要明确什么是Random Process，也就是它研究的变量是一个随机变量的序列${x_t}$。通俗的说就是，随机过程就是一个序列，而这个序列中的每一个元素都是一个随机变量。 而Markov Chain就是一个特殊的...

Posted by franztao on December 31, 2019

Markov_Chain_Monte_Carlo_01_Sampling_Method

2022年10月

其实在之前的Inference Variational那一节中，我们讲到过一些有关于Markov Chain Monte Carlo (MCMC)的知识。也就是我们有一些数据$X$，看到这些数据$X$，并且有一些隐变量$Z$，我们给隐变量一些先验，根据观测数据来推后验知识，也就是$P(Z X)$。 但...

Posted by franztao on December 30, 2019

Gaussian_Mixture_Model_03_Expectation_Maximization

2022年10月

上一小节中，我们看到了使用极大似然估计的方法，我们根本就求不出最优参数$\theta$的解析解。所以，我们使用迭代的方法来求近似解。 EM算法的表达式，可以被我们写为： \[\begin{equation} \theta^{(t+1)} = \arg\max_\theta \underbrace{\mathbb{E}_{P(Z|X,\theta^{(t)})} \left[ \l...

Posted by franztao on December 25, 2019

Gaussian_Mixture_Model_02_Maximum_Likelihood_Estimation

2022年10月

本节我们想使用极大似然估计来求解Gaussian Mixture Model (GMM)的最优参数结果。首先，我们明确一下参数的意义： $X$：Observed data，$X = (x_1, x_2, \cdots, x_N)$。 $(X,Z)$：Complete data，$(X,Z) = { (x_1,z_1),(x_2,z_2),\cdots,(x_N,z_N) }$。 $\t...

Posted by franztao on December 24, 2019

Gaussian_Mixture_Model_01_Model_Introduction

2022年10月

这一章开始，我们将进入到Guassian Mixture Model (GMM)的学习。而为什么要学习GMM呢？这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布： \[\begin{figure}[H] \centering \includegraphics[width=.55\textwidth]{微信图片_20191223221952.png} ...

Posted by franztao on December 23, 2019

Expectation_Maximization_03__Generalized_Expectation_Maximization

2022年10月

本小节中，我们想要介绍三个方便的知识点。1. 从狭义的EM算法推广到广义的EM算法；2. 狭义的EM实际上只是广义的EM的一个特例；3. 真正的开始介绍EM算法。 $X$：Observed Variable $\longrightarrow$ $X={ x_i }_{i=1}^N$； $Z$：Latent Variable $\longrightarrow$ $Z={ Z_i }_{i=...

Posted by franztao on December 19, 2019

Expectation_Maximization_02_Derived_Formula

2022年10月

机器学习中，所谓的模型实际上就可以看成是一堆的参数。根据极大似然估计的思想，我们要求解的对象的是： \[\begin{equation} \theta_{MLE} = \log P(X|\theta) \end{equation}\] 其中，$X$为observed data；$Z$为latent data；$(X,Z)$为complete data；$\theta$为param...

Posted by franztao on December 18, 2019

Expectation_Maximization_01_Algorithm_Convergence

2022年10月

Expectation Maximization (EM)算法，中文名字叫做“期望最大”算法。是用来解决具有隐变量的混合模型的高斯分布。在比较简单的情况中，我们可以直接得出我们想要求得的参数的解析解，比如：MLE: $p(X \theta)$。我们想要求解的结果就是： \[\begin{equation} \theta_{...

Posted by franztao on December 17, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS