franztao

Talk is cheap, show me the code.

Gaussian_Mixture_Model_02_Maximum_Likelihood_Estimation

2022年10月

本节我们想使用极大似然估计来求解Gaussian Mixture Model (GMM)的最优参数结果。首先，我们明确一下参数的意义： $X$：Observed data，$X = (x_1, x_2, \cdots, x_N)$。 $(X,Z)$：Complete data，$(X,Z) = { (x_1,z_1),(x_2,z_2),\cdots,(x_N,z_N) }$。 $\t...

Posted by franztao on December 24, 2019

Gaussian_Mixture_Model_01_Model_Introduction

2022年10月

这一章开始，我们将进入到Guassian Mixture Model (GMM)的学习。而为什么要学习GMM呢？这是因为单峰分布已经不能准备的反映数据的分布了。正如下面的一个分布： \[\begin{figure}[H] \centering \includegraphics[width=.55\textwidth]{微信图片_20191223221952.png} ...

Posted by franztao on December 23, 2019

Expectation_Maximization_03__Generalized_Expectation_Maximization

2022年10月

本小节中，我们想要介绍三个方便的知识点。1. 从狭义的EM算法推广到广义的EM算法；2. 狭义的EM实际上只是广义的EM的一个特例；3. 真正的开始介绍EM算法。 $X$：Observed Variable $\longrightarrow$ $X={ x_i }_{i=1}^N$； $Z$：Latent Variable $\longrightarrow$ $Z={ Z_i }_{i=...

Posted by franztao on December 19, 2019

Expectation_Maximization_02_Derived_Formula

2022年10月

机器学习中，所谓的模型实际上就可以看成是一堆的参数。根据极大似然估计的思想，我们要求解的对象的是： \[\begin{equation} \theta_{MLE} = \log P(X|\theta) \end{equation}\] 其中，$X$为observed data；$Z$为latent data；$(X,Z)$为complete data；$\theta$为param...

Posted by franztao on December 18, 2019

Expectation_Maximization_01_Algorithm_Convergence

2022年10月

Expectation Maximization (EM)算法，中文名字叫做“期望最大”算法。是用来解决具有隐变量的混合模型的高斯分布。在比较简单的情况中，我们可以直接得出我们想要求得的参数的解析解，比如：MLE: $p(X \theta)$。我们想要求解的结果就是： \[\begin{equation} \theta_{...

Posted by franztao on December 17, 2019

Gaussian_Process_03_Function_View

2022年10月

在上一小节中，我们从Weight-Space View来看Gaussian Process Regression，好像和Gaussian Process并没有什么关系。但是这一小节，我们从函数的角度来看就可以看到了。 Recall Gaussian Process} 对于一组随机变量${ \xi_t }_{t\in T}$，$T:$ continuous space or time。If：$...

Posted by franztao on December 15, 2019

Gaussian_Process_02_Weight_Space

2022年10月

Gaussian Process在这里我们主要讲解的是Gaussian Process Regression。我们从Bayesian Linear Regression的角度来引出的Gaussian Progress Regression。 Recall Bayesian Linear Regression} 首先，我们需要回顾一下Bayesian Linear Regression。 ...

Posted by franztao on December 14, 2019

Guassian_Process_01_Introduction

2022年10月

本小节我们将进入Gaussian Process的学习。Gaussian自然指的就是Gaussian Distribution，而Process指的就是随机过程。在一维的Gaussian Distribution中我们可以令$p(x) = \mathcal{N}(\mu,\sigma^2)$。如果对应到高维高斯分布的话，也就是(Multivariate Gaussian Distributi...

Posted by franztao on December 13, 2019

Probability_Graph_10_Moral_and_Factor_Graph

2022年10月

在这一小节中，我们将要介绍两种特殊的概率结构，也就是Moral Graph和Factor Graph。 Moral Graph} 首先我们需要知道，为什么要有Moral Graph的存在？Moral Graph存在的意义就是将有向图转化为无向图来研究。因为无向图比有向图更加的Generalize一些。在概率图中，我们可以分为贝叶斯网络(有向图)和马尔可夫网络(无向图)。 无向图可以表示为...

Posted by franztao on December 11, 2019

Probability_Graph_09_Max_Product_Algorithm

2022年10月

我们在这里再总结一下概率图模型有什么用。对于一个图，Graph = ${ X,E }$，其中$X$代表的是普通变量，$E$代表的是Evidence，也就是观测变量。 首先要解决的是边缘变量的问题，也就是已知：$E={ e_1,e_2,\cdots,e_k }$，如何求$p(E)$的问题，其中$E$为一个变量或者为一个子集。实际上就是一个likelihood的问题。 ...

Posted by franztao on December 10, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS