franztao

Talk is cheap, show me the code.

Gaussian_Process_03_Function_View

2022年10月

在上一小节中，我们从Weight-Space View来看Gaussian Process Regression，好像和Gaussian Process并没有什么关系。但是这一小节，我们从函数的角度来看就可以看到了。 Recall Gaussian Process} 对于一组随机变量${ \xi_t }_{t\in T}$，$T:$ continuous space or time。If：$...

Posted by franztao on December 15, 2019

Gaussian_Process_02_Weight_Space

2022年10月

Gaussian Process在这里我们主要讲解的是Gaussian Process Regression。我们从Bayesian Linear Regression的角度来引出的Gaussian Progress Regression。 Recall Bayesian Linear Regression} 首先，我们需要回顾一下Bayesian Linear Regression。 ...

Posted by franztao on December 14, 2019

Guassian_Process_01_Introduction

2022年10月

本小节我们将进入Gaussian Process的学习。Gaussian自然指的就是Gaussian Distribution，而Process指的就是随机过程。在一维的Gaussian Distribution中我们可以令$p(x) = \mathcal{N}(\mu,\sigma^2)$。如果对应到高维高斯分布的话，也就是(Multivariate Gaussian Distributi...

Posted by franztao on December 13, 2019

Probability_Graph_10_Moral_and_Factor_Graph

2022年10月

在这一小节中，我们将要介绍两种特殊的概率结构，也就是Moral Graph和Factor Graph。 Moral Graph} 首先我们需要知道，为什么要有Moral Graph的存在？Moral Graph存在的意义就是将有向图转化为无向图来研究。因为无向图比有向图更加的Generalize一些。在概率图中，我们可以分为贝叶斯网络(有向图)和马尔可夫网络(无向图)。 无向图可以表示为...

Posted by franztao on December 11, 2019

Probability_Graph_09_Max_Product_Algorithm

2022年10月

我们在这里再总结一下概率图模型有什么用。对于一个图，Graph = ${ X,E }$，其中$X$代表的是普通变量，$E$代表的是Evidence，也就是观测变量。 首先要解决的是边缘变量的问题，也就是已知：$E={ e_1,e_2,\cdots,e_k }$，如何求$p(E)$的问题，其中$E$为一个变量或者为一个子集。实际上就是一个likelihood的问题。 ...

Posted by franztao on December 10, 2019

Probability_Graph_08_Belief_Propagation

2022年10月

在上一小节中，我们已经介绍了变量消除(Variable Elimination)，Variable Elimination的思想是Probability Graph中的核心思想之一。上一节中我们就已经介绍了，这实际上就是乘法对加法的分配律。但是，Variable Elimination中有很多的问题，比如重复计算和最优计算次序不好确定的问题。所以，我们这一节来介绍Belief Propaga...

Posted by franztao on December 8, 2019

Probability_Graph_07_Variable_Elimination

2022年10月

在上一小节中，我们简单的介绍了推断的背景和分类，我们知道了大致有哪些推断的方法。推断的任务可以被我们介绍为：给定已知的$p(x) = (x_1,x_2,\cdots,x_p)$，我们需要求的有三个： 边缘概率：$p(x_i) = \sum_{x_1,\cdots,x_{i-1},x_{i+1},\cdots,x_p}p(x_1,x_2,\cdots,x_p)$。 ...

Posted by franztao on December 7, 2019

系列12 变分推断4-Stochastic Gradient Variational Inference

2022年10月

在上一小节中，我们分析了Mean Field Theory Variational Inference，通过平均假设来得到变分推断的理论，是一种classical VI，我们可以将其看成Coordinate Ascend。而另一种方法是Stochastic Gradient Variational Inference (SGVI)。 对于隐变量参数$z$和数据...

Posted by franztao on December 1, 2019

系列12 变分推断3-Algorithm Solution

2022年10月

在上一小节中，我们介绍了Mean Field Theory Variational Inference的方法。在这里我需要进一步做一些说明， $z_i$表示的不是一个数，而是一个数据维度的集合，它表示的不是一个维度，而是一个类似的最大团，也就是多个维度凑在一起。在上一节中，我们得出： \[\begin{equation} \log q_j(z_j) = \mathbf{E}_{\p...

Posted by franztao on December 1, 2019

系列12 变分推断2-Algorithm

2022年10月

我们将$X$：Observed data；$Z$：Latent Variable + Parameters。那么$(X,Z)$为complete data。根据我们的贝叶斯分布公式，我们所要求的后验分布为： \[\begin{equation} p(Z|X) = \frac{p(X,Z)}{p(X|Z)} \end{equation}\] 进行一些简单变换，我们可以得到： \[...

Posted by franztao on November 30, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS