franztao

Talk is cheap, show me the code.

Pacticle_Filter

2022年10月

%\pagestyle{empty} \tableofcontents \newpage %\pagestyle{fancy} \setcounter{page}{1} %new page \clearpage 背景介绍} Dynamic Model是在概率图模型中加入了时序的因素，所以样本之间不再是独立同分布(i.i.d)的，而是有依赖关系的。而Dynamic Model的一个主要特点是...

Posted by franztao on February 9, 2020

Kalman_Filter_02_Model_Construction_and_Solution

2022年10月

Filtering问题公式话的表达即为P(ztx1,x2,⋯,xt)，是一种On-Line Learning的思路，随着越来越多的数据不断的被观测到，隐藏状态得到不断的更新。也就是在观察变量序列x1,x2,⋯,xt下，求得隐变量状态zt的分布。模型表达为如下所示： \[\beg...

Posted by franztao on January 17, 2020

Kalman_Filter_01_Introduction

2022年10月

我们知道在概率图模型中，加入了time的因素，就得到了Dynamic Model，实际上也就说我们通常所说的State Space Model。 \textbf{如果状态是离散的}，就是我们上一节提到了Hidden Markov Model (HMM)；\textbf{如果状态是连续的}，如果状态之间的关系是线性的，就是Linear Dynamic System (Kalman Filte...

Posted by franztao on January 16, 2020

Hidden_Markov_Model_05_Conclusion

2022年10月

Hidden Markov Model实际上是一个Dynamic Model。我们以Guassian Mixture Model (GMM)为例。对于一个观测状态，在隐变量状态给定的情况下，是符合一个Gaussian Distribution，也就是D(Oi1)∼N(μ,Σ)。如果，加入了time的因...

Posted by franztao on January 11, 2020

Hidden_Markov_Model_04_Decoding

2022年10月

Decoding问题可被我们描述为： ˆI=argmaxIP(I|O,λ)
也就是在给定观察序列的情况下，寻找最大概率可能出现的隐概率状态序列。也有人说Decoding问题是预测问题，但是实际上这样说是并不合适的。预测问题应该是，$P(o_{...

Posted by franztao on January 10, 2020

Hidden_Markov_Model_03_Learning

2022年10月

首先我们回顾一下，上一节讲的有关Evaluation的问题。Evaluation可以被我们描述为在已知模型λ的情况下，求观察序列的概率。也就是： \[\begin{equation} P(O|\lambda) = \sum_I P(O,I|\lambda) = \sum_{i_1}\cdots\sum_{i_T} \pi_{i_1} \prod_{t=2}^T a_...

Posted by franztao on January 9, 2020

Hidden_Markov_Model_02_Evaluation

2022年10月

Evaluation的问题可以被我们描述为：给定一个λ，如何求得P(Oλ)。也就是在给定模型λ的情况下，求某个观测序列出现的概率。 模型求解} 对于P(O|λ)我们利用概率的基础知识进行化简可以得到： \[\begin{equation} P(O|\lam...

Posted by franztao on January 8, 2020

Hidden_Markov_Model_01_Background

2022年10月

机器学习大致可以分为两个派别，也就是频率派和贝叶斯派的方法，这个之前，我们都有过详细的说明。这里再大致的回顾一下。 频率派的思想就衍生出了统计学习方法，说白了统计学习方法的重点在于优化，找loss function。频率派的方法可以分成三步，1. 定义Model，比如f(w)=wTx+b；2. 寻找策略strategy，也就是定义Loss function；3. 求解，也就是优化...

Posted by franztao on January 7, 2020

Markov_Chain_Monte_Carlo_06_Method_of_MCMC

2022年10月

这一小节主要是对前面的补充，希望可以详细的介绍一下MCMC原理，将前面的知识点可以顺利的串起来。MCMC采样中，我们借助了一条马氏链，马氏链的性质，经过若干步以后会收敛到一个平稳分布。马尔可夫链的组成可以大致分成两个部分： 状态空间：1,2,3,⋯,k； 状态转移空间Q=[Qij]k×k。 马尔...

Posted by franztao on January 4, 2020

Markov_Chain_Monte_Carlo_05_Sampling

2022年10月

在前面的章节中，我们已经基本介绍了Markov Chain Monte Carlo Sampling的基本概念，基本思路和主要方法。那么这一小节中，我们将主要来介绍一下，什么是采样？我们为什么而采样？什么样的样本是好的样本？以及我们采样中主要会遇到哪些困难？ 采样的动机} 这一小节的目的就是我们要知道什么是采样的动机，我们为什么而采样？ 首先第一点很简单，采样本身就是发出常...

Posted by franztao on January 3, 2020

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS