franztao

Talk is cheap, show me the code.

系列30 生成模型4-分类

2022年10月

Maximum Likelihood 从Likelihood-based Model和Likelihood-free Model两个方面分，是目前比较流行的一种分法。 Likelihood-based Model 这是显式的估计概率密度函数，也就是Explicit Model。根据其是否可计算大致可以分成两类，tractable和intractable。 其中，Fully obser...

Posted by franztao on May 25, 2020

系列30 生成模型3-模型表示，推断和学习

2022年10月

模型表示，推断和学习 上一小节从监督学习或者非监督学习的角度介绍了生成模型，这小节将从模型，推断和学习表示的角度分别介绍生成模型。 模型表示 首先从模型表示角度介绍，我们可以用“形神兼备”四个字来描述。 “形” “形”包括以下几个方面，可以理解为生成模型的概率图表示形式： Discrete vs Continuous，从点的角度出发，也就是说节点的变...

Posted by franztao on May 25, 2020

系列30 生成模型2-监督vs非监督

2022年10月

监督 vs 非监督 监督或非监督学习，按照任务分可以将生成模型实现的功能分成以下几种，包括：{分类，回归，标记，降维，聚类，特征学习，密度估计，生产数据。 监督任务 监督任务中可以大致分为概率模型和非概率模型两类。实际上这两个模型之间并不是非黑即白的，两者之间的界限是模糊的，本节中做一个简单的介绍。 判别模型 判别模型是对条件概率分布建模$P(Y ...

Posted by franztao on May 25, 2020

系列30 生成模型1-定义

2022年10月

[TOC] 生成模型的定义 前面所详细描述的模型以浅层的机器学习为主。本章将承上启下引出后面深度机器学习的部分。本小节，主要讲述的是什么是生成模型，它是不是只是生成样本，生成数据？它的任务是什么？精准的定义是什么？ 这个问题实际上在之前的章节中有过详细的介绍。这里更进一步总结。回忆一下，之前讲过的简单的生成模型，包括高斯混合分布（GMM），GMM的主要任务...

Posted by franztao on May 25, 2020

系列29 Deep Boltzmann Machine 预训练

2022年10月

预训练 DBN中RBM结合方法的缺陷 预训练这一章介绍的是，如何叠加两个RBM，DBN和DBM的不同之处在于如何融合不同的RBM。实际上DBN和DBM的每一层的训练都是一样的，唯一的不同就在于各层训练好之后，如何combine。首先回顾一下RBM，假如现在只有一层，其他层我们都不考虑： 首先，哪些是已知的呢？数据的分布$P_{\text{data}(v)}$是知道的。那么在每一步迭...

Posted by franztao on May 21, 2020

系列29 Deep Boltzmann Machine 背景介绍

2022年10月

Introduction 本章介绍的是深度玻尔兹曼机(Deep Boltzmann Machines，DBM)，应该算是玻尔兹曼机系列的最后一个模型了。我们前面介绍的三种玻尔兹曼机和今天将要介绍的深度玻尔兹曼机的概率图模型如下图所示，从左往右分别是深度信念网络(Deep Belief Network)，限制玻尔兹曼机(Restricted Boltzmann Machine，RBM)，和D...

Posted by franztao on May 21, 2020

Deep_Belief_Network

2022年10月

%\pagestyle{empty} \tableofcontents \newpage %\pagestyle{fancy} \setcounter{page}{1} %new page \clearpage Deep Belief Network是Hinton在2006年提出的方法，应用在分类问题上的效果明显好过SVM。它的诞生有着重要的意义，这意味着打开了Deep Learning的...

Posted by franztao on April 1, 2020

Sigmoid_Belief_Network

2022年10月

%\pagestyle{empty} \tableofcontents \newpage %\pagestyle{fancy} \setcounter{page}{1} %new page \clearpage Background} 什么是Sigmoid Belief Network} 这一节将要学习的是Sigmoid Belief Network。首先来想一想这个名字是怎么来的，其中B...

Posted by franztao on March 17, 2020

Approximate_Inference

2022年10月

%\pagestyle{empty} \tableofcontents \newpage %\pagestyle{fancy} \setcounter{page}{1} %new page \clearpage 这一讲，主要是从一些宏观的角度来描述了一下近似推断的方法和思想。几乎所有的无向图都会涉及到推断(Inference)的问题。概率图模型的三大问题分别是，表示(Representat...

Posted by franztao on March 14, 2020

Confronting_Partition_Function

2022年10月

%\pagestyle{empty} \tableofcontents \newpage %\pagestyle{fancy} \setcounter{page}{1} %new page \clearpage Background} 直面配分函数的来源} 在概率图模型中，所有的问题基本上都是这三个问题组成的：模型表示(Representation)；学习(Learning)；推断(Inf...

Posted by franztao on March 6, 2020

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS