franztao

Talk is cheap, show me the code.

系列31 GAN 3-Generative Adversarial Network 全局最优解

2022年10月

全局最优解 GAN模型表示汇总如下所示： $P_{data}$：${x_i}_{i=1}^N$ $P_g(x;\theta_g)$：generator，$G(z;\theta_g)$ $y x$：discriminater，$P(y=1 x)=D(x)$，$P(y=0 x)=1-D(x)$ $G...

Posted by franztao on June 6, 2020

系列31 GAN 2-Generative Adversarial Network 数学描述

2022年10月

数学语言描述 模型表示 工艺大师和鉴赏专家的水平会不断的提高，最终我们会培养一个高水平的工艺大师和一个高水平的鉴赏家。而最终的目的是培养一个高水平的工艺大师，而不是一个高水平的鉴赏家。鉴赏家只是衍生品，最终将达到两个目的，1. 足够的以假乱真；2. 真正的专家看不出来。 所以，我们需要加一些feedback，令工艺大师收到专家给出的反馈。并且鉴赏大师也要从工艺大师那里知道真实的情况来提...

Posted by franztao on June 6, 2020

系列31 GAN 1-什么是 Generative Adversarial Network

2022年10月

什么是Generative Adversarial Network？ 首先，我们需要充分的了解什么是生成对抗网络（Generative Adversarial Network，GAN）？顾名思义，首先它是一种生成模型，它的核心是对样本数据建模。下面我们将举个例子来详细的说明一下什么是GAN。 首先，我是一个收藏家，我有很多的宝贝，但是，我最终的目标不仅仅是一个收藏家。我想高仿东西，成为工...

Posted by franztao on June 6, 2020

系列30 生成模型6-重参数技巧

2022年10月

Stochastic Back Propagation （Reparametrization Trick） 本章主要介绍的是，神经网络用$Y=f(X;\theta)$函数逼近器，那么我们将想想神经网络和概率图模型之间有什么关系呢？能不能用NN去逼近一个概率分布$P(X)$呢？把他们两结合到一起就是随机后向传播，或者称之为重参数技巧。 正常情况下简单举例 假设$P(Y)$是目标分布，其中...

Posted by franztao on May 25, 2020

系列30 生成模型5-概率图vs神经网络

2022年10月

概率图 vs 神经网络 概率图模型和神经网络之间并不是一个非黑即白的区别，它们之间有区别也有联系，但是很多部分同学都搞不清他们之间的区别。 首先我认为他们的核心区别在于，- 概率图模型是$P(X)$的表示，神经网络即时一个函数逼近器，对于一个输入的$X$，得到输出的$Y$，中间的部分都是权重。所以，他们两压根不是一个东西，概率图模式是对$P(X)$来建模，典型的概率生成模型。 概率图模...

Posted by franztao on May 25, 2020

系列30 生成模型4-分类

2022年10月

Maximum Likelihood 从Likelihood-based Model和Likelihood-free Model两个方面分，是目前比较流行的一种分法。 Likelihood-based Model 这是显式的估计概率密度函数，也就是Explicit Model。根据其是否可计算大致可以分成两类，tractable和intractable。 其中，Fully obser...

Posted by franztao on May 25, 2020

系列30 生成模型3-模型表示，推断和学习

2022年10月

模型表示，推断和学习 上一小节从监督学习或者非监督学习的角度介绍了生成模型，这小节将从模型，推断和学习表示的角度分别介绍生成模型。 模型表示 首先从模型表示角度介绍，我们可以用“形神兼备”四个字来描述。 “形” “形”包括以下几个方面，可以理解为生成模型的概率图表示形式： Discrete vs Continuous，从点的角度出发，也就是说节点的变...

Posted by franztao on May 25, 2020

系列30 生成模型2-监督vs非监督

2022年10月

监督 vs 非监督 监督或非监督学习，按照任务分可以将生成模型实现的功能分成以下几种，包括：{分类，回归，标记，降维，聚类，特征学习，密度估计，生产数据。 监督任务 监督任务中可以大致分为概率模型和非概率模型两类。实际上这两个模型之间并不是非黑即白的，两者之间的界限是模糊的，本节中做一个简单的介绍。 判别模型 判别模型是对条件概率分布建模$P(Y ...

Posted by franztao on May 25, 2020

系列30 生成模型1-定义

2022年10月

[TOC] 生成模型的定义 前面所详细描述的模型以浅层的机器学习为主。本章将承上启下引出后面深度机器学习的部分。本小节，主要讲述的是什么是生成模型，它是不是只是生成样本，生成数据？它的任务是什么？精准的定义是什么？ 这个问题实际上在之前的章节中有过详细的介绍。这里更进一步总结。回忆一下，之前讲过的简单的生成模型，包括高斯混合分布（GMM），GMM的主要任务...

Posted by franztao on May 25, 2020

系列29 Deep Boltzmann Machine 预训练

2022年10月

预训练 DBN中RBM结合方法的缺陷 预训练这一章介绍的是，如何叠加两个RBM，DBN和DBM的不同之处在于如何融合不同的RBM。实际上DBN和DBM的每一层的训练都是一样的，唯一的不同就在于各层训练好之后，如何combine。首先回顾一下RBM，假如现在只有一层，其他层我们都不考虑： 首先，哪些是已知的呢？数据的分布$P_{\text{data}(v)}$是知道的。那么在每一步迭...

Posted by franztao on May 21, 2020

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS