franztao

Talk is cheap, show me the code.

Linear_Classification_02

2022年10月

本节的主要内容是描述两类硬分类模型，也就是感知机模型和线性判别模型(Fisher判别模型)的算法原理和推导过程。 感知机模型} 感知机模型是一类错误驱动的模型，它的中心思想也就是”错误驱动”。什么意思呢？也就是哪些数据点分类错误了，那么我们就进行调整权值系数$w$，直到分类正确为止。 \[\begin{figure}[H] \centering \includegraph...

Posted by franztao on October 30, 2019

Linear_Classification_01

2022年10月

本节的主要目的是，有关于机器学习的导图。对频率派的有关统计学习方法做一个大致的梳理。而在贝叶斯派的学习中，是使用有关于概率图的模型。在频率派的有关统计学习方法中，我们可以大致的分为，线性回归和线性分类。 线性回归} 在前文中已经提到了，我们的线性回归模型可以写为$f(w,b)=w^Tx+b$。线性回归主要有三条性质：线性，全局性和数据未加工。而我们从每一条入手，打破其中的一条规则就是一个新...

Posted by franztao on October 29, 2019

Exponential_Family_Distribution_04

2022年10月

从这节开始，我们将从最大熵的角度来解析指数族分布。首先，我们需要定义一下什么是熵？所谓熵，就是用来衡量信息反映的信息量的多少的单位。这里我们首先介绍一下，什么是熵？ 最大熵原理} 假设$p$是一个分布，所谓信息量就是分布的对数的相反数(p是小于1的，为了使信息量的值大于0)，即为$-\log p$。而熵则被我们定义为: \[\begin{equation} \begin{spli...

Posted by franztao on October 26, 2019

Exponential_Family_Distribution_03

2022年10月

本小节主要介绍Exponential Distribution中对数配分函数和充分统计量，还有极大似然估计和充分统计量的关系。 指数族分布的基本形式可以表示为： \[\begin{gather} p(x|\eta) = h(x)exp\left\{ \eta^T\varphi(x)-A(\eta) \right\} \\ p(x|\eta) = \frac{1}{exp ...

Posted by franztao on October 24, 2019

Exponential_Family_Distribution_02

2022年10月

本节的主要内容是演示Guassian Distribution的指数族表达形式，将高斯函数的形式转换为指数族分布的通用表达形式。 指数族分布的基本形式可以表示为： \[\begin{equation} p(x|y)=h(x)exp\left\{ \eta^T\varphi(x)-A(\eta) \right\} \end{equation}\] $\eta$：参数向量param...

Posted by franztao on October 23, 2019

Exponential_Family_Distribution_01

2022年10月

本节主要对指数族分布的概念和性质的一个小小的总结。指数族分布是一个广泛存在于机器学习研究中的分布。包括，Guassian分布，Bernoulli分布(类别分布)，二项分布(多项式分布)，泊松分布，Beta分布，Dirichlet分布，Gamma分布和Gibbs分布等。 指数族分布的基本形式} 指数族分布的基本形式可以表示为： \[\begin{equation} p(x|y)=h...

Posted by franztao on October 22, 2019

Math_Basis_04

2022年10月

本节主要的内容是描述琴生不等式(Jensen’s Inequality)。有关琴生不等式的描述为，如果函数$f(x)$为凸函数(convex function)，那么有$\mathbb{E}[f(x)]\geq f(\mathbb{E}[x])$。 Jensen’s Inequality中的证明} \[\begin{figure}[H] \centering \inclu...

Posted by franztao on October 21, 2019

Math_Basis_03

2022年10月

本节的主要内容是在高斯分布中，已知联合概率密度求条件概率密度和边缘概率密度。还有已知$x$的边缘概率和在条件为$x$下$y$的条件概率下，求$y$的边缘概率和在条件为$y$下$x$的条件概率。用数学的语言描述即为，如下所示。 对于多变量的高斯分布$X\sim \mathcal{N}(\mu,\Sigma)$，概率密度函数为： \(\begin{equation} p(X)=\fr...

Posted by franztao on October 20, 2019

Math_Basis_02

2022年10月

本节的主要目的是从概率的角度来分析高斯分布，包括马氏距离和高斯分布的几何表示，以及高斯分布的局限性和解决的方法等等。对于多变量的高斯分布$X\sim \mathcal{N}(\mu,\Sigma)$，概率密度函数为： \(\begin{equation} p(X)=\frac{1}{\sqrt{2\pi}^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}ex...

Posted by franztao on October 19, 2019

Math_Basis_01

2022年10月

本节的主要目的是从频率派的角度使用极大似然估计，通过观察到数据，是观察到的数据出现的概率最大化，来对高斯分布的参数进行估计。并且分析了高斯分布的参数，$\mu$，$\sigma^2$的无偏性和有偏性。其中，$\mu$是关于参数的无偏估计，而$\sigma$是有偏估计。 数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, ...

Posted by franztao on October 18, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS