franztao

Talk is cheap, show me the code.

Bayes_Linear_Classification_01_Background

2022年10月

数据集$D={(x_i,y_i)}^{N}_{i=1}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$。 数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x_1^T \\ x_2^T \...

Posted by franztao on November 5, 2019

Linear_Classification_06

2022年10月

本节主要是介绍一下Naive Bayes Classification，也就是朴素贝叶斯分类。朴素贝叶斯分类器的核心思想也就是，条件独立性假设。这是一种最简单的概率图模型，也就是一种有向图模型。 条件独立性假设} 条件独立性假设用简单的图来进行表述，可以表示为如下图所示的形式： \[\begin{figure}[H] \centering \includegraphics...

Posted by franztao on November 4, 2019

Linear_Classification_05

2022年10月

前面讲的方法都是概率判别模型，包括，Logistic Regression和Fisher判别分析。接下来我们将要学习的是概率生成模型部分，也就是现在讲到的Gaussian Discriminate Analysis。数据集的相关定义为： \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x...

Posted by franztao on November 3, 2019

Linear_Classfication_04

2022年10月

在前面的两小节中我们，我们讨论了有关于线性分类问题中的硬分类问题，也就是感知机和Fisher线性判别分析。那么，我们接下来的部分需要讲讲软分类问题。软分类问题，可以大体上分为概率判别模型和概率生成模型，概率生成模型也就是高斯判别分析(Gaussian Discriminate Analysis)，朴素贝叶斯(Naive Bayes)。而线性判别模型也就是本章需要讲述的重点，Logistic ...

Posted by franztao on November 1, 2019

Linear_Classification_03

2022年10月

本小节为线性分类的第三小节，主要推导了线性判别分析算法，也就是Fisher算法。Fisher算法的主要思想是：{ 类内小，类间大。}这有点类似于，软件过程里的松耦合，高内聚的思想。这个思想转换成数学语言也就是，同一类数据之间的方差要小，不同类数据之间的均值的差距要大。那么，我们对数据的描述如下所示： \[\begin{equation} X=(x_1, x_2, \cdots, x...

Posted by franztao on October 31, 2019

Linear_Classification_02

2022年10月

本节的主要内容是描述两类硬分类模型，也就是感知机模型和线性判别模型(Fisher判别模型)的算法原理和推导过程。 感知机模型} 感知机模型是一类错误驱动的模型，它的中心思想也就是”错误驱动”。什么意思呢？也就是哪些数据点分类错误了，那么我们就进行调整权值系数$w$，直到分类正确为止。 \[\begin{figure}[H] \centering \includegraph...

Posted by franztao on October 30, 2019

Linear_Classification_01

2022年10月

本节的主要目的是，有关于机器学习的导图。对频率派的有关统计学习方法做一个大致的梳理。而在贝叶斯派的学习中，是使用有关于概率图的模型。在频率派的有关统计学习方法中，我们可以大致的分为，线性回归和线性分类。 线性回归} 在前文中已经提到了，我们的线性回归模型可以写为$f(w,b)=w^Tx+b$。线性回归主要有三条性质：线性，全局性和数据未加工。而我们从每一条入手，打破其中的一条规则就是一个新...

Posted by franztao on October 29, 2019

Exponential_Family_Distribution_04

2022年10月

从这节开始，我们将从最大熵的角度来解析指数族分布。首先，我们需要定义一下什么是熵？所谓熵，就是用来衡量信息反映的信息量的多少的单位。这里我们首先介绍一下，什么是熵？ 最大熵原理} 假设$p$是一个分布，所谓信息量就是分布的对数的相反数(p是小于1的，为了使信息量的值大于0)，即为$-\log p$。而熵则被我们定义为: \[\begin{equation} \begin{spli...

Posted by franztao on October 26, 2019

Exponential_Family_Distribution_03

2022年10月

本小节主要介绍Exponential Distribution中对数配分函数和充分统计量，还有极大似然估计和充分统计量的关系。 指数族分布的基本形式可以表示为： \[\begin{gather} p(x|\eta) = h(x)exp\left\{ \eta^T\varphi(x)-A(\eta) \right\} \\ p(x|\eta) = \frac{1}{exp ...

Posted by franztao on October 24, 2019

Exponential_Family_Distribution_02

2022年10月

本节的主要内容是演示Guassian Distribution的指数族表达形式，将高斯函数的形式转换为指数族分布的通用表达形式。 指数族分布的基本形式可以表示为： \[\begin{equation} p(x|y)=h(x)exp\left\{ \eta^T\varphi(x)-A(\eta) \right\} \end{equation}\] $\eta$：参数向量param...

Posted by franztao on October 23, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS