franztao

Talk is cheap, show me the code.

Feedforward_Neural_Network_03_Non-Linear_Problem

2022年10月

实际上在1958年就已经成功的提出了Perceptron Linear Analysis (PLA)，标志着人工智能的正式诞生。但是，Minsky在1969年提出PLA无法解决非线性分类问题，让人工智能陷入了10年的低谷。后来的发展，人们开始寻找到越来越多的，解决非线性分类问题的方法。于是，我们提出了三种解决非线性问题的方法。 Non-Transformation} 这实际上就是一种明转换...

Posted by franztao on November 12, 2019

Feedforward_Neural_Network_02_Development

2022年10月

本节主要是来讨论一下，机器学习的发展历史，看看如何从感知机到深度学习。 从时间的发展角度来看} 1958年：up，首次提出了Perceptron Linear Algorithm (PLA)，这里就是我们机器学习的开端了。 1969年：down，Marvin Lee Minsky提出了，PLA has a limitation。因为PLA算法解决不了non-linear问题，比如说XOR...

Posted by franztao on November 11, 2019

Feedforward_Neural_Network_01_Background

2022年10月

本节的主要目的是从一个较高的角度来介绍一下，什么是深度学习，并且给深度学习一个较好的总结，给大家一个较好的印象。机器学习是目前最火热的一个研究方向，而机器学习大致可以分为，频率派和贝叶斯派。频率派逐渐演变出了统计机器学习，而贝叶斯派逐渐演变出了PGM，也就是概率图模型。下面我们分开进行描述。 频率派} 统计机器学习方法基本就是由频率派的估计思想得到的。统计机器学习方法大概可以分成四种。 ...

Posted by franztao on November 10, 2019

Bayes_Linear_Classification_03_Prediction_&_Conclusion

2022年10月

根据上一节中提到的Inference，我们已经成功的推断出了$p(w Data)$的分布。表述如下所示： \[\begin{equation} p(W|X,Y) \sim \mathcal{N}(\mu_w, \Sigma_w) \end{equation}\] 其中， \[\begin{equation} \...

Posted by franztao on November 7, 2019

Bayes_Linear_Classification_02_Inference

2022年10月

数据集$D={(x_i,y_i)}^{N}_{i=1}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$。数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x_1^T \\ x_2^T \\ ...

Posted by franztao on November 6, 2019

Bayes_Linear_Classification_01_Background

2022年10月

数据集$D={(x_i,y_i)}^{N}_{i=1}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$。 数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x_1^T \\ x_2^T \...

Posted by franztao on November 5, 2019

Linear_Classification_06

2022年10月

本节主要是介绍一下Naive Bayes Classification，也就是朴素贝叶斯分类。朴素贝叶斯分类器的核心思想也就是，条件独立性假设。这是一种最简单的概率图模型，也就是一种有向图模型。 条件独立性假设} 条件独立性假设用简单的图来进行表述，可以表示为如下图所示的形式： \[\begin{figure}[H] \centering \includegraphics...

Posted by franztao on November 4, 2019

Linear_Classification_05

2022年10月

前面讲的方法都是概率判别模型，包括，Logistic Regression和Fisher判别分析。接下来我们将要学习的是概率生成模型部分，也就是现在讲到的Gaussian Discriminate Analysis。数据集的相关定义为： \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x...

Posted by franztao on November 3, 2019

Linear_Classfication_04

2022年10月

在前面的两小节中我们，我们讨论了有关于线性分类问题中的硬分类问题，也就是感知机和Fisher线性判别分析。那么，我们接下来的部分需要讲讲软分类问题。软分类问题，可以大体上分为概率判别模型和概率生成模型，概率生成模型也就是高斯判别分析(Gaussian Discriminate Analysis)，朴素贝叶斯(Naive Bayes)。而线性判别模型也就是本章需要讲述的重点，Logistic ...

Posted by franztao on November 1, 2019

Linear_Classification_03

2022年10月

本小节为线性分类的第三小节，主要推导了线性判别分析算法，也就是Fisher算法。Fisher算法的主要思想是：{ 类内小，类间大。}这有点类似于，软件过程里的松耦合，高内聚的思想。这个思想转换成数学语言也就是，同一类数据之间的方差要小，不同类数据之间的均值的差距要大。那么，我们对数据的描述如下所示： \[\begin{equation} X=(x_1, x_2, \cdots, x...

Posted by franztao on October 31, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS