franztao

Talk is cheap, show me the code.

Support_Vector_Machine_05_Slate_and_KKT_Condition

2022年10月

首先，我们整理一下前面得到的有关约束优化的模型。我们可以描述为： \[\begin{equation} \left\{ \begin{array}{ll} \min\ f(x) & \\ s.t. \quad m_i(x)\leq 0, \ i = 1, 2, \cdots, M & \\ \ \; \...

Posted by franztao on November 18, 2019

Support_Vector_Machine_04_Weak_Duality_Geometric_Interpretation

2022年10月

上一小节中我们讨论了有关弱对偶性的证明，这一节我们从几何的角度来解释一下有关对偶问题。为了方便描述，我们将对偶问题进行简化为如下形式： \[\begin{equation} \left\{ \begin{array}{ll} \min_{x\in \mathcal{R}^p} \ f(x) & \\ s.t. \quad m_i \l...

Posted by franztao on November 17, 2019

Support_Vector_Machine_03_Weak_Duality_Proof

2022年10月

在前面我们已经展示的Hard Margin和Soft Margin SVM的建模和求解。前面提到的SVM有三宝，间隔，对偶，核技巧。前面我们已经分析了间隔，大家对于其中用到的对偶，虽然我们用比较直觉性的方法进行了解释，但是估计大家还是有点懵逼。这节我们希望给到通用性的证明，这里实际上就是用到了约束优化问题。 弱对偶性证明} 首先，我们需要证明约束优化问题的原问题和无约束问题之间的等价性。 ...

Posted by franztao on November 16, 2019

Support_Vector_Machine_02_Soft_Margin

2022年10月

在上一小节中，我们介绍了Hard-Margin SVM的建模和求解过程。这个想法很好，但是实际使用过程中会遇到很多的问题。因为，并不一定数据集就可以被很好的分开，而且实际数据没有那么简单，其间有很多的噪声。而Soft Margin的基础思想就是允许那么一点点的错误。这样在实际运用中往往可以得到较好的效果。下面我们将进行Soft Margin SVM的详细演变过程。 Soft Margin ...

Posted by franztao on November 15, 2019

Support_Vector_Machine_01_Hard_Margin_Modeling_and_Solution

2022年10月

众所周知，Support Vector Machine (SVM)有三宝，间隔，对偶，核技巧。所以，SVM可以大致被分为三类：hard-margin SVM；soft-margin SVM；kernel SVM。 SVM基本思想} \[\begin{figure}[H] \centering \includegraphics[width=.55\textwidth]{微信...

Posted by franztao on November 13, 2019

Feedforward_Neural_Network_03_Non-Linear_Problem

2022年10月

实际上在1958年就已经成功的提出了Perceptron Linear Analysis (PLA)，标志着人工智能的正式诞生。但是，Minsky在1969年提出PLA无法解决非线性分类问题，让人工智能陷入了10年的低谷。后来的发展，人们开始寻找到越来越多的，解决非线性分类问题的方法。于是，我们提出了三种解决非线性问题的方法。 Non-Transformation} 这实际上就是一种明转换...

Posted by franztao on November 12, 2019

Feedforward_Neural_Network_02_Development

2022年10月

本节主要是来讨论一下，机器学习的发展历史，看看如何从感知机到深度学习。 从时间的发展角度来看} 1958年：up，首次提出了Perceptron Linear Algorithm (PLA)，这里就是我们机器学习的开端了。 1969年：down，Marvin Lee Minsky提出了，PLA has a limitation。因为PLA算法解决不了non-linear问题，比如说XOR...

Posted by franztao on November 11, 2019

Feedforward_Neural_Network_01_Background

2022年10月

本节的主要目的是从一个较高的角度来介绍一下，什么是深度学习，并且给深度学习一个较好的总结，给大家一个较好的印象。机器学习是目前最火热的一个研究方向，而机器学习大致可以分为，频率派和贝叶斯派。频率派逐渐演变出了统计机器学习，而贝叶斯派逐渐演变出了PGM，也就是概率图模型。下面我们分开进行描述。 频率派} 统计机器学习方法基本就是由频率派的估计思想得到的。统计机器学习方法大概可以分成四种。 ...

Posted by franztao on November 10, 2019

Bayes_Linear_Classification_03_Prediction_&_Conclusion

2022年10月

根据上一节中提到的Inference，我们已经成功的推断出了$p(w Data)$的分布。表述如下所示： \[\begin{equation} p(W|X,Y) \sim \mathcal{N}(\mu_w, \Sigma_w) \end{equation}\] 其中， \[\begin{equation} \...

Posted by franztao on November 7, 2019

Bayes_Linear_Classification_02_Inference

2022年10月

数据集$D={(x_i,y_i)}^{N}_{i=1}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$。数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= \begin{pmatrix} x_1^T \\ x_2^T \\ ...

Posted by franztao on November 6, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS