franztao

Talk is cheap, show me the code.

Probability_Graph_02_Bayesian_Network

2022年10月

概率图模型中，图是用来表达的，将概率嵌入到了图中之后，使得表达变得非常的清晰明了。在我们的联合概率计算中，出现了一些问题： \[\begin{equation} p(x_1,x_2,\cdots,x_N)=p(x_i)\prod_{i=1}^Np(x_i|x_{1:i-1}) \end{equation}\] 这样的计算维度太高了，所以我们引入了条件...

Posted by franztao on November 24, 2019

Probability_Graph_01_Background

2022年10月

机器学习的重要思想就是，对已有的数据进行分析，然后对未知数据来进行预判或者预测等。这里的图和我们之前学习的数据结构中的图有点不太一样，俗话说有图有真相，这里的图是将概率的特征引入到图中，方便我们进行直观分析。 概率的基本性质} 我们假设现在有一组高维随机变量，$p(x_1,x_2,\cdots,x_n)$，它有两个非常基本的概率，也就是条件概率和边缘概率。条件概率的描述为$p(x_i)$，...

Posted by franztao on November 23, 2019

Kernel_Method_03_Necessary_and_Sufficient_Conditions

2022年10月

在上一小节中，我们描述了正定核的两个定义，并且认为这两个定义之间是相互等价的。下面我们就要证明他们之间的等价性。 充分性证明} 大家注意到在上一节的描述中，我似乎没有谈到对称性，实际上是因为对称性的证明比较的简单。就没有做过多的解释，那么我重新描述一下我们需要证明的问题。 已知：$K(x,z) = <\phi(x),\phi(z)>$，证：Gram Matrix是半正定的，且$...

Posted by franztao on November 22, 2019

Kernel_Method_02_The_Definition_of_Positive_Kernel_Function

2022年10月

上一节中，我们已经讲了什么是核函数，也讲了什么是核技巧，以及核技巧存在的意义是什么。我们首先想想，上一小节我们提到的核函数的定义。 对于一个映射$K$，我们有两个输入空间$\mathcal{X}\times\mathcal{X},\mathcal{X}\in\mathbb{R}^p$，可以形成一个映射$\mathcal{X}\times \mathcal{X}\mapsto\mathbb{...

Posted by franztao on November 21, 2019

Kernel_Method_01_Background

2022年10月

在Support Vector Machine的章节中，我们已经分析了支持向量机前面“两宝”，也就是间隔和对偶，而第三宝，核技巧在这里我们需要抽出来将分析。其实，我最开始学习核的时候，真的是一脸懵逼，这玩意到底是个什么鬼？来龙去脉是什么？这这节有关于Kernel Method的背景介绍中，我想分析一下，我们为什么要使用核？以及怎么用核？来给大家一个直观的感受。 本小节主要从Kernel M...

Posted by franztao on November 20, 2019

Support_Vector_Machine_05_Slate_and_KKT_Condition

2022年10月

首先，我们整理一下前面得到的有关约束优化的模型。我们可以描述为： \[\begin{equation} \left\{ \begin{array}{ll} \min\ f(x) & \\ s.t. \quad m_i(x)\leq 0, \ i = 1, 2, \cdots, M & \\ \ \; \...

Posted by franztao on November 18, 2019

Support_Vector_Machine_04_Weak_Duality_Geometric_Interpretation

2022年10月

上一小节中我们讨论了有关弱对偶性的证明，这一节我们从几何的角度来解释一下有关对偶问题。为了方便描述，我们将对偶问题进行简化为如下形式： \[\begin{equation} \left\{ \begin{array}{ll} \min_{x\in \mathcal{R}^p} \ f(x) & \\ s.t. \quad m_i \l...

Posted by franztao on November 17, 2019

Support_Vector_Machine_03_Weak_Duality_Proof

2022年10月

在前面我们已经展示的Hard Margin和Soft Margin SVM的建模和求解。前面提到的SVM有三宝，间隔，对偶，核技巧。前面我们已经分析了间隔，大家对于其中用到的对偶，虽然我们用比较直觉性的方法进行了解释，但是估计大家还是有点懵逼。这节我们希望给到通用性的证明，这里实际上就是用到了约束优化问题。 弱对偶性证明} 首先，我们需要证明约束优化问题的原问题和无约束问题之间的等价性。 ...

Posted by franztao on November 16, 2019

Support_Vector_Machine_02_Soft_Margin

2022年10月

在上一小节中，我们介绍了Hard-Margin SVM的建模和求解过程。这个想法很好，但是实际使用过程中会遇到很多的问题。因为，并不一定数据集就可以被很好的分开，而且实际数据没有那么简单，其间有很多的噪声。而Soft Margin的基础思想就是允许那么一点点的错误。这样在实际运用中往往可以得到较好的效果。下面我们将进行Soft Margin SVM的详细演变过程。 Soft Margin ...

Posted by franztao on November 15, 2019

Support_Vector_Machine_01_Hard_Margin_Modeling_and_Solution

2022年10月

众所周知，Support Vector Machine (SVM)有三宝，间隔，对偶，核技巧。所以，SVM可以大致被分为三类：hard-margin SVM；soft-margin SVM；kernel SVM。 SVM基本思想} \[\begin{figure}[H] \centering \includegraphics[width=.55\textwidth]{微信...

Posted by franztao on November 13, 2019

FEATURED TAGS
Linear Regression Math Basis Exponential Family Distribution Classification Bayes Background Inference Conclusion Feedforward Neural Network Support Vector Machine Margin and Solution Weak Duality Kernel Method of Function Probability Graph Markov Variational Algorithm Belief Process Introduction Gaussian Expectation Maximization Mixture Model Chain Monte Carlo Sampling Hidden Learning Kalman Filter Conditional Random Field Boltzmann Deep Generative Adversarial Reinforcement Blog docker cuda
ABOUT ME

Goals determine what you going to be!

✉️ franztaoheng@gmail.com

FRIENDS