franztao

Talk is cheap, show me the code.

Exponential_Family_Distribution_01

2022年10月

本节主要对指数族分布的概念和性质的一个小小的总结。指数族分布是一个广泛存在于机器学习研究中的分布。包括，Guassian分布，Bernoulli分布(类别分布)，二项分布(多项式分布)，泊松分布，Beta分布，Dirichlet分布，Gamma分布和Gibbs分布等。指数族分布的基本形式} 指数族分布的基本形式可以表示为： \[\begin{equation} p(x|y)=h...

Posted by franztao on October 22, 2019

Math_Basis_04

2022年10月

本节主要的内容是描述琴生不等式(Jensen’s Inequality)。有关琴生不等式的描述为，如果函数$f(x)$为凸函数(convex function)，那么有$\mathbb{E}[f(x)]\geq f(\mathbb{E}[x])$。 Jensen’s Inequality中的证明} \[\begin{figure}[H] \centering \inclu...

Posted by franztao on October 21, 2019

Math_Basis_03

2022年10月

本节的主要内容是在高斯分布中，已知联合概率密度求条件概率密度和边缘概率密度。还有已知$x$的边缘概率和在条件为$x$下$y$的条件概率下，求$y$的边缘概率和在条件为$y$下$x$的条件概率。用数学的语言描述即为，如下所示。对于多变量的高斯分布$X\sim \mathcal{N}(\mu,\Sigma)$，概率密度函数为： \(\begin{equation} p(X)=\fr...

Posted by franztao on October 20, 2019

Math_Basis_02

2022年10月

本节的主要目的是从概率的角度来分析高斯分布，包括马氏距离和高斯分布的几何表示，以及高斯分布的局限性和解决的方法等等。对于多变量的高斯分布$X\sim \mathcal{N}(\mu,\Sigma)$，概率密度函数为： \(\begin{equation} p(X)=\frac{1}{\sqrt{2\pi}^{\frac{p}{2}}|\Sigma|^{\frac{1}{2}}}ex...

Posted by franztao on October 19, 2019

Math_Basis_01

2022年10月

本节的主要目的是从频率派的角度使用极大似然估计，通过观察到数据，是观察到的数据出现的概率最大化，来对高斯分布的参数进行估计。并且分析了高斯分布的参数，$\mu$，$\sigma^2$的无偏性和有偏性。其中，$\mu$是关于参数的无偏估计，而$\sigma$是有偏估计。数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, ...

Posted by franztao on October 18, 2019

Linear_Regression_02

2022年10月

数据集$D={(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$，$i=1, \ 2,\cdots,\ N$。数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= ...

Posted by franztao on October 14, 2019

Linear_Regression_01

2022年10月

数据集$D={(x_1, y_1), (x_2, y_2), \cdots, (x_N, y_N)}$，其中$x_i\in\mathbb{R}^{p}$，$y_i\in\mathbb{R}$，$i=1, \ 2,\cdots,\ N$。数据矩阵为：(这样可以保证每一行为一个数据点) \[\begin{equation} X=(x_1, x_2, \cdots, x_N)^T= ...

Posted by franztao on October 12, 2019