Posts tagged with #Ma-Le

岭回归 (Ridge Regression) 是标准最小二乘法线性回归的一种改良版，它额外增加一个 $\ell_2$ 惩罚项。 岭回归的成本函数如下： $$ J(w) = \|Xw − y \|^2 + λ \|w\|^2 $$ 岭回归的正规方程如下： $$ \bigl(X^{T}X+\lambda I^{\prime}\bigr)w = X^{T}y $$ 具体的数学推导在...

为了给回归问题建立一个统计模型，我们做出以下假设： $$ y_i=g(X_i) + \epsilon_i $$ 这个公式描述了我们观察到的数据点 $(X_i, y_i)$ 是如何产生的，其中： * $g(X_i)$ 是真实函数 (Ground Truth)。我们相信**在现实中，输入 $X$ 和输出 $y$ 之间存在一个我们不知道的、但固定不变的潜在规律...

> Let $f_{X\mid Y=C_i}(x) \sim \mathcal{N}(\mu _i,\sigma^2)$ for a two-class, one-dimensional ($d = 1$) classification problem with classes $C_1$ and $C_2$, $P(Y = C_1) = P(Y = C_2) = 1/2$, and...

> Concisely, $\Sigma = E[(Z − \mu )(Z − \mu )^{⊤}]$, where $\mu $ is the mean value of the (column) vector $Z$. Show that the covariance matrix is always positive semidefinite (PSD)...

在我们前面讲解的 SVM 分类器中，我们试图找到**一个明确的边界（超平面）来分隔不同类别的数据**。但现实世界中，数据往往是模糊和重叠的。这就引出了概率分类器的需求：我们不再给出一个“是”或“否”的确定性答案，而是**给出一个属于某个类别的概率**。 我们使用贝叶斯定理来知道我们的决策。首先定义如下的概念： * 决策规则 (Decision Rule)...

我们假定类别 $K$ 的数据符合正态分布： $$ f_k(x)=\frac{1}{\sqrt{2\pi}\,\sigma_k}\exp\. \left(-\frac{(x-\mu _k)^2}{2\sigma_k^2}\right) $$ 根据贝叶斯公式： $$ P(Y=k\mid X=x)=\frac{\pi_k f_k(x)}{\sum_{l=1}^{K}\pi_l f_l(x)}...

> Show the Equation $$\max_{\lambda_i \ge 0}\; \min_{w,\alpha}\; \|w\|^2 - \sum_{i=1}^n \lambda_i\bigl(y_i(\mathbf{x}_i\cdot \mathbf{w} + \alpha) - 1\bigr) \tag{3} $$ > can be rewritten as the...

* 提供 $n$ 个样本，每个样本具有 $d$ 个特征。这些样本表示为 $d$ 维空间的特征向量。 * 决策边界：我们的分类器划分出的边界，将属于这个类别的样本和不属于这个边界的样本划分开。 * 决策函数：一个将 $x$ 映射到标量的函数 $f(x)$： $$ \begin{cases} f(x)>0, & x\in C,\\[4pt] f(x)\le 0, & x\notin C. ...

线性分类器的间隔 (Margin) 是**决策边界与离它最近的训练样本点之间的距离**。 在最大间隔分类器 (Maximum Margin Classifiers) 中，我们试着让这个间隔尽可能地宽。因为直觉上，一条位于“正中间”的、间隔最大的分界线，对于新出现的数据点会有更好的判断力。因为它没有偏向任何一边，所以更“公平”，也更不容易因为训练数据中微小的扰动而产生巨大的变化。...

为了便于后面的计算，我们定义： * 对每个样本，标签 $y_i$： $$ y_i= \begin{cases} 1, & X_i\in C,\\[6pt] -1, & X_i\notin C. \end{cases} $$ 我们的目标是找到 **权重向量 $w$** 使得： $$ X_i\cdot w \begin{cases} \ge 0, & \text{if }...