伪逆是一个矩阵的广义逆。常规的逆矩阵 $X^{-1}$ 只对可逆的方阵存在。而伪逆 $X^{+}$ 对任何形状的矩阵都存在。 如果一个 $n \times d$ 的矩阵 $X$ 的紧凑 SVD 分解是 $X = UDV^T$，那么它的摩尔-彭若斯伪逆 (Moore-Penrose Pseudoinverse) $X^{+}$ 定义为： $$ X^{T} = VD^{-1}U^T $$...

与前面的训练不同，无监督学习**只有样本点而没有标签**。它的核心目标是**在没有外部指导的情况下，发现数据本身固有的结构、模式或关系**。 主成分分析 (Principal Components Analysis, PCA) 的目标是：**在一个 $d$ 维的数据空间中，找到 $k$...

卷积神经网络 (Convolutional Neural Networks) 的灵感来源于图像处理中的“边缘检测器”： 1. 局部性 (Locality)：一个边缘检测器每次**只观察图像的一小部分区域**。 2...

> 由于 Homework 6 的笔记内容有些多，我把它拆分成三部分了。 Part1 的内容是从零实现 Neural Nets 的相关组件。 作业初始代码的总体架构如下： - `models. py`：神经网络模型实现：负责整个网络的前向传播、反向传播和训练循环 - `layers...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 人工神经网络的许多核心概念都源于对生物大脑工作方式的模仿。通过对比生物神经系统，我们可以更深刻地理解人工神经网络的设计哲学。 大脑的基本计算单元是神经元 (Neuron)，它是一个负责处理和传递信息的细胞： - **神经元 (Neuron)**：大脑和神经系统的基本构成单位，负责思考与通讯。 - **动作电位 (Action...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 神经网络 (Neural Networks) 是一种功能强大的非线性模型，可同时用于**分类 (Classification)** 和**回归 (Regression)** 任务。 它融合了机器学习中的多个核心概念： - **感知机 (Perceptrons)**: 构成神经网络的基本单元。 - **线性/逻辑回归**:...

决策树是一种用于分类和回归（比如预测房价）的非线性方法。它的核心结构就像一棵树，包含两种节点： 1. 内部节点 (Internal nodes)：每个内部节点都**会对一个特征进行测试，并根据测试结果决定走向哪个分支**。通常一次只测试一个特征。 2...

与前面讨论的分类问题不同，在回归问题中，对于数据 $X$，我们需要**预测一个具体的数值（通常是连续的，比如房价、气温）**。 > 我们之前讨论的 QDA 和 LDA 其实也包含了回归的思想，因为它们不仅给出了分类结果，还给出了这个预测正确的概率。 回归问题包含如下三个部分： 1. 选择一个回归函数的形式 $h(x; w)$ 2...

岭回归 (Ridge Regression) 是标准最小二乘法线性回归的一种改良版，它额外增加一个 $\ell_2$ 惩罚项。 岭回归的成本函数如下： $$ J(w) = \|Xw − y \|^2 + λ \|w\|^2 $$ 岭回归的正规方程如下： $$ \bigl(X^{T}X+\lambda I^{\prime}\bigr)w = X^{T}y $$ 具体的数学推导在...

为了给回归问题建立一个统计模型，我们做出以下假设： $$ y_i=g(X_i) + \epsilon_i $$ 这个公式描述了我们观察到的数据点 $(X_i, y_i)$ 是如何产生的，其中： - $g(X_i)$ 是真实函数 (Ground Truth)。我们相信**在现实中，输入 $X$ 和输出 $y$ 之间存在一个我们不知道的、但固定不变的潜在规律...