Posts tagged with #Ma-Le

AdaBoost (Adaptive Boosting) 是一种用于分类或回归的集成方法。它具有如下的特点： * 它通过**不断关注之前被错分的样本来提升模型的拟合能力，从而降低偏差**。这一点与随机森林等主要减少方差的集成方法不同。 * 与 Bagging 类似，它也对训练样本进行加权，但**权重在每次迭代中都会动态调整**。 * 每个弱学习器训练时样本的权重都是不同的。 *...

最近邻分类 (k-NN) 是机器学习中最直观、最简单的算法之一。其核心思想可以用一句老话概括：“物以类聚，人以群分”。 给定一个需要预测类别的查询点 (query point) $q$，算法会执行以下操作： 1. 在所有训练数据中，找到离 $q$ 最近的 $k$ 个训练点。 2...

伪逆是一个矩阵的广义逆。常规的逆矩阵 $X^{-1}$ 只对可逆的方阵存在。而伪逆 $X^{+}$ 对任何形状的矩阵都存在。 如果一个 $n \times d$ 的矩阵 $X$ 的紧凑 SVD 分解是 $X = UDV^T$，那么它的摩尔-彭若斯伪逆 (Moore-Penrose Pseudoinverse) $X^{+}$ 定义为： $$ X^{T} = VD^{-1}U^T $$...

与前面的训练不同，无监督学习**只有样本点而没有标签**。它的核心目标是**在没有外部指导的情况下，发现数据本身固有的结构、模式或关系**。 主成分分析 (Principal Components Analysis, PCA) 的目标是：**在一个 $d$ 维的数据空间中，找到 $k$...

卷积神经网络 (Convolutional Neural Networks) 的灵感来源于图像处理中的“边缘检测器”： 1. 局部性 (Locality)：一个边缘检测器每次**只观察图像的一小部分区域**。 2...

> 由于 Homework 6 的笔记内容有些多，我把它拆分成三部分了。 Part1 的内容是从零实现 Neural Nets 的相关组件。 作业初始代码的总体架构如下： * `models. py`：神经网络模型实现：负责整个网络的前向传播、反向传播和训练循环 * `layers...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 人工神经网络的许多核心概念都源于对生物大脑工作方式的模仿。通过对比生物神经系统，我们可以更深刻地理解人工神经网络的设计哲学。 大脑的基本计算单元是神经元 (Neuron)，它是一个负责处理和传递信息的细胞： * **神经元 (Neuron)**：大脑和神经系统的基本构成单位，负责思考与通讯。 * **动作电位 (Action...

> 生成：Gemini-2. 5-pro，整理：fyerfyer 神经网络 (Neural Networks) 是一种功能强大的非线性模型，可同时用于**分类 (Classification)** 和**回归 (Regression)** 任务。 它融合了机器学习中的多个核心概念： * **感知机 (Perceptrons)**: 构成神经网络的基本单元。 * **线性/逻辑回归**:...

决策树是一种用于分类和回归（比如预测房价）的非线性方法。它的核心结构就像一棵树，包含两种节点： 1. 内部节点 (Internal nodes)：每个内部节点都**会对一个特征进行测试，并根据测试结果决定走向哪个分支**。通常一次只测试一个特征。 2...

与前面讨论的分类问题不同，在回归问题中，对于数据 $X$，我们需要**预测一个具体的数值（通常是连续的，比如房价、气温）**。 > 我们之前讨论的 QDA 和 LDA 其实也包含了回归的思想，因为它们不仅给出了分类结果，还给出了这个预测正确的概率。 回归问题包含如下三个部分： 1. 选择一个回归函数的形式 $h(x; w)$ 2...