Hierarchical Attention Networks for Document Classification 这篇论文引入了一个分层的注意力网络：它使用结构化的注意力，先理解单词，再理解句子，最后理解整篇文档。 HAN 由下面的组件组成： 1. 单词序列 Encoder：使用 Encoder 对句子中的单词进行处理。这个和 Seq2Seq 中的 Encoder 类似。 2...

全局注意力的概念在 Bahdanau Attention 笔记中已经介绍过了：在 Decode 过程中，每当生成一个词，Decoder 会查看 Encoder 输出的所有隐藏状态并关注自己需要的那个。Luong Attention 的这一流程如下： 1. 获取 RNN 的隐藏状态 $h_t$ 和 Encoder 所有隐藏状态 $h_s$。 2...

在复习了 Encoder-Decoder 后，自己搓了一个简单的机器翻译，用 30k 的 cmn-eng. txt 数据集训练的，下面简单讲解一下。 在开始实现之前，我们先定义一些 tag，这些 tag 能够让我们的模型更好地确认翻译的边界和方向： 1...

在 Encoder-Decoder 架构中，我们知道 Encoder 负责把输入压缩成一个隐藏状态向量，但是压缩成一个固定的向量必然会导致关键信息的损失，一个简单的想法是：不把所有内容压缩到一个向量中，而是**把序列中的每个词都生成一个对应的向量，然后在 Decoder 输出时去“寻找”它对应的向量，利用自己找到的内容生成结果**。这便是 Seq2Seq 中简单的注意力思想。 上面的思想在...

Encoder-Decoder 的引入是为了解决 RNN 无法处理 Seq2Seq 的问题。 我们知道 RNN 在每个时间步接受一个输入、并且返回一个输出。这对于定长的序列问题很方便（比如给句子的每个词做词性标注），但是很多 Seq2Seq 并不是定长的，输入和输出的长度并不固定（比如翻译问题）。唯一的解决办法是让 RNN 一次就读完全部的输入。但是 RNN...

在介绍P-R曲线这些高级概念之前，我们先梳理一下最基本的统计指标的相关概念。 准确率 (Accuracy) 的意义是：“模型总共预测对了百分之多少？”。它的定义是所有被正确分类的样本（包括正确预测为正例和正确预测为负例）占总样本数的比例： $$ \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$...

深度可分离卷积 (Depthwise Separable Convolution) 本质是一种分解卷积，它把一个标准的卷积操作分解成下面两个操作： 1. 深度卷积 (Depthwise Convolution)：负责卷积。 2...

在讲解具体的 NiN 网络架构前，我们先谈谈 1x1 卷积核。 一般而言，对二维信号进行 1x1 卷积是没有意义的。但是在 CNN 中，整个空间是三维的，这个卷积核的实际大小为 $1\times 1\times \text{num{\_}channels}$。在这个卷积核在原有的 $m\times n$ 图像空间的每一个位置，都会与该点的 $\text{num{\_}channels}$...

感受野（Receptive Field）指的是在输入图像上，能够影响到 CNN 中**某一个特定特征**值的那片区域。它的基本属性为中心位置和尺寸。 例如下面这个例子： <Image src={image_2025_11_03_20_51_00} alt="alt text" /> 这里的绿色特征图的每一个绿色点都是由一个 3x3 卷积层在蓝色的输出图上平移得到的，因此它的感受野为3。...

VGGNet 这一网络架构揭示了网络深度对模型性能的影响，它只使用简单的 3x3 卷积核就得到了非常好的结果。 VGGNet 网络的设计哲学如下： 1. 使用小卷积核：全部使用很小的 3x3 卷积核。 2...