2025

159 posts

Bahdanau Attention

693 words • 4 min read
在 Encoder-Decoder 架构中，我们知道 Encoder 负责把输入压缩成一个隐藏状态向量，但是压缩成一个固定的向量必然会导致关键信息的损失，一个简单的想法是：不把所有内容压缩到一个向量中，而是**把序列中的每个词都生成一个对应的向量，然后在 Decoder 输出时去“寻找”它对应的向量，利用自己找到的内容生成结果**。这便是 Seq2Seq 中简单的注意力思想。 上面的思想在...
#RNN#Seq2Seq#Attention

Encoder-Decoder 架构整理

273 words • 2 min read
Encoder-Decoder 的引入是为了解决 RNN 无法处理 Seq2Seq 的问题。 我们知道 RNN 在每个时间步接受一个输入、并且返回一个输出。这对于定长的序列问题很方便（比如给句子的每个词做词性标注），但是很多 Seq2Seq 并不是定长的，输入和输出的长度并不固定（比如翻译问题）。唯一的解决办法是让 RNN 一次就读完全部的输入。但是 RNN...
#RNN#Seq2Seq

对象检测的一些基础概念

2316 words • 12 min read
在介绍P-R曲线这些高级概念之前，我们先梳理一下最基本的统计指标的相关概念。 准确率 (Accuracy) 的意义是：“模型总共预测对了百分之多少？”。它的定义是所有被正确分类的样本（包括正确预测为正例和正确预测为负例）占总样本数的比例： $$ \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$...
#CV#Probability#Object Detection

NiN 网络与 1x1 卷积核

1190 words • 6 min read
在讲解具体的 NiN 网络架构前，我们先谈谈 1x1 卷积核。 一般而言，对二维信号进行 1x1 卷积是没有意义的。但是在 CNN 中，整个空间是三维的，这个卷积核的实际大小为 $1\times 1\times \text{num{\_}channels}$。在这个卷积核在原有的 $m\times n$ 图像空间的每一个位置，都会与该点的 $\text{num{\_}channels}$...
#Deep Learning#CV#CNN

感受野

1577 words • 8 min read
感受野（Receptive Field）指的是在输入图像上，能够影响到 CNN 中**某一个特定特征**值的那片区域。它的基本属性为中心位置和尺寸。 例如下面这个例子： <Image src={image_2025_11_03_20_51_00} alt="alt text" /> 这里的绿色特征图的每一个绿色点都是由一个 3x3 卷积层在蓝色的输出图上平移得到的，因此它的感受野为3。...
#Deep Learning#CNN

VGGNet 网络

388 words • 2 min read
VGGNet 这一网络架构揭示了网络深度对模型性能的影响，它只使用简单的 3x3 卷积核就得到了非常好的结果。 VGGNet 网络的设计哲学如下： 1. 使用小卷积核：全部使用很小的 3x3 卷积核。 2...
#Deep Learning#CV#CNN

AlexNet 网络

151 words • 1 min read
AlexNet大胆地构建了一个比LeNet深得多、宽得多的网络，并通过在 ImageNet 上的结果证明了：当网络足够深、数据足够多时，CNN的性能可以超过所有传统方法。 原始 AlexNet 的网络架构如下： . [alt text](alexnet-frame-and-demo-images/2025-11-02-11-18-32...
#Deep Learning#CV#CNN

LeNet 网络

333 words • 2 min read
LeNet 通过较为简单的网络架构，实现了下面的目标： 1. 有效的特征提取：使用“卷积层+池化层”的特征提取模块。 2...
#Deep Learning#CV#CNN