LeNet 网络

LeNet 通过较为简单的网络架构，实现了下面的目标：

1. 有效的特征提取：使用“卷积层+池化层”的特征提取模块。
2. 层次化学习：使用由交替的卷积层和池化层构成的层次化特征学习网络。

1. 网络架构

原始 LeNet 的架构如下：

1. 输入层：32x32 像素的灰度图像。
2. 特征处理层：这一层包括了两个特征提取模块：
3. 卷积层 $C_1$、池化层 $S_2$。
4. 卷积层 $C_3$、池化层 $S_4$。
5. 全连接分类层 $F5$、$F6$。特征处理层输出的多维特征图会先展平、然后输入到这一层中。

LeNet 的架构很简单，但它引出的思想是开创性的：我们可以把卷积层和池化层组合起来作为特征提取模块，然后使用多个这样的模块进行层次化的特征提取。

2. 实现

下面我们在 FashionMNIST 数据集上训练并测试这个架构。

$a.$ 原始论文实现

$b.$ 现代实现

我们把 BatchNormalize、ReLU、权重初始化这些东西加入到原有架构中：

可以看到准确率提升不大，这是因为 LeNet 网络结构相对简单。