MLP 的不足
- 连接权重过多，训练推理慢
- 无法充分发现和利用问题自身结构
CNN
- 卷积核遍历输入，逐元素相乘后的和为输出
- 相当于一个共享权重且稀疏连接的 MLP
卷积核
- 卷积核大小
- 正方形？各向同性
- 奇数？避免空间偏移
- 填充
- 保证边缘信息的提取
- 步长
- 大于 1？实现降采样、增大感受野、增加平移稳定性
- 多卷积核：一个卷积核产生一个 channel
- 多通道输入卷积：卷积核本身有多通道，仍然只产生一个 channel
- 具有抽取特征的能力
池化
一种降维的手段
- 取窗口内最大值/平均值
- 窗口大小、步长可设定
经典模型
LeNet
VGG-16
GoogLeNet
- Inception 模块：实现对于同一输入内容不同维度特征的抽取
- 让网络自主选择所需的卷积核尺寸 朴素实现：
- 缺点：计算量爆炸
- 解决：先进行 1x1 卷积降通道数
- 减少后续卷积的 input 通道数，从而减少了参数量和计算量
ResNet
- F’(X)=F(X)+X
- 解决梯度消失问题