全连接层,是在常见的CNN结构中,多个卷积层和池化层后通常连接着一个或多个全连接层。卷积层和池化层用于获取样本图像的特征空间,全连接层对特征进行分类。全连接层采用传统神经网络的连接方式,保留特征的权重偏置。每个节点与上一层所有节点相连,对提取的特征加权。由于全连接特性,其参数最多。卷积也可实现全连接层,当前层为卷积层时,可采用全局卷积表示。其中,h和w表示前层卷积输出特征图的高和宽。
在CNN结构中,经多个卷积层和池化层后,连接着1个或1个以上的全连接层。与MLP类似,全连接层中的每个
神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升CNN网络性能,全连接层每个神经元的激励函数一般采用ReLU函数。最后一层全连接层的输出值被传递给一个输出,可以采用softmax逻辑回归(softmax regression)进行分类,该层也可称为softmax层(softmax layer)。对于一个具体的分类任务,选择一个合适的损失函数是十分重要的,CNN几种常用的损失函数并分析了它们各自的特点。通常,CNN的全连接层与MLP结构一样,CNN的训练算法也多采用BP算法。