多图卷积网络的遥感图像小样本分类

陈杰虎,汪西莉

陕西师范大学计算机科学学院,西安 710119

随着遥感技术的快速发展,人们获得的遥感图像数据量显著增加,大量遥感图像中所蕴含的信息亟待充分挖掘和利用,遥感图像的复杂场景分类(Cheng等,2020;
余东行等,2020;
邓培芳等,2021)是提取信息的重要手段之一,被广泛应用于污染检测、城市规划、土地利用等领域(刘康等,2020;
杨思齐等,2019;
欧阳淑冰等,2022)。遥感场景中常常会有新的类别出现,如果使用传统的深度学习网络对这些新的场景进行识别,需要大量带标签的训练数据,这在很多情况下是不现实的。相比于计算机,人类往往在给定几个甚至一个样本的情况下,就能够利用先验知识,快速识别新的事物(Sung等,2018)。利用原有数据集,在给定极少的新类别标记数据的情况下,快速迁移到新任务中,实现对新类别图像的分类,成为小样本学习FSL(Few Shot Learning)的目标,亦是近年深度学习领域研究的热点之一(Lu等,2020;
Snell等,2017)。

Lu等(2020)针对小样本学习给出如下定义:给定一个有特定于任务T的包含少量监督信息的任务数据集DT和一个与任务T不相关的辅助数据集DA,小样本学习就是利用DT中很少的监督信息和DA中的知识,构建一个函数,完成输入到目标的映射。其中“与任务T不相关”表示DT中的类别集合YT和DA中的类别集合YA交集为空,即YT∩YA=φ。任务数据集DT指需要分类的数据集,通常由于标注困难等原因,DT中只含有很少的标记样本。辅助数据集DA指已有的带标签的数据集,这些数据可以看作已有的知识,能够帮助解决DT中的任务。通常,学者们将小样本学习设定为一个N-wayK-shot问题,即DT中的类别数为N,每个类中有K个标记样本,小样本学习的目的是利用DA和DT中的标记样本将DT中未标记样本的标签预测出来。

度量学习是解决上述小样本分类任务的主流方法。其主要思想是通过辅助数据集DA学习一个通用的度量网络,对于该度量网络,同类别的样本对获得较高的相似度,不同类别的样本对获得较低的相似度,然后在只有少量标记样本的情况下,就可以根据未标记样本和标记样本的相似度将DT中未标记样本的类别预测出来(Snell等,2017)。在度量学习方面学者们已经做了大量的工作,Koch等(2015)率先将深度学习融入到小样本学习的解决方案中,使用一个孪生CNN(Convolutional Neural Network)在样本对上学习样本之间的相似度度量,开启了用深度学习解决小样本学习的先河;
Vinyals等(2016)提出了一种基于匹配网络的模型,该模型引入了注意力机制,通过基于余弦距离的K近邻法来预测未标记的点;
Snell等(2017)提出了一种可以用于小样本学习的原型网络ProtoNet(Prototypical Networks),ProtoNet将每个类别中的样例数据映射到一个特征空间中,提取样例的“均值”来表示为该类的原型,通过训练使得本类别数据的特征表示到本类原型的距离最近,到其他类原型的距离较远,然后根据未标记样本与各原型在特征空间的距离来判断测试数据的类别;
Sung等(2018)通过学习深度非线性度量来训练一个关系网络以比较图像之间的关系,对图像标签进行预测;
Li等(2019b)采用局部描述子来描述图像的局部特征,通过比较图像与类别之间的局部描述子来寻找与输入图像最接近的类别。小样本分类实质是一种半监督分类问题,上述方法均没有考虑标记样本之间或者未标记样本之间的关联性,这样会忽视有利于提高分类精度的信息。Mou等(2020)和Wan等(2021)指出利用图网络建模样本之间的相关性有助于提升半监督分类精度,所以将图网络引入到小样本分类任务中是一件很自然的事情。

Garcia和Bruna(2018)首次将图神经网络GNN(Graph Neural Network)用在了小样本分类任务中,提出了一种基于GNN的小样本分类方法GNN-FSL。GNN-FSL利用图网络建模图像之间的相似性,通过图节点特征的相互传播更新节点的特征,然后根据更新后的特征得到节点标签的概率。在构建图网络过程中,GNN-FSL将任意两个节点的特征输入到多层感知器求出对应边的权重,这种方法得到的图是一个全连接网络,会让节点过多聚合其他类别的特征,导致该方法并不能获得很高的分类精度。

针对上述方法存在的不足,本文在ProtoNet的基础上,将多图神经网络引入到了小样本学习中,提出了基于多图卷积网络的小样本分类方法Multi-GCN(Multi-Graph Convolutional Network)。所提Multi-GCN由CNN、多图卷积网络和度量预测三部分组成:首先利用经过预训练的CNN提取图像的特征;
然后使用图建模图像当前特征的相似度关系,利用“K近邻+径向基函数”的方法计算邻接矩阵,用得到的邻接矩阵进行图卷积运算更新节点特征,获得更有效的特征表示;
最后用特征之间的欧氏距离对未标记节点进行预测。

相比于现有未使用图网络的小样本分类方法,所提方法通过建模图像之间的相似关系,利用图上的卷积运算可以获得更利于分类的特征表示,而相比于GNN-FSL,所提方法使用“K近邻+径向基函数”的方法获得邻接矩阵,能够避免节点过多的聚合他类节点的信息,提升分类精度;
另外,在图卷积过程中,相对于使用单一邻接矩阵的GCN(Kipf和Welling,2017)、SGC(Li等,2019a)以及IGCN(Wu等,2019)等方法,所提方法采用多个不同阶次邻接矩阵的线性组合进行卷积运算,通过图谱分析以及相关实验证明这种多阶邻接矩阵组合的方法能够更快地缩小同类别节点特征之间的差别,增强不同类别特征之间的区分度,进一步提高遥感图像的分类精度。

ProtoNet是一种基于度量学习的小样本分类方法,该方法主要由特征提取CNN和度量预测两部分组成。其主要思想是利用CNN将图像投射到特征空间,求出每一类标记样本的均值作为该类的原型中心,通过训练使同类图像的特征距本类别原型中心最近,距其他类的原型中心较远,然后利用未标记样本和原型中心在特征空间的距离将未标记样本预测出来(Snell等,2017)。本文提出的Multi-GCN是在ProtoNet的基础上,在特征提取网络的输出端增加了一个图卷积网络来建模图像在特征空间的相似关系,利用图卷积平滑同类别图像的特征,提高不同类别特征的区分度。本节首先简述小样本分类和图神经网络的基本原理,然后详细介绍Multi-GCN的原理,最后介绍所提模型的训练方法。

2.1 基本原理

2.1.1 小样本分类

如前所述,小样本学习一般包含两个数据集,任务数据集DT和辅助数据集DA,DA含有足够多可供训练的标记样本,DT中只有很少的标记样本,且DT中的类别集合YT和DA中的类别集合YA交集为空。通常,学者们将小样本学习设定为一个NwayK-shot问题,这里的N指的是DT中的类别个数,K指的是DT中每一类样本标记数据的个数,如图1所示,在任务数据中,数据的标签有“湖泊”、“沙滩”和“岛屿”这3种,所以N=3,每一类中只有1个带标签的数据,所以K=1。DT中带标签的数据称为支撑集,待预测的数据称为查询集。模型在训练时,从DA中采样多个任务,每个任务中的数据也分为支撑集和查询集,这里的数据均带有标签,模型利用采样的支撑集对查询集的数据进行预测,求出相应的损失函数,对模型进行训练,得到解决该领域分类问题的一个通用模型。在测试阶段,使用训练好的模型对DT中的未标记数据进行预测。

图1 遥感图像小样本分类示意图Fig.1 Few shot classification of remote sensing images

2.1.2 图卷积神经网络

图卷积神经网络是一种定义在图上的深度学习网络。首先给出图的定义:图是一种由节点和边构成的非线性数据结构,通常用来描述非欧式空间中一对多的数据关系。图可以表示为G=(V,E,A),其中,V是节点的集合,E是边的集合,A∈RM×M是邻接矩阵,在图中vi∈V表示图中的一个节点,i∈{1,…,M},M表示节点的个数。eij=(vi,vj)∈E表示图上的一条边,如果eij∈E,Aij>0,否则Aij=0。

Kipf和Welling(2017)在前人工作的基础上提出的一种简洁而高效的图卷积运算GCN,并将方法用在图节点的半监督分类任务中,公式如下:

2.2 多图卷积网络

如图2所示,提出的Multi-GCN模型主要由3个部分构成:(1)特征提取网络,该部分主要由一个CNN构成,输入的图像经过CNN得到每幅图像的特征图,特征图经过拼接后得到对应的特征向量;
(2)多图卷积网络,该部分使用(1)输出的特征向量建模图像在特征空间的相似关系,得到相应的邻接矩阵,并求出邻接矩阵的P次方(P为大于1的整数),利用学习到的参数将不同次方的邻接矩阵进行融合,然后利用融合后的矩阵进行节点特征的学习与更新;
(3)度量预测部分,该部分首先利用(2)输出的带标签节点的特征向量计算出每一类的原型,然后使用L2范数计算每个未标记节点与原型在特征空间的距离,根据距离的大小预测出未标记节点的标签。第一部分采用和ProtoNet相同的特征提取网络Conv4,Conv4由4层CNN构成,每层的输出都接有归一化层、激活层以及最大池化层。下面重点介绍(2)多图卷积和(3)度量预测。

图2 基于Multi-GCN的小样本分类模型Fig.2 Model of Multi-GCN for few shot classification

2.2.1 多图卷积

该部分利用图卷积网络建模图像在特征空间的相似关系,生成图G=(V,E,A),并利用图卷积运算更新节点的特征。本文将每次从数据集读取的一个batch的图像构建成一个图卷积网络。图卷积网络中每个节点vi,i∈{1,…,M}代表一幅图像,其中带标签的节点数有N×K个,M表示节点个数,N表示任务数据中的类别数目,K表示每一类已标记的节点个数,节点的初始特征由经过预训练的CNN提取。然后采用径向基函数(Hong等,2021)计算邻接矩阵:

式中,hi是节点i当前的特征向量,N(i)指节点i的K近邻,实验中,γ=0.2。通过上述方法,在大多数情况下,相同类别的节点之间会分配一个较大的权重,不同类别的节点之间权重很小或者为0,这样在进行图卷积运算的过程中,相同类别节点之间的特征会快速趋于相似,而不同类别节点之间的特征相互影响很小,增加了节点特征的区分度,进而提高分类精度。

Wu等(2019)和Li等(2019a)在GCN的基础上,使用归一化增广邻接矩阵的P次方SP来代替式(1)中S,P=2,3,…,分别提出了两种改进的图卷积运算SGC和IGCN,并通过实验证明用SP来代替S在图的半监督分类任务上可以获得更高的精度。本文通过图谱分析进一步发现,如果采用矩阵S奇偶次方组合的方式进行图卷积运算,可以进一步增强图卷积的平滑能力,提高节点分类精度(详细的分析见2.2.2节)。基于此,本文使用学习到的参数将若干个不同次方的邻接矩阵进行线性组合来获得最终图卷积使用的邻接矩阵:

式中,P表示邻接矩阵的最高次方,αj是需要学习的加权系数,Sj指S的j次方。

生成图之后,在图上进行卷积运算,用B代替式(1)中的S,最终的图卷积数学表达式如下:

式中,l表示图卷积网络的层数,本文的实验中使用了两层图卷积网络。邻接矩阵的维度等于batch size的大小,batch size设定为102至103数量级。在实验中,式(3)中的P取值为2,由2.2.2节的频谱分析可知,当P=2时,S的一阶项和二阶项对应的频谱在高频部分正负相抵,可以增强图滤波器对高频分量的衰减作用;
同时相比于原始的GCN,当P=2所提方法复杂度增加很小,在一定程度上兼顾了算法的有效性和算法的复杂度。

2.2.2 图的频谱分析

图的频谱分析是基于图谱理论在谱域对图的性质进行分析的方法,通过分析图的频率特性曲线可以对图的滤波能力进行评估(Wu等,2019)。这里首先介绍图频谱分析的基础知识,包括拉普拉斯矩阵、图的总变差以及图卷积的滤波特性。然后在频域对所提的图卷积方法和GCN、SGC和IGCN进行比较,说明所提算法的优势。

在图频谱分析中,图拉普拉斯矩阵分别对应于传统信号处理中的频率和傅里叶变换的基(Shuman等,2013)。拉普拉斯矩阵定义为L=DA,D是度矩阵,L是半正定对称矩阵,可以进行正交分解L=UΛU-1,这里Λ=diag(λ1,λ2,…,λM)是L从小到大排列的特征值,是对应的正交向量,是对应的图傅里叶变换的基(Li等,2019a)。

图信号是一个定义在图节点集合V上的实值函数f:V→RD,其可以用矩阵表示为H=这里的D指的是信号的维度,M指图节点的个数。假设x∈RM是图上的一维信号,图信号的平滑程度一般采用总变差来衡量(Liu等,2021):

由(5)式可以看出,图上相邻两点vi、vj对应的特征xi、xj差值越小,图信号越平滑,Δ(x)也越小。将L=UΛU-1带入Δ(x)有:

因为λ1≤λ2≤…≤λM,所以x在小特征值对应的分量越多,Δ(x)越小,图上节点的特征越平滑,在大特征值对应的分量越多,Δ(x)越大,相邻节点的特征差异也越大(Li等,2019a)。(λi)1≤i≤M相应信号分量的大小能够反映信号的平滑程度,被看作是图信号的频率,λ1对应于图信号的最低频率,λM对应最高频率。

GCN(Kipf和Welling,2017)对邻接矩阵进行了增广归一化处理:相应的归一化拉普拉斯矩阵为:其特征值和傅里叶变换基分别记为式(1)中给特征矩阵H左乘以邻接矩阵S可展开成:

图3 不同阶数下gP(͂)函数曲线Fig.3 Function curves of gP(͂)with different orders

2.2.3 度量预测

经过图滤波后,图神经网络输出的特征送给度量预测部分做预测,输出预测节点的类别概率。首先使用每一类标记节点的特征向量计算每个类的原型中心:

式中,hi和yi分别表示节点vi对应的特征向量和标签,N是类别个数,S(k)表示输入的M幅图像中,第k类带标签的图像组成的集合。计算出原型中心后,采用ProtoNet(Snell等,2017)中的预测方法,使用欧氏距离计算未标记数据与各类的原型中心在特征空间距离,然后代入softmax计算出类别的概率如下:

综上所述,提出的Multi-GCN进行小样本分类的流程为

输入:模型参数

(1)每次从数据集读取一个batch的遥感图像

(2)xi,i=1,2,…M,用CNN提取图像xi的初始

(3)forl=1,2:

(4)利用式(2)和式(3)计算矩阵A和B;

(6)end

(7)利用式(9)计算各类的原型中心ck;

(8)利用式(10)计算未标记样本的类别概率;

2.3 模型的训练

所提模型包括特征提取、多图卷积和度量预测这3个部分(图2),其中第一部分的CNN和第二部分多图卷积网络的参数需要通过训练得到,训练使用的损失函数均为交叉熵损失函数(Snell等,2017):

式中,yk表示节点真实值的标签,以独热码的形式给出。̂表示模型的预测值。

训练共分为3个阶段:第一阶段是CNN网络的预训练,该阶段直接将CNN与度量预测部分相连在DA上进行训练,利用式(11)得到分类损失,反向传播更新CNN的参数;
第二阶段将图2所示的整个模型在DA上进行训练,更新CNN、多图卷积网络的参数;
第三阶段是微调阶段,在每一类标记样本个数K大于1的情况下,利用式(11)和DT中的标记样本对最后一层图卷积网络进行微调训练,微调算法具体步骤为

输入:在DA上训练得到的模型参数θ0,DT的支

(1)forj=1,…,Nfine-tune:

(3)DataS并得到;

(4)将DataS和DataQ拼接作为网络的输入,利

用表1中的前向算法预测出DataQ的类别;

(5)根据式(11)计算损失函数Lθj-1;

(6)更新网络参数:θ j=θ j-1-α∇Lθj-1;

(7)end输出:训练后的模型。

其中的Nfine-tune是微调阶段的循环次数,微调时训练次数不宜过大,在实验中Nfine-tune=2K2。

实验部分用所提Multi-GCN与具有相同主干网络的ProtoNet和GNN-FSL在3个常用的遥感数据集AID(Zhou等,2018)、OPTIMAL31(Wang等,2019)以及RSI-CB256(Scott等,2018)上进行了比较,验证Multi-GCN(实验结果中用Ours指代)在遥感图像小样本分类任务中的有效性;
同时进行了消融实验,分别用一阶和二阶单图网络在相同条件下进行了测试,一阶单图网络相当于ProtoNet与GCN的结合,二阶单图网络相当于ProtoNet与IGCN的结合,这两种方法分别记为ProtoGCN和ProtoIGCN。表1给出了不同模型的异同点对比。

表1 各方法异同点对比Table 1 Comparison of similarities and differences of each method

3.1 数据集与实现设置

实验部分使用的数据集是遥感图像场景分类3个常用数据集AID、OPTIMAL31以及RSICB256。实验共分为两部分,相同数据集小样本分类和跨数据集小样本分类。在相同数据集小样本分类任务中,每次从一个数据集中随机抽取N-way类作为任务数据DT,其余类别对应的数据作为辅助数据DA用于训练和验证。在跨数据集小样本分类中,辅助DA和测试DT来自不同数据集,且类别不同。

AID数据集是一个大型航空图像数据集。该数据集共有30个场景类别,总共约10000幅图像,每幅图像大小为600像素×600像素;
OPTIMAL-31(OPT)数据集包含了从谷歌地图中收集的31类影像,每个类由60幅图像组成,大小为256像素×256像素,总共有1860幅图像;
RSI-CB256(RSI)是一个大型遥感图像数据集。该数据集包含农业用地、建设用地、交通运输和设施、水利设施、林地和其他用地6个大类,35个小类,共24000幅图片,每幅图片的大小为256像素×256像素,实验中,将35个小类的类别作为图像的标签。

实验中batch size的大小为N(K+Q),N指类别个数,K指每一类标记样本数,Q指每一类需要预测的样本数,实验中Q=15,每个epoch采样100个batch。遵循现有文献(Snell等,2017)的表示方法,实验中将任务数据集类别数为N,每一类标记样本数为K的实验设置简写为“N-wayKshot”(比如图4—图7以及表4中的5-way 5-shot表示任务数据集类别数为5,每类标记样本数为5)。Multi-GCN共有两层,第一层图卷积网络各节点的权值矩阵W(1)为1600维的单位矩阵,第二层的权值矩阵W(2)∈R1600×1000通过训练得到。每层图神经网络的输出都接着批量归一化层和ReLU激活层。Multi-GCN的输出送入度量网络得到最终的预测结果。模型的训练使用Adam优化器,初始学习步长为10-3,每循环1000次步长减小一半。实验平台为Intel Xeon E5-2623 v4处理器、128 G内存,并使用NVIDIA TITANX pascal显存运算进行加速。软件使用PyTorch搭建神经网络。

3.2 同数据集的遥感图像小样本分类

本实验中,每个小样本分类任务的辅助数据集DA和任务数据集DT来自于同一数据集的不同类别,数据集的划分如3.1节所述。模型首先在DA上进行训练和验证,然后在DT上进行测试。得到在测试类别数分别为5、10,每一类图像的标记样本数分别为1、3、5、10的情况下,各方法在3种数据集上的分类精度如图4—图6所示,图中finetune表示模型使用了微调算法,横坐标K表示每一类的标记样本数,纵坐标表示分类精度(Snell等,2017)。

图4 每一类图像的标记样本数分别为1、3、5、10的情况下,数据集AID的小样本分类精度Fig.4 Few shot classification accuracy of AID dataset when the number of labeled samples of each class is 1,3,5,and 10 respectively

图5 每一类图像的标记样本数分别为1、3、5、10的情况下,数据集OPTIMAL-31的小样本分类精度Fig.5 Few shot classification accuracy of OPTIMAL-31 dataset when the number of labeled samples of each class is 1,3,5,and 10 respectively

图6 每一类图像的标记样本数分别为1、3、5、10的情况下,数据集RSI-CB256的小样本分类精度Fig.6 Few shot classification accuracy of RSI-CB256 Dataset when the number of labeled samples of each class is 1,3,5,and 10 respectively

从上面的结果可以看出:(1)所提方法在精度方面高于ProtoNet,尤其在每一类数据标记样本只有1的情况下在3个数据集均高出5%以上,从模型结构上看,所提方法只比ProtoNet增加了一个多图卷积网络,说明通过图卷积网络对图像特征的滤波作用,能够显著提高预测精度;
(2)与GNN-FSL相比,所提方法在精度方面平均高出约10%。GNN-FSL将任意两个节点的特征输入到多层感知器求得对应边的权重,得到一个稠密的图网络,然后使用图卷积进行节点特征的更新,利用更新后的特征计算节点标签概率。这种方法的缺点是在DA上训练出的多层感知器不一定能够很好的迁移到DT中,同时,这种方法得到的是一个全连接网络,由于遥感图像特征相似度较高,可能会给不同类别的节点之间分配一种较大的权重,让节点过多聚合其他类别的特征,降低分类精度。所提方法使用“KNN+径向基函数”计算邻接矩阵,不需要使用多层感知器,同时每个节点只和特征最相近的K个邻居相连,在一定程度上避免了不同类别节点之间的干扰,因此所提方法在精度方面明显好于GNN-FSL;
(3)所提方法在大多数情况下预测精度高于ProtoGCN和ProtoIGCN,这与本文2.2.2节中的分析相一致,证明了不同阶次的邻接矩阵线性组合能够提高节点标签的预测精度;
(4)在标记样本个数大于1的情况下,使用finetune的训练方法又可以将分类精度提高0.5%—2.0%,这就证明了,使用少量样本对最后一层图卷积网络进行微调,能够提升模型的迁移能力,提高模型在新任务上的分类精度。

图7给出了10-way 5-shot情况下,所提方法和ProtoNet在AID和RSI-CB256这两个数据集上的损失(val_loss)和精度(val_accuracy)曲线,其中所提方法的曲线是CNN经过20个epoch预训练后的结果。从图7可以看出,在50个epoch内模型基本已经达到最优,实验中设置的epoch的值为50。

图7 训练过程验证集损失曲线和精度曲线Fig.7 Val_loss curve and val_accuracy during training

表2和表3给出了在图像大小不同的两个数据集上,不同方法训练和测试的时间。引入图卷积网络的方法在训练和测试阶段所需时间均高于ProtoNet,但是所提方法训练时间小于1 h,分类一幅图像的时间依然是毫秒级别,满足现实中大部分应用的需求,并且在分类精度方面显著高于ProtoNet。

表2 模型在AID和RSI两个数据集上的训练时间Table 2 Training time of models on AID and RSI datasets

表3 测试过程中,在两种图像大小不同的数据集上分类一幅图片平均所需时间Table 3 Average time required to classify an image on two datasets with different sizes during the testing

3.3 图卷积运算对节点特征聚集性的影响

为了定量衡量节点特征的聚集程度,测试不同方法对特征的平滑能力,本文提出了一种新的量化指标——特征聚集系数,特征聚集系数定义为:在特征空间中,本类样本距其他类原型中心平均距离与本类样本距本类别原型中心平均距离的比值,其表达式为

式中,N指DT中的类别数,Q(k)表示第k类未标记样本组成的集合,|Q(k)|表示样本的个数,hi表示样本i最终用于预测的特征,ck表示第k类的原型中心。根据式(12)中η越大,说明在特征空间,未标记样本距离其他类原型中心的距离相对越远,我们的结果表明,距离本类别原型中心的距离相对越近,数据的聚集性越好。表4和表5分别给出了使用本文3.2节训练好的4种模型在不同条件下获得的的特征聚集系数。

表4 N=5的情况下各方法特征聚集系数Table 4 Feature clustering coefficients of different methods when N=5

表5 N=10的情况下各方法聚集系数Table 5 Feature clustering coefficients of different methods when N=10

由表4和表5可以看出,与ProtoNet相比,引入图卷积网络的方法能够显著增强图像在特征空间的聚集性,而在3种引入了图卷积网络的方法中,所提方法的特征聚集系数最高。对比图2—图4和表4、表5可以看出,特征聚集系数和分类精度成正相关关系,即在相同条件下,某种方法的特征聚集系数越高,其对应的精度就越高;
同时,从表4和表5可以看出,与ProtoGCN和ProtoIGCN相比,所提方法在相同条件下能够获得最高的特征聚集系数,这说明提出的图卷积运算能够让同类节点的特征更显著的趋于一致,提高算法的精度,这与本文2.2.2节从频谱分析得到的结果相一致,从另一方面证明了所提方法的有效性。

3.4 小样本分类结果展示与分析

图8给出了当数据集为RSI的情况下,某个batch中的支撑集数据与部分查询集数据示意图,而表6给出了各方法的预测结果;
表7和图9分别给出了4种方法对应的特征聚集系数和经过降维处理后的特征可视化分布图,其中,图9中点的颜色表示对应数据的真实标签。

表6 各方法对图8中所给查询集的预测结果Table 6 Prediction results of each method for the query set given in Fig.8

图8 实验中某个batch中的支撑集与查询集示意图Fig.8 Support set and query set in a sampling batch in the experiment

表7 各方法的聚集系数Table 7 Feature clustering coefficients of different methods

图9 4种方法得到的特征向量经过t-SNE可视化后的分布Fig.9 The distribution of the feature vectors obtained by the four methods visualized by t-SNE

通过表7和图9可以看出,对于同一组数据,经过图卷积运算后,同类图像的特征聚集程度更高,特征区分度增强。与没有使用图网络的方法ProtoNet相比,原来容易被错分的一些特征区分度不高的图像(比如bridge和sea)经过图卷积运算之后,会被正确的分出来;
同时从表9可以看出,所提方法能够获得最高的特征聚集系数,这反映了所提方法的优势。

3.5 跨数据集的遥感图像小样本分类

为了测试辅助数据集DA和任务数据集DT来自不同遥感数据集时所提方法的有效性,本实验中每次从AID、OPTIMAL31和RSI-CB256这3个数据集随机抽取两个作为DA和DT,将DA和DT中标签相同的数据全部剔除,确保DA和DT中标签互不相交。图10—图13分别给出了当DT中类别数N-way分别为5和10,每一类中标记样本的个数K-shot分别为1和5的情况下,各方法在跨数据集小样本分类任务中的分类精度。

图10 5-way 1-shot条件下,跨数据集小样本分类精度Fig.10 Under the condition of 5-way 1-shot,the accuracy of few shot classification in cross domain

图13 10-way 5-shot条件下,跨数据集小样本分类精度Fig.13 Under the condition of 10-way 5-shot,the accuracy of few shot classification in cross domain

图11 5-way 5-shot条件下,跨数据集小样本分类精度Fig.11 Under the condition of 5-way 5-shot,the accuracy of few shot classification in cross domain

图12 10-way 1-shot条件下,跨数据集小样本分类精度Fig.12 Under the condition of 10-way 1-shot,the accuracy of few shot classification in cross domain

从实验结果可以看出,在跨数据集的情况下,提出的Multi-GCN方法在分类精度方面比GNNFSL高出10%—15%。与ProtoNet相比,在1-shot的情况下高出约10%,在5-shot的情况下高出约2%—5%。在绝大多数情况下也好于基于单图的方法。在引入微调训练方法后,跨数据集小样本分类的精度大约提升1%。通过实验结果可以得出与本文3.2节相一致的结论,证明了所提方法在跨数据集情况下的有效性。

针对现有小样本分类方法在遥感图像小样本分类任务中精度不高的问题,本文提出了一种基于多图卷积的分类方法Multi-GCN。所提方法在ProtoNet的基础上,引入图卷积网络来建模图像在特征空间的相似关系,利用图卷积运算对同类别的图像特征进行平滑,更好的为度量预测提供有效的图像特征,提高分类精度。在图卷积运算中改进了现有卷积方法,使用多阶次矩阵的线性加权和代替GCN中的一阶矩阵,通过图谱分析得出,这种改进方法能够有效抑制图信号的高频分量,增强对图节点特征的平滑能力,提升方法的有效性。同时,提出了衡量特征聚集程度的指标——特征聚集系数,通过测试得出与现有方法相比,所提方法能够获得最高的特征聚集系数,进一步证明了方法的有效性。另外在训练中引入了微调的方法,增强了模型的迁移能力。实验从相同数据集小样本分类和跨数据集小样本分类两个方面对方法的精度进行了测试。实验结果表明,在相同数据集小样本分类任务中,所提方法在分类精度方面显著优于ProtoNet,在每一类标记样本数等于1的情况下,所提方法的精度比ProtoNet高出5%以上;
与GNN-FSL相比,所提方法在精度方面平均高出约10%。在跨数据集小样本分类任务中,提出的Multi-GCN方法在分类精度方面比GNN-FSL高出10%—15%。与ProtoNet相比,在1-shot的情况下高出约10%,在5-shot的情况下高出约2%—5%。在绝大多数情况下也要好于GCN、IGCN等单图的方法。提出的多图卷积运算及其谱分析结论在其他的图节点分类任务中具有参考意义,在除ProtoNet之外的度量学习小样本分类方法中也具有推广价值。

猜你喜欢 类别卷积样本 基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02论陶瓷刻划花艺术类别与特征陶瓷学报(2021年4期)2021-10-14一种并行不对称空洞卷积模块①计算机系统应用(2021年9期)2021-10-11用样本估计总体复习点拨中学生数理化(高中版.高一使用)(2021年2期)2021-03-19一起去图书馆吧少儿画王(3-6岁)(2020年4期)2020-09-13从滤波器理解卷积电子制作(2019年11期)2019-07-04规划·样本领导决策信息(2018年16期)2018-09-27基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20随机微分方程的样本Lyapunov二次型估计数学学习与研究(2017年3期)2017-03-09“官员写作”的四个样本西南学林(2011年0期)2011-11-12

推荐访问:卷积 遥感 多图