王汝意 张汉卿 韩 冰* 张月婷 郭嘉逸 洪 文 孙 巍 胡文龙
①(中国科学院空天信息创新研究院 北京 100190)
②(中国科学院空间信息处理与应用系统技术重点实验室 北京 100190)
③(中国科学院大学电子电气与通信工程学院 北京 100049)
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率微波成像雷达。作为一种主动发射信号的传感器，SAR可以全天时、全天候获取被观测区域目标的散射信息，丰富的信息与及时高效的数据获取能力使得SAR在军事侦察、地形测绘、灾害监测、应急预警等多个领域发挥越来越重要的作用。
SAR成像机理决定了对于结构较为复杂的目标而言，其SAR图像特征将呈现显著的角度敏感特性。目前，在SAR目标检测识别等研究中被广泛使用的多角度观测公开数据集为MSTAR (The Moving and Stationary Target Acquisition and Recognition)数据集，但MSTAR数据集的观测对象仅包含苏联军用车辆目标。随着SAR技术应用领域的扩大以及SAR数据获取技术的发展，构建各种典型目标的多角度SAR数据集的需求日益迫切。
针对本论文研究的典型目标—飞机目标，目前尚未有比较完备的多角度SAR图像数据集。由于飞机目标在不同的观测角度下会体现出不同的散射特性，且飞机目标形状较为复杂，方位向各向异性特征显著，所以构建类似MSTAR的飞机多角度SAR数据集需要针对飞机各向异性特性系统地展开对数据集构建理论和方法的研究。
构建目标多角度SAR图像数据集的传统方法一般包括实验室半物理仿真、计算机仿真、实际数据采集等多种方式。实验室缩比半物理仿真，即对实体或缩小目标在外场或微波暗室进行实际测量[1]；
计算电磁学计算机仿真，即先借助计算机软件对目标的几何外形进行精确建模，再用计算机代码编程实现电磁计算方法，通过仿真计算得到目标电磁散射回波特性[2]；
实际数据采集则利用机载SAR系统针对特定目标进行如360°圆迹实际观测的数据获取。前两种方法的缺陷主要是难以实现对真实目标的准确描述，而最后一种方法的难点是成本高、受限因素多等。
随着深度学习技术的发展，Goodfellow等人[3]在2014年提出的生成对抗网络(Generative Adversarial Networks，GAN)具备一定的数据内插和外插能力，在SAR图像的数据扩充和目标识别等方面有很好的应用前景。针对传统电磁仿真算法精度差、速度慢、自动化程度低的问题，Guo等人[4]开发了一种端到端模型，可以利用GAN直接从已知的图像数据库中生成所需的图像，并补全SAR目标在各个方位角下的结果。Zhang等人[5]结合SAR图像对目标方位角等参数敏感的特点，在利用深度卷积生成对抗网络(Deep Convolutional GAN，DCGAN)扩充目标图像的过程中，通过加入方位识别模型提取图像中的目标方位角，来生成与真实图像中目标的方位角一致的特定图像。为了改善DCGAN方法的不稳定性，同时更好地丰富完善已获取的SAR目标图像的角、方向等信息，张明蕊[6]提出了一个基于WGAN-GP(Wasserstein GANGradient Penalty)可用于SAR图像方位角筛选模型，证明了生成的SAR图像是有效的，可以在一定程度上扩充现有图像数据。为解决SAR自动目标识别中的数据稀疏问题，孙智博等人[7]提出一种基于谱归一化生成对抗网络(Spectral Normalization Generative Adversarial Network，SN-GAN)的目标SAR图像仿真方法，通过实验验证，在训练集中加入SN-GAN优化的仿真SAR图像可以有效缓解数据稀疏问题，提升分类算法的准确率。Liu等人[8]提出利用RaySAR等工具生成模拟图像来增加训练集大小；
然后，他们提出使用CycleGAN来调整仿真图像，实验结果表明，使用CycleGAN可以使分类准确率提高9.3%。生成对抗网络及其衍生网络在生成SAR图像样本中的广泛应用，促进实测数据采集和智能仿真相结合的目标多角度SAR数据构建与扩容技术的发展。
截至目前，无论是在国内还是国际上，基于GAN的SAR图像生成的研究基本上是基于MSTAR数据集而展开的。尚无人使用除MSTAR车辆数据集以外的多角度观测数据对SAR目标进行多角度数据集构建方法的研究工作。飞机目标轮廓复杂，角度敏感性更加突出，且相对于车辆来说尺寸更大，若使用传统的GAN网络容易忽视飞机整体的特征，所以针对飞机目标数据集构建方法的研究有着十分迫切的需求。
在本文中，通过实测数据采集来构建飞机目标SAR多角度数据集，并基于散射分析和自注意力生成对抗网络(Self-Attention GAN，SAGAN)实现特定角度的SAR图像内插仿真，从而为数据集构建和扩容提供新的解决方案。首先，采用无人机载SAR以尽可能小的角度间隔采集数据，围绕飞机目标多角度拍摄获得SAR原始回波数据，对其进行成像处理，并对获得SAR图像进行数据预处理，得到飞机图像切片数据。然后，假定部分数据缺失，采用SAGAN对缺失角度的飞机SAR图像进行角度内插仿真，使用6种评价指标对仿真图像与实际采集的数据进行数值分析并补全目标能量积分曲线，证明了使用该方法进行特定角度图像仿真的可行性。
试验使用的雷达是中国科学院空天信息创新研究院研制的4 kg级MiniSAR R/SYA4000Ku-T1，采用KWT-X6L-15多旋翼无人机作为飞行平台，集成了雷达主机、惯性导航系统、供电模块、稳定云台4大部分。其集成平台实景图如图1所示。
图1 集成平台实景图Fig.1 Picture of integrated platform
试验选定山西省太原市尧城机场内自有停放的多架飞机作为本项目获取数据的观测对象。本文中研究的飞机目标是大棕熊100型(以下简称大棕熊)和“空中拖拉机”AT-504(以下简称T504)飞机，其现场图像如图2所示。此外，在该机场中还停放着其他型号的飞机，如空中国王350i、塞斯纳208“大篷车”等。在本文中只对大棕熊和T504飞机进行相关的研究，其余飞机目标后续会进行对比分析。
图2 现场图像Fig.2 Situation image
试验中，SAR采用右侧视观测且下视角为45°，所用成像方式为条带成像模式。试验中以大棕熊飞机为目标中心规划航线飞行，并要求以相邻航线之间的间隔为5°，即获取72个角度的SAR条带数据，并保持雷达的下视角和雷达发射功率恒定。飞行航线示意图如图3所示。其中，由于每条飞行航迹均采用右侧视，所以相反的两条航迹关于成像中心是中心对称的。
图3 试验航线规划局部图Fig.3 Local figure of route planning
3.1 飞机数据集数据预处理
传统SAR成像算法采用侧视观测几何来获得方位-斜距二维图像，由于飞行航线是随着观测角度不断变化的，所以飞机上的同一个点在不同角度的SAR图像中的位置是不同的，这给后续的散射特性分析带来了困难。BP成像算法可以将成像区域网格化，保障不同角度下网格位置的一一对应关系[9]，所以本文中使用BP算法对原始数据进行成像处理。
BP算法是在时域进行操作的SAR成像算法。BP算法首先将成像的场景进行网格划分，最终形成的SAR图像中每个像素代表一个网格，将雷达回波数据反向投影到成像区域的每个像素，再将每个像素处的回波进行相干叠加，最后恢复出每个像素的目标函数。在本文中，成像网格根据数字高程模型(Digital Elevation Model，DEM)设定，网格分辨率设置为0.05 m。
经过BP成像之后，还需对成像后的SAR图像进行预处理，来获得构建数据集所需的飞机图像，其处理流程如图4所示。
图4 数据集切片制作流程图Fig.4 Flow chart of dataset making
首先，从BP成像之后的SAR复图像中裁剪出飞机SAR复图像(a)；
然后，将(a)中的复数取模，转化为(b)；
同时，为了防止强散射点对图像缩放和幅值归一化的影响，在复数取模后，需对其设置最高幅值阈值，并将超过该阈值的幅值设置为阈值的大小，得到(c)；
然后，将(c)经双线性插值缩放至128×128大小，得到(d)；
最后，将(d)的幅值归一化至[0，255]区间内，得到飞机图像，即本文实验所使用的数据。
该数据集共有两型飞机，每型72张飞机图像，对应的角度信息分别为0°，5°，10°，15°，···，340°，345°，350°，355°，每张图像的大小都是128×128，且像素幅值都在[0，255]区间内。最后，制作的飞机数据集切片如图5和图6所示。两型飞机多角度数据集，见《雷达学报》官方网站“论文数据集 2022年第1期。
图5 大棕熊数据集展示Fig.5 Display of Quest dataset
图6 T504数据集展示Fig.6 Display of T504 dataset
3.2 基于幅度信息的飞机数据集散射分析
雷达散射截面积(Radar Cross Section，RCS)是目标在雷达接收方向上反射雷达信号能力的度量，一个目标的RCS等于在单位立体角内目标在雷达接收天线方向上反射的功率与入射到目标处的功率密度之比[10]。其计算公式为
其中，Ei入 射电场矢量，Er为 在距离目标R处反射电场矢量。同时，因为SAR图像中每个像素的幅值就是该像素的强度，所以这里将SAR图像中目标的幅值之平方和定义为目标的能量积分。
如果一个目标的主体能量分布在N个像素点内，并且多角度SAR图像中第m(m=1，2，3，...，N)个像素处的幅值随角度变化的曲线为Rm(k)，其中k为不同的方位角度，那么我们将目标的能量积分随角度变化的曲线定义为
即目标在某一角度的能量是每个像素在该角度能量的叠加。因此，目标的能量积分曲线可以通过像素的累加获得。这相当于用一个等效像素来表示整个目标，类似于散射中心的概念[11]。
在本文中，将飞机数据集中每张切片图像的各个像素值按照式(2)进行相加，并将得到的结果取模，得到了飞机的能量积分随角度变化的曲线，分别是0°，5°，10°，···，345°，350°，355°等72个角度的目标能量积分随角度变化的曲线，以及假定部分数据缺失后，剩余的0°，10°，20°，···，330°，340°，350°等36个角度的目标能量积分随角度变化的曲线，如图7、图8所示。
试验中，在各个不同角度观测时保持雷达发射功率恒定，得到的SAR图像是处于同一辐射基准下的，所以虽然目标的能量积分的数值较大，但目标能量积分随角度变化的曲线仍能反映出各不同角度目标能量积分之间的相对关系。对比图7、图8中(a)、(b)两图，可以发现(b)图虽然在轮廓上与(a)图相差不大，但在曲线变化的细节方面仍和(a)图有着较为明显的差异。在后续的实验中，会将(b)图对应角度的图像作为数据集，利用SAGAN来进行中间角度的仿真，实现对目标能量积分曲线进行角度补全，证明SAGAN在飞机数据集缺失角度仿真中的能力。
图7 大棕熊目标能量积分变化曲线Fig.7 The integral curve of target energy of Quest
图8 T504目标能量积分变化曲线Fig.8 The integral curve of target energy of T504
本文使用的网络由两大部分构成，一个是生成器G，一个是鉴别器D，如图9所示。二者相辅相成，生成器G产生尽可能真的假样本来骗过鉴别器D，而D则不断通过反馈学习鉴别出样本的真假。在网络训练过程中，二者交替进行，最终达到平衡状态[12]。同时，由于需要生成特定角度的SAR图像，所以需要在生成器和鉴别器的输入端引入角度标签c，使其指导图像的生成过程，生成指定标签的样本。
图9 网络模型结构图Fig.9 Structure diagram of network model
4.1 生成器模型G
生成器模型G的网络结构如图10所示。在图10中，Deconv表示反卷积(Deconvolution)操作，SN表示谱归一化(Spectral Normalization，SN)，BN表示批归一化(Batch Normalization，BN)，ReLU表示线性整流函数(Rectified Linear Unit，ReLU)，网络中的H×W×C分别表示每层的高度、宽度和通道数量。
图10 生成器G 的网络结构图Fig.10 Structure diagram of generator G
生成器有两个输入，一个是服从标准正态分布的60位随机噪声z，另一个是输入图像的方位角信息c=[sinθ，cosθ]。在生成器的输入端，将输入的两部分通过反卷积网络上采样为相同的维度，并进行通道合并。然后经过5层反卷积上采样得到128×128大小的仿真SAR图像。
4.2 判别器模型D
判别器模型D的网络结构如图11所示。图中Conv表示卷积(Convolution)操作，Leaky ReLU表示渗漏整流单元。
图11 判别器D的网络结构图Fig.11 Structure diagram of discriminator D
判别器本质上就是一个二分类器。判别器也有两个输入，一个是生成器生成的SAR图像或真实的SAR图像，另一个是图像对应的角度信息c。经过通道合并和卷积下采样后，最后传送给全连接层进行分类，得到输入图像的可信度d=D(x)∈R，当判别器的输入为真实图像时可信度d ≥1，当判别器的输入为生成图像时可信度d ≤-1，而当可信度d∈(-1，1)时，判别器对图像的分类结果不确定。
4.3 自注意力机制
在生成飞机图片时，也是非常注重细节的，以左右机翼举例，只要左右机翼有一点点不对称，就会显得生成的飞机特别不真实。但是一般的卷积神经网络受局部感受野的限制，只能实现图像局部区域的精确建模，而无法体现图像中距离较远的特征之间的相关性。而自注意力机制为解决这一问题提供了新的途径。
自注意力模块将所有位置处的特征的加权和作为该位置的响应，在模拟远距离依赖性的能力、计算效率之间有非常好的权衡，其网络拓扑图如图12所示[13]。
图12中，x∈RC×N(N=H ×W，x1，x2，...，xN为N个特征区域) 表示前一个隐含层的输出，transpose为矩阵转置运算，⊗代表矩阵乘法，softmax为归一化指数函数，f，g，h分别代表不同的特征空间，且
图12 SAGAN的自注意力模块网络拓扑图Fig.12 Topology of the self-attention module network in SAGAN
网络的最终输出为
表示全局空间和局部信息整合到一起，γ参数是从0开始初始化，目的是让网络首先关注邻域信息，随后慢慢把权重分配到其他远距离特征上。
本文在生成器模型和判别器模型中均使用了注意力机制，如图10和图11中绿色方块所示。
4.4 谱归一化
此外，本文将谱归一化分别应用于生成器和判别器中来稳定网络的训练过程。谱归一化，是一种让函数满足Lipschitz条件的方式[14]。将谱归一化作用在生成器和判别器每一层的权重矩阵上，可以让判别器满足Lipschitz条件，同时也避免了生成器的参数过多导致梯度异常，使整个训练过程更加平稳和高效。其实现简单，额外的计算成本很低。
4.5 目标函数
本文中目标函数使用铰链损失函数(Hinge Loss)，并采用交替训练的方式来最小化对抗性损失。判别器和生成器的目标函数分别为
其中，Pdata是 数据集的分布函数，x和y表示从中采样出来的真实图像；
Pz服从标准正态分布，z表示从中采样出来的随机噪声；
c为方位标签信息。当判别器判定真实图像x为真实图像时，判别器的目标函数LD的第1项为0；
当判别器判定生成器生成的图像G(z|c)为虚假图像时，LD的第2项为0；
当判别器错判或判别不出图像的真假时，要对两项的损失进行累加。生成器的目标函数LG使用判别器对生成图像G(z|c)的判定结果来作为损失函数。
实验采用Pytorch深度学习框架。在训练过程中，设置batch size为12。生成器和判别器均采用Adam优化器，初始学习率设置为0.00002，超参数α1=0.5，α2=0.9。
5.1 对照实验
为了方便对比本文网络模型的性能，本文将进行以下几组对照实验，并将通过几种仿真方法仿真的图像与采集到的真实图像进行参数对比，如表1所示。
表1 对照实验设计Tab.1 Design of control experiment
本文将每型飞机的实验分为3大部分，分别假定有不同程度的数据缺失，在每一部分使用线性插值仿真和DCGAN网络仿真来与SAGAN网络仿真的结果进行对比。
5.2 评价指标
本文将使用均值、方差、动态范围、等效视数、辐射分辨率[15]以及多尺度结构相似性[16](Multi-Scale Structural Similarity，MSSSIM) 6种评价指标来评估3种仿真图像与真实图像之间的相似程度。
图像的均值反映了图像的亮度，描述了目标的平均后向散射特征；
图像的方差反映了像素值的不均匀性，图像越不均匀，方差越大；
动态范围是图像最大灰度和最小灰度的比值，动态范围的减小会导致图像特征的模糊；
等效视数反映了图像斑点噪声的相对强弱，等效视数越大，斑点噪声越弱；
辐射分辨率反映了图像中像素点的区分能力，辐射分辨率越高，图像越清晰；
多尺度结构相似性将失真建模为亮度、对比度和结构3个不同因素的组合，具有对称性，当两个图像完全相同时，MSSSIM值达到最大值1。值得注意的是，动态范围的定义是D=10×lgImax/Imin，其中Imax为图像幅度的最大值，Imin为图像幅度的最小值，由于在图像中有些Imin=0，所以我们定义Imin=max(Imin，1)。
6.1 评价指标和视觉效果
本文实验结果如表2和表3所示，表中分别列举了6种评价指标，并展示了相应的图像便于视觉上的对比。
在表2和表3中，均值和方差越接近真实图像的评价指标，说明仿真的图像越接近真实的图像。
表2 大棕熊飞机的实验结果Tab.2 The results of Quest
表3 T504飞机的实验结果Tab.3 The results of T504
对比DCGAN和SAGAN的仿真结果可以发现，除“动态范围”这一评价指标之外，SAGAN在其他指标上表现力更好。这是因为SAGAN引入了自注意力机制和谱归一化，自注意力机制关注了图像中较远距离的相关性，谱归一化使得网络的训练更加稳定，因此SAGAN即使在数据集不充足的情况下(如实验3)，也能够生成视觉可以分辨出的飞机图像。
由于BP成像算法可以将成像区域网格化，所以在不同角度的SAR图像中飞机目标的轮廓位置是相同的，因此本文也采用了线性插值仿真的方法来与SAGAN仿真的结果进行对比。可以看出，在均值、等效视数和MSSSIM 3个评价指标中，SAGAN有着明显的优势，说明SAGAN仿真的图像拥有更高的亮度、更弱的斑点噪声，并且在结构相似性上与真实图像更相似。虽然SAGAN仿真的图像在方差、动态范围和辐射分辨率上的表现逊色于线性插值的方法，但随着实验数据集数据的增加(从实验3到实验2再到实验1)，这3个指标的数值也在逐渐增加，有些已经逼近甚至超过了真实图像和线性插值仿真的图像的评价指标数值，仿真图像也变得越来越清晰。
此外，本文还利用DCGAN和SAGAN分别对MSTAR数据集中的2S1型坦克进行了缺省角度仿真，所得结果如表4所示。由表4的数据可知，不论在评价指标上，还是在视觉效果上，SAGAN都展示出了较强的仿真能力，说明不论是针对飞机目标还是坦克目标，基于SAGAN的缺失角度内插仿真具有较强的适用性。
表4 2S1的实验结果Tab.4 The results of 2S1
6.2 目标能量积分曲线角度补全
下面利用仿真图像进行目标能量积分曲线的角度补全，其实验结果如图13所示。图中，蓝色的实线代表生成图像与真实图像的MSSSIM曲线，桔黄色的实线代表数据集的目标能量积分曲线，黑色的虚线代表假定一半数据缺失后，采用生成图像补全的目标能量积分曲线。
图13 目标能量积分角度补全Fig.13 Angle completion of target energy integral
可以看出，在绝大部分区域，桔黄色实线和黑色虚线能够较好地吻合，说明生成图像和真实图像具有极高的相似性，这也从另一方面证明了SAGAN应用于飞机目标特定角度仿真是可行的；
然而，在MSSSIM曲线的局部极小值点以及目标能量积分变化较为剧烈的角度，两条目标能量积分曲线仍有着比较显著的差异。因此，若想要实现目标能量积分曲线的较为理想的补齐，仍需要对上述区域进行较为密集的数据采集。
6.3 目标背景区域条纹状图像的讨论
仔细观察图5和图6，发现在0°，85°，90°，175°，180°，270°以及355°的图像目标背景区域会出现细条纹，经判断后确认是由于停机坪水泥边缘的反射
引起的。为了讨论其是否给实验结果带来影响，本文将大棕熊数据集中上述角度的条纹区域去除，并按照表1数据集的设置使用SAGAN仿真了部分角度的图像。
以0°的大棕熊飞机SAR图像为例，将BP成像之后的复图像做方位向傅里叶变换后，得到其方位向频谱图，如图14所示。
从图14(b)可以发现，没有条纹的背景(距离向=50，即图14(b)左侧红虚线)和有条纹的背景(距离向=90，即图14(b)右侧红虚线)在频谱图中有着较大的差异。分别绘制出这两处的方位向频谱曲线，如图15所示。
图14 0°的大棕熊SAR图像及其方位向频谱图Fig.14 SAR image and azimuthal spectrum of Quest at 0°
图15 距离向=50和90处的方位向频谱曲线Fig.15 Azimuth spectrum curves at range=50 and range=90
从图15可以发现，由于停机坪水泥地边缘的反射，有条纹背景的频谱图(b)相较于无条纹背景的频谱图(a)在方位向点数200至280之间频谱变高。将此方位向点数内的频谱设置为图15(a)中相应的大小，并对频谱图做方位向傅里叶逆变换，则可得到去掉该条纹背景的SAR图像，如图16所示。
对比图16(a)与图14(a)，并计算出两者的差值如图16(b)所示，可以发现该方法能有效地去除SAR图像中条纹背景的干扰。采用该方法将0°，85°，90°，175°，180°，270°以及355°的SAR图像条纹背景去除后的结果如表5所示。
表5 条纹背景去除前后的SAR图像对比Tab.5 Comparison of SAR images before and after removing stripes
图16 去除距离向=90处的条纹后的结果Fig.16 Results after removing the stripe at range=90
使用SAGAN仿真的去条纹前后的图像及参数对比结果如表6所示。从表6可以看出，是否有条纹对仿真出来的图像在某些参数上会有些影响，但从视觉效果上相差并不大。因此，若将采用本文所提方法构建出来的数据集应用于目标检测或识别，是否会对其结果造成影响可能还是与检测或识别的方法有关，这一部分将作为后续研究的一部分内容进行深入探讨。
表6 去除条纹区域的对照实验结果Tab.6 The results of the control experiment with the removal of the background area
针对飞机目标，本文研究通过实测数据采集来构建SAR多角度数据集，并利用SAGAN实现特定角度的SAR图像内插仿真。构建数据集完成后，假定部分数据缺失，并使用SAGAN仿真出来的生成图像进行数值分析和目标能量积分的角度补全，证明了使用该方法进行特定角度图像仿真的可行性。该方法结合了实测数据采集和智能仿真，是目标多角度SAR数据构建和扩容的新途径。
本文构建了飞机目标多角度数据集并对其进行了初步的分析与研究，但仍有以下问题尚待解决：在目标能量积分补齐曲线不理想的角度，需要至少几度间隔的数据采集才能使得目标能量积分补齐曲线较为理想；
由SAGAN仿真出来的生成图像，能否在目标分类中取得和真实图像相近的效果；
能否设计一种复数SAGAN，保留数据集的相位信息，来实现复数SAR图像的仿真等。之后，我们将针对这些遗留问题逐一进行深入研究。