徐光生，王士同
1.江南大学 人工智能与计算机学院，江苏 无锡 214122
2.江南大学 江苏省媒体设计与软件技术重点实验室，江苏 无锡 214122
近年来，迁移学习[1]在机器学习和计算机视觉等领域引起了广泛的关注和研究。迁移学习是运用已存有的知识对不同但相关领域问题进行求解的一种新的机器学习方法，它有望解决稀疏标记数据的问题。根据采用的技术的划分，迁移学习可以分为半监督学习[2-3]方法、基于特征选择[4-6]方法、基于特征映射[7-9]方法和基于权重[10-11]方法。本文主要关注于半监督学习与基于特征映射方法的交叉应用场景。
基于特征映射的迁移学习是把各个领域的数据从原始高维特征空间映射到低维特征空间，在该低维空间下，源域数据与目标域数据拥有相同的分布。本文基于此思路从一个或两个域中寻找数据的新的特征表示，以便在两个域之间建立桥梁来减少边缘分布差异和条件分布差异。考虑到现实应用场景下，尤其是当数据是多模态时，在算法的训练阶段目标域的数据并不总是完整的，仅有部分数据是可获得的。因此本文主要关注不完整模态场景下的迁移学习问题。
低秩约束[12-13]已经在迁移学习等相关领域中得到了广泛的应用，它可以对源域或目标域的重构系数矩阵施加低秩约束来揭示它们的内在的数据结构。此外，源域和目标域的投影子空间结构也可以通过低秩约束的感知位置重构特性被挖掘，从而达到减轻两域之间的边缘分布差异的效果。这种低秩重建[14]可以指导常规的子空间迁移学习，整个迁移过程被描述为迭代更新重建系数和子空间投影。此外，Liu等人[15]还使用稀疏误差项来补偿异常值，避免了一定程度上的负迁移。基于低秩约束的重构在人脸、物体、视频等基准数据库上都取得了良好的结果，这证明其是行之有效的数据对齐工具，因此可以应用于迁移学习过程中的源域与目标域之间的数据对齐。一般来说，对于常规的低秩子空间迁移学习，它们关注的核心问题是如何在迁移学习过程中获得使源域数据和目标域数据耦合效果更好的子空间投影，这导致它们大都需要一个必要的前提条件：在训练阶段需要完整的源域信息和目标域信息参与算法的训练。然而，当源域信息或目标域信息不完整时，这些常规的低秩子空间迁移学习算法则效果较差甚至失败。不幸的是，许多现实应用场景是条件苛刻的，例如本文关注的不完整模态问题，它的目标域数据就是残缺的。常规的低秩子空间迁移学习算法无法很好地解决该问题，幸运的是，Ding 等人[16]提出在模态信息完全丢失的情况下可以考虑借鉴其他与目标数据集相似的具有完整模态数据的其他数据集，这为本文的不完整模态问题提供了一个很好的解决思路。例如，目标数据集中具有完整的低分辨率（low resolution，LR）图像和不完整的高分辨率（high resolution，HR）图像，辅助数据集中具有完整的相关但略有不同的低分辨率（LR）图像和高分辨率（HR）图像，在理想情况下，从辅助数据集的低分辨率（LR）图像与高分辨率（HR）图像之间的迁移学习过程中获得的知识可以应用到不完整的目标数据集的迁移学习中。然而，现实中存在许多因素导致两个数据集不同，这就导致不能保证辅助数据集总是起着有益的作用，也有可能会带来负迁移。因此，如何减小辅助数据集和目标数据集之间的差异也是本文使用此解决思路重点关注的问题。
为了克服上述挑战，本文提出了一种基于潜在的低秩约束的不完整模态迁移学习算法（incomplete modality transfer learning algorithm via latent lowrank constraint，IMTL），所提的算法可以解决不完整模态迁移问题。算法的主要思想是基于潜在的低秩约束来学习共享子空间[17]，同一数据集内的不同模态和不同数据集之间的数据投影到该子空间中可以取得良好的对齐。此外，本文还利用了不完整目标域中少量的标记数据来保持目标域在学习过程中的流形结构[18]。本文的主要贡献可以总结归纳如下：
（1）拓展了基于潜在的低秩约束的丢失模态迁移学习的应用场景，在该框架中引入不完整目标域信息以解决不完整模态问题，充分利用了不完整目标域的标记信息来提升共享子空间的耦合能力。
（2）通过借助相似的具有完整模态的辅助数据集，探索了跨模态方向（cross-modality direction transfer，TM）和跨数据集（cross-datasets direction transfer，TD）方向的不完整模态信息迁移。
（3）利用不完整目标域中的少量标记数据进行监督信息对齐，从而不完整目标域的内在结构在迁移学习过程中得以保持。
（4）在人脸识别、物体分类等数据集上大量的实验验证了所提算法的有效性，超越或竞争于一些传统的迁移学习算法。
本文主要关注基于特征映射的迁移学习。迁移学习已经被证明是图像分类、协作推荐和情感分析等许多现实应用场景下一种有效的技术，根据采用的技术划分，可以将其分为半监督学习方法、基于特征选择方法、基于特征映射方法和基于权重方法。本文旨在寻找不同模态和不同数据集的共享子空间，因此属于基于特征映射的迁移学习，但是传统的基于特征映射的迁移学习方法都没有明确解决不完整模态问题。
在特征适应方面，子空间学习引起了广泛的关注，具体而言，子空间学习本质上是试图找到一个合适的子空间，在该子空间中尽可能地保留原始特征的区分性表示。子空间学习被引入迁移学习框架中以弥合公共特征空间中两个域之间的分布差距，通过常规子空间学习方法获得公共特征空间，可以解决维数诅咒和源域与目标域之间分布差异的问题。本文旨在寻找合适的共享子空间以减轻不同模态和不同数据集之间的边缘分布（marginal distribution，MD）[19]差异和条件分布（conditional distribution，CD）差异。
低秩约束在矩阵分析、数据恢复和耐噪数据表示等方面取得了较为不错的效果，它有效地将低秩约束引入数据矩阵，可以帮助构建判别性特征空间并消除异常值。低秩约束已经在迁移学习中得到了广泛的利用，它力求寻找源域和目标域之间的关系，并揭示源域和目标域的内在的数据结构。但是，当数据在恢复底层结构方面受到限制时，从不足的观测数据中挖掘潜在的知识就变得很必要。潜在因子[20-22]在许多数据挖掘和机器学习应用场景中起着关键作用，它通过使用贪婪搜索、推断或近似算法来试图找寻一些人或机器无法观测到的隐藏变量。在本文中，潜在因素被引入低秩约束子空间迁移学习框架中以帮助恢复目标域中丢失的模态信息，这与传统的子空间迁移学习方法或不具有任何潜在因素的低秩迁移学习方法区分开来。
2.1 问题形式化
在不完整模态迁移学习场景下，给定一个辅助数据集和目标数据集，它们分属于不同的特征空间。辅助数据集中具有完整的模态信息，目标数据集中的目标数据丢失大部分模态信息，保留了少量的模态数据及其标签信息。算法的目的就是借助辅助数据集中的完整模态信息和少量带有标签信息的目标数据来将源域的知识传递到目标域。
假定存在辅助数据集A和目标数据集B，每个数据集都包含两种模态：和，其中d是原始特征维数，na代表数据集A中的样本数量，nb代表数据集B中的样本数量。如图1所示，在该模型中一共有四个数据集，分别是辅助数据集中的源域SA与目标域TA和目标数据集中的源域SB和不完整目标域TB，TB中保留的图像为少量标记的目标数据，而空白处则表示TB中丢失的数据。源域和目标域分别具有不同的模态，传统的迁移学习算法关注的是同一个数据集内的两种模态之间的知识迁移或者同一种模态的不同数据集之间的知识迁移，例如SA→TA和SB→TB或SA→SB和TA→TB。然而，当目标域数据不完整时，单一的只关注同一数据集内或同一种模态之间的知识迁移并不足够帮助取得较好的实验效果，尤其如果目标域数据大量缺少，残缺信息散乱的目标域数据甚至可能导致失败。因此选择借鉴辅助数据集中的知识迁移对于解决不完整模态问题至关重要，本文基于低秩约束的子空间迁移学习框架，引入潜在因子挖掘目标域数据中丢失的信息，然后探索了跨模态方向与跨数据集方向的知识迁移。致力于寻找不同数据集和不同模态的共享子空间来传递源域中的判别性区分能力并缓解源域与目标域之间的分布差异。在下文中，IMTL 的具体实现将被详细呈现。
2.2 基于潜在的低秩约束的子空间迁移学习
在不完整模态问题中，如何恢复丢失部分的目标域数据是解决该问题的重点，丢失部分的目标域数据在知识迁移过程中起着至关重要的作用。在下文中，为方便推导解释起见，以跨模态方向（TM）为例。
为了恢复丢失部分的目标域数据，本文首先假定丢失部分的目标域数据是可观测的，因此目标数据集的目标域可以定义为为保留的目标数据，则为丢失部分的数据。在低秩约束子空间迁移学习框架下，辅助数据集和目标数据集可分别构建各自的子空间，并传递源域中的模态信息至目标域：SA→TA和SB→TB。因此，针对辅助数据集和目标数据集，引入低秩约束子空间迁移学习公式：
将式（5）的约束条件转化为：(I-L)PTS=PT(TAZA+TBZB)，I∈Rp×p，显然，TA和TB通过共享子空间P重构了低维源域特征PTS。从几何角度来分析，式（5）实际上提出了在两个方向上重构低维源域特征PTS：列（PTTA和PTTB）重构[24]和行(PTS)重构[25]，列重构通常被认为是字典学习，行重构则被称之为潜在因子。在数据矩阵中，列空间代表主要特征，行空间代表关键对象部分，当数据中的某些样本丢失（即数据矩阵中的某些列为空），通过行重构来恢复数据是非常行之有效的。因此，本文旨在沿着PTTA和PTTB的列空间和PTS的行空间来恢复不完整的目标域数据。
此外，本文为了使所提算法更加稳定，遵循Ding等人[25]的设定，选择预先学习源域数据的低维特征来保持低维源域特征固定，因此，上述目标函数可以被改写为如下形式：
式中，D为源域低维特征，并由SA和SB经P投影降维得D=[DA,DB]=[PTSA,PTSB]=PTS。
2.3 监督信息对齐
在不完整模态的问题中，有辅助数据集中的两种模态和目标数据集中的两种模态共四个数据集，而上述于潜在的低秩约束的迁移子空间框架只考虑了如何恢复丢失部分的数据，既没有阐述不同数据集之间的潜在关系，也没有充分利用不完整目标域数据中的标签信息。在跨模态（TM）方向下，SA和SB构成源域，但是由于SA和SB分属于不同的数据集，标签信息各不相同，本文采用无监督度量方法——最大均值差异（maximum mean discrepancy，MMD）[26]，通过计算SA和SB投影后的特征均值之间的差值来促使它们在共享子空间中特征对齐[27]，于是定义了正则项如下所示：
此外，不完整的目标域数据TB中的标记信息也需被充分利用，本文采用了监督的正则项来将TB中的不同类别的数据分别对齐。TB包含了多个类别的数据，这些类别的数据应位于对应类别的子空间中，重构系数矩阵ZB完成与源域对应的同一类别数据的领域到领域的重构，因此，分别耦合TB中的不同类别的类内数据至关重要。于是，本文提出了监督的正则项如下：
这里，C表示TB中的类别数量，代表TB中的第i类的第j个样本，μi代表TB中的第i类的样本平均值。上述正则项促使同类别的数据彼此接近，这为不同类别数据各自对齐提供了保证，也有益于TB在迁移学习过程中保持内在结构[28]。
2.4 目标函数和优化
为了放松原始问题，本文将稀疏项E∈Rp×n引入目标函数，这样不仅将原本的硬约束转换为软约束，避免了潜在的过拟合问题，而且如果能使E的l1范数最小化，则可以补偿数据噪声。另一方面，为了学习到的共享子空间投影P更具有效性，选择对P施加l2,1范数并求其最小化以借其全局结构稀疏性来帮助寻找最重要的特征部分，这样既避免了过多的差异性较大的特征来扰乱源域与目标域之间的数据对齐，也让具有一定稀疏性的共享子空间投影P降低了存储上的负担。至此，基于潜在的低秩约束的不完整模态迁移学习的目标函数可以被定义为：
式中，λ、α、β和γ是四个平衡参数，正交约束PTP=Ip被施加可以避免共享子空间P的任意小的平凡解。
问题可以通过已有的算法——增广拉格朗日方法（augmented Lagrange methods，ALM）解决，于是本文引入四个变量JA、JB、K和Q将式（9）转化为如下最小化问题：
式（10）的拉格朗日函数形式如下：
这里，F1、F2、F3、F4和F5是五个拉格朗日乘子，μ＞0 是惩罚参数，表示矩阵的内积，=tr(ATB)。不难看出，无法同时更新优化JA、JB、ZA、ZB、L、K、E、P和Q。幸运的是，可以通过交替方向乘子法（alternating direction method of multipliers，ADMM）依次地解决每个子问题，并不断地迭代更新优化这些参数直至收敛。具体而言，当更新其中的一个参数时，需要固定其他参数。假设当前迭代次数为t(t＞0)，t+1次迭代具体各项的更新如下：
（1）固定JB、ZA、ZB、L、K、E、P和Q，将它们视为常数项，从而得到如下JA的更新公式：
（2）固定JA、ZA、ZB、L、K、E、P和Q，将它们视为常数项，从而得到如下JB的更新公式：
（3）固定JA、JB、ZB、L、K、E、P和Q，将它们视为常数项，从而Γ对ZA进行求导得：
化简得：
（4）固定JA、JB、ZA、L、K、E、P和Q，将它们视为常数项，从而Γ对ZB进行求导得：
（5）固定JA、JB、ZA、ZB、L、E、P和Q，将它们视为常数项，从而得到如下K的更新公式：
（6）固定JA、JB、ZA、ZB、K、E、P和Q，将它们视为常数项，从而Γ对L进行求导得：
（7）固定JA、JB、ZA、ZB、L、K、P和Q，将它们视为常数项，从而得到如下E的更新公式：
（8）固定JA、JB、ZA、ZB、L、K、E和P，将它们视为常数项，从而得到如下Q的更新公式：
（9）固定JA、JB、ZA、ZB、L、K、E和Q，将它们视为常数项，从而Γ对P进行求导得：
式（12）、式（13）和式（18）可通过奇异值阈值（singular value thresholding，SVT）[29]运算解得，式（21）和式（22）可通过收缩算子进行求解，详细的算法流程在算法1中列出。参数μ、ρ、ε、maxμ和maxt参考了相关的迁移学习算法MMTL（missing modality transfer learning）[22]给出。其他的四个参数λ、α、β和γ则在实验中调节，并在实验章节中给出分析。
算法1IMTL算法
2.5 复杂度分析
为方便解释起见，假设SA、TA、SB和TB都是维度为d×n的矩阵，共享子空间投影P是维度为d×p的矩阵，这里，d为原始特征维数，n为源域或目标域的样本大小，p为降维的维数。步骤2、3、6的核范数计算与步骤4、5、7、10的矩阵乘法和逆运算是所提算法的主要耗时部分。显而易见，步骤2、3中的奇异值分解（singular value decomposition，SVD）计算的时间复杂度为O(n3)，步骤6 中的SVD 计算的时间复杂度为O(p3)，如果在实验中选择较小的降维维数，可以加速步骤6 的计算。步骤4 的时间复杂度取决于式（15）：式（15）的第一项为，包括了矩阵乘法运算和逆运算，可以推导出其时间复杂度为O(2pdn+dn2+n3)，通常在实验中设置p≪n且p≪d，因此，时间复杂度为O(2pdn+dn2+n3)≈O(dn2+n3) ；
式（15）的第二项为P(D-PTTBZBLD-E)+JA+(1-F2)/μ，由此可推导出其时间复杂度为O(pdn+2pn2+2p2n+pdn+2pn2+pdn+2pn2)≈O(3pdn+6pn2)。最后，第一项与第二项的乘法运算的时间复杂度为O(2n3)。因此，步骤4的时间复杂度为O(dn2+n3+3pdn+6pn2+2n3)≈O(dn2+3n3)。同理，步骤5的时间复杂度取决于式（17），式（17）采用式（15）同样的解法，因此步骤5 的时间复杂度为O(dn2+3n3)。类比推导出步骤7 与步骤10 的时间复杂度分别为O(2pdn+4pn2)、O(4dn2+2d2n+d3)。最后，步骤8 和步骤9 都采用收缩算子进行求解，因此步骤8 和步骤9 的时间复杂度分别为O(2pn) 和O(pd) 。综上所述，所提算法的时间复杂度为O(Τ(n3+n3+p3+dn2+3n3+dn2+3n3+2pdn+4pn2+4dn2+2d2n+d3+2pn+pd))≈O(Τ(8n3+6dn2+d3+2d2n))，Τ为所提算法的迭代次数。
3.1 数据集
本文分别在3 组多模态数据集上验证了所提算法的实验效果，它们分别是人脸数据集BUAA[30]和Oulu，人脸数据集CMU-PIE 和Yale B，物体数据集ALOI-100和COIL-100。
BUAA 和Oulu 都是人脸数据集，BUAA 数据集包含了150类，Oulu 数据集包含了80类，它们中的每类都包含两种模态图像：近红外人脸图像和可见光人脸图像。实验中，对于BUAA 数据集，随机选择75类对应的近红外人脸图像作为一个模态数据集，剩下的75类对应的可见光人脸图像作为另一个模态数据集。对于Oulu 数据集，随机选择40类对应的近红外人脸图像作为一个模态数据集，剩下的40 类对应的可见光人脸图像作为另外一个模态数据集。这4个模态数据集之间既没有样本重复，也没有标签重复，它们中的图像尺寸都设为30×30。
CMU-PIE 和Yale B 都是人脸数据集，CMU-PIE数据集包含了68 类，Yale B 数据集包含了38 类。由于CMU-PIE 和Yale B 中都只包含一种模态图像，需要将其转换为高分辨率（HR）图像和低分辨率（LR）图像。对于CMU-PIE 数据集，采用其中的Pose C27人脸图像，对于Yale B 数据集，采用裁剪后的人脸图像，先将这两个数据集中的人脸图像的尺寸调整为32×32 作为高分辨率（HR）图像，然后将HR 图像降采样为8×8的尺寸，再内插回32×32的尺寸，将其作为低分辨率（LR）图像。模态数据集设置可参考BUAA和Oulu数据集设置。
ALOI-100 和COIL-100 都是一个物体数据集，ALOI-100 数据集包含了100 类，COIL-100 数据集包含了100 类。由于ALOI-100 和COIL-100 都是旋转角度来采样的，每类中的图像都相隔5°，共有72张图像。本文选择两种视图view1[0°，85°]和view2[90°，175°]，模态数据集设置可参考BUAA 和Oulu 数据集设置。
3.2 实验设置
在实验部分，每组数据集都有4 个数据集，随机选择其中的一个数据集作为不完整模态数据，对于不完整模态数据，随机采样20%与其他的3个数据集作为训练数据，剩下的不完整模态数据作为测试数据。本文从测试数据中每类随机选择一个样本作为参考数据，参考数据与测试数据之间没有样本重复，学习到的投影P用于对参考数据和测试数据降维，然后采用KNN 作为分类器重复上述操作10 次取平均结果。此外，本文旨在探讨两个方向上的低秩重构——跨模态(TM)和跨数据集（TD）。在跨模态方向下，源域的数据结构有助于发现潜在的标签和丢失数据的结构，设置相同模态的数据集在同个域中如S=[SA,SB]，T=[TA,TB]。在跨数据集方向下，完整的模态信息从辅助数据集传递到目标数据集，设置同个数据集的不同模态在同个域中如S=[SA,TA]，T=[SB,TB]。在此基础上，本文还进行了TM和TD交替方向的实验对比：TMD 和TDM，先学习一个方向上的投影P，再利用嵌入该投影子空间中的数据学习另一方向上的投影。
本文采用RDALR（domain adaptation with low rank reconstruction）[31]、GFK（geodesic flow kernel）[32]、DASA（subspace alignment）[33]、MEDA（manifold embedded distribution alignment）[34]和MMTL 这5 个算法作为对比算法，并采用了主成分分析（principal component analysis，PCA）[35]、线性判别分析（linear discriminant analysis，LDA）[36]和局部保留投影（locality preserving projection，LPP）[37]这3 种子空间方法进行评估。由于RDALR、GFK 和DASA 都是域自适应算法，实验中遵循它们的原始实验设置。具体而言，对于RDALR，首先学习源域的旋转转换矩阵W，然后将旋转后的源域与目标域结合来训练子空间以在训练阶段提取特征；
对于GFK和DASA，使用不同的子空间方法从源域和目标域学习映射矩阵G和子空间对齐矩阵M，然后应用于测试阶段；
对于MEDA，首先使用不同的子空间方法习得流形特征，然后进行自适应因子与分类器的迭代优化，最后将该分类器应用于测试阶段。而MMTL与本文是同样的方法迭代求解，即在训练阶段从源域和目标域中学习子空间投影矩阵，然后应用于测试阶段。对于DASA、GFK、RDALR和MEDA，采用TD（跨数据集）方向为例，而对于MMTL 和IMTL，则遵循它们的原始设定，学习不同方向的共享子空间投影。
3.3 结果分析
在BUAA 和Oulu 人脸数据集上的实验结果如表1所示。由表1可知，所提算法在BUAA 和Oulu 人脸数据集上的大部分测试任务中都排名第一。对于传统的对比算法DASA 和GFK，它们只关注了如何将源域和目标域投影到各自的低维特征空间并使特征空间彼此尽量接近，忽略了源域和目标域中不同类别数据之间的差异，而低秩约束在一定程度上指导了源域与目标域之间对应类别数据的重构，因此，基于低秩约束子空间学习的所提算法的性能是优于DASA 和GFK 的，这也证明了施加低秩约束策略的有效性。对于算法RDALR，它与所提算法都采用了低秩约束策略，但是在不完整模态问题中，目标域中的数据是部分丢失的，这随之带来的问题是在源域到目标域的低秩重构过程中，目标域中某些类别数据的丢失会导致源域中的对应类别数据重构失准或失败，因此，RDALR 算法的性能是远小于本文所提算法的。对于算法MEDA，它所关注的是如何减轻源域与目标域的边缘分布差异与条件分布差异，并评估不同应用场景下边缘分布差异与条件分布差异的重要性，缺少了对不完整数据的处理，这就导致了在不完整模态应用场景下性能较差的表现。最后对于算法MMTL，它与所提算法都是基于潜在的低秩约束子空间迁移学习框架，而不同的是它们的应用场景并不同，MMTL 针对的是完全丢失的目标域数据，而所提算法则是关注部分丢失的目标域数据，因此，对于部分残缺的目标域数据进行了监督信息对齐的所提算法的性能是优于MMTL的。
表1 在BUAA和Oulu人脸数据集上各算法的分类精度Table 1 Accuracy of algorithms on BUAA and Oulu face datasets 单位：%
在ALOI-100 和COIL-100 数据集上的实验结果如图2所示，显然所提算法在PCA和LPP子空间方法的评估下的平均性能好于所有对比算法，并且受不同子空间方法的扰动影响较小。
图2 在ALOI-100和COIL-100数据集上各算法的分类精度Fig.2 Accuracy of algorithms on ALOI-100 and COIL-100 datasets
在CMU-PIE和Yale B人脸数据集上的实验结果如表2 所示。对于CMU-PIE 和Yale B 数据集，由于降采样维度设置为8×8，所提算法设置TM（TD）方向的子空间维数为64，然后学习维度为60 的TD（TM）方向的子空间。由表2 可知，尽管所提算法在第一个方向无法设置更高的维度，基于潜在的低秩约束子空间迁移学习仍保证了所提算法的性能远优于DASA、GFK、RDALR 和MEDA。对此，原因可能是CMU-PIE 和Yale B 这两个人脸数据集差异性较大，DASA、GFK、RDALR和MEDA在TD（跨数据集）方向上无法从源域上学习到足够有用的知识，而所提算法从不同的方向完成源域到目标域的重构保证了源域的判别性区分能力的传递。
表2 在CMU-PIE和Yale B人脸数据集上各算法的分类精度Table 2 Accuracy of algorithms on CMU-PIE and Yale B datasets 单位：%
3.4 模型分析
本节将分析算法的收敛性和模型的共享子空间维度对于不完整模态迁移学习效果的影响，同时也会通过分析源域信息对齐项和目标数据信息对齐项等正则化参数来验证它们的有效性。在本节中，主要评估以下参数：子空间维度参数p、稀疏项参数λ、全局结构稀疏项参数α、源域信息对齐项参数β和目标数据信息对齐项参数γ。这里采用PCA子空间方法进行评估，以COIL-view1作为测试案例，通过固定其他参数来逐一测试它们对于算法的意义。
图3（a）展示了所提算法以COIL-view1和CMULR作为测试案例，随着迭代次数的变化算法精度的变化效果。显而易见，所提算法在不同的场景下以不同的速度收敛，但大致都在45 次迭代后收敛稳定。此外，对于不同的场景，不同方向的迁移学习的效果也不尽相同。对于COIL-view1，TM（跨模态）和TD（跨数据集）最终取得的效果差别不大，而对于CMULR，TM（跨模态）相较于TD（跨数据集）则有较大的优势，原因可能是CMU-PIE 和Yale B 之间由于不同的照明条件、主体身份和捕获设备等因素导致了相似度很低，因此，TD（跨数据集）只能迁移少量的有用知识到不完整模态。
图3 参数分析Fig.3 Parameter analysis
图3（b）展示了所提算法以COIL-view1为测试案例随着子空间维度p的变化，算法精度的变化效果。本文分别采用了PCA、LPP 和LDA 三种子空间方法来评估子空间维度p对于所提算法的影响。由图3（b）可知，不同子空间评估的算法效果随着维度变化而趋向于平稳，并且最高精度也不一定在最高维度处取得。
图4（a）～图4（d）展示了所提算法以COIL-view1为测试案例，随着不同参数的变化算法精度的变化效果。由图4可知，这些参数通常在较小的值时取得的效果较好，且随着参数值的增大算法精度趋向于稳定或一定的下降。此外，对于参数λ、α、β和γ，本文依次设置它们为0并固定其他参数，由图4可以看出，对于绝大部分测试任务，当参数设置为0 时效果较差，这验证了这些参数对于所提算法的有效性。
图4 正则化参数分析Fig.4 Regularization parameter analysis
为了解决不完整模态迁移学习问题，本文提出了一种基于潜在的低秩约束的不完整模态迁移学习算法。所提算法基于低秩子空间迁移学习框架，引入潜在因素挖掘丢失的模态信息，并利用监督信息来促进数据对齐。此外，所提算法借用完整的辅助数据集探索了跨数据集和跨模态两个不同方向的迁移学习。通过潜在的低秩约束学习适当的子空间，可以更好地从两个方向恢复模态缺失信息。在三对数据集上的实验效果证明了所提算法的优越性。
猜你喜欢 源域人脸约束 有特点的人脸少儿美术·书法版(2021年9期)2021-10-20一起学画人脸小学生必读(低年级版)(2021年5期)2021-08-14基于参数字典的多源域自适应学习算法计算机技术与发展(2020年11期)2020-12-04三国漫——人脸解锁动漫星空(2018年9期)2018-10-26马和骑师小学阅读指南·低年级版(2017年1期)2017-03-13从映射理论视角分析《麦田里的守望者》的成长主题青年文学家(2015年29期)2016-05-09适当放手能让孩子更好地自我约束人生十六七(2015年6期)2015-02-28长得象人脸的十种动物奇闻怪事(2014年5期)2014-05-13CAE软件操作小百科（11）计算机辅助工程(2012年5期)2012-11-21