也就是说可能难以泛化因为它

Dsicuss all about the SEO Topic forum
Post Reply
ditihekhatun17
Posts: 6
Joined: Mon May 20, 2024 6:51 am

也就是说可能难以泛化因为它

Post by ditihekhatun17 »

们的训练数据看起来不太像测试数据集。为了解决这个问题我们提出了一种移位鲁棒正则化器在思想上类似于域不变学习以最小化训练数据和来自未标记数据的样本之间的分布移位。为此我们在模型训练时实时测量域偏移例如通过并基于此应用直接惩罚迫使模型忽略尽可能多的训练偏差。这迫使模型为训练数据学习的特征编码器也能有效地处理任何可能来自不同分布的未标记数据。下图显示了与传统模型相比的情况。我们仍然具有相同的输入节点特征和邻接矩阵和相同的层数。然而最终将层的嵌入与未标记数据点的嵌入进行比较以验证模型是否正确编码它们。

为深度模型添加了两种正则化。首先域移位正则化λ项最小化标记和未标记数据的隐藏表示之间的距离。其次可以更改示例的实例权重β以进一步逼近真实分布。我们根据训练数据表示和真实数据分 布之间的 肯尼亚 WhatsApp 数据 距离将此正则化写为模型损失公式中的附加项论文中提供了完整公式。在我们的实验中我们将我们的方法和许多标准图神经网络模型进行比较以衡量它们在节点分类任务上的性能。我们证明添加正则化可以将带有偏差训练数据标签的分类任务提高。使用节点分类的与数据集上有偏差的训练数据的比较。优于七个基线包括和。通过实例重新加权实现线性的平移鲁棒正则化此外值得注意的是还有另一类模型例如等基于线性运算来加速图卷积。

Image

我们还研究了如何在存在有偏差的训练数据的情况下使这些模型更加可靠。虽然由于架构不同不能直接应用相同的正则化机制但我们可以通过根据训练实例与近似真实分布的距离重新加权来纠正训练偏差。这允许纠正有偏差的训练数据的分布而无需通过模型传递梯度。最后深度和线性的两种正则化可以组合成损失的广义正则化它结合了域正则化和实例重新加权详细信息包括损失公式请参阅论文。结论有偏差的训练数据在现实场景中很常见可能由于多种原因而出现包括标记大量数据的困难用于选择标记节点的各种启发式或不一致的技术延迟的标签分配等。我们提出了一个通用框架它可以减少有偏差的训练数据的影响并且可以应用于各种类型的包括更深的和这些模型的最新线性化浅层版本。
Post Reply