研究背景与意义

在开放世界中，构建稳健的机器学习模型需要应对数据的偏移，分布外检测（Out-of-Distribution Detection，OOD）因此成为不可或缺的技术之一。传统机器学习方法多基于封闭世界假设，即假设训练数据和测试数据来自同一分布。在这种情况下，通过最小化训练损失的经验风险，可以构建一个能够很好推广至测试数据的模型。然而，在现实应用中，系统经常会遇到分布外的数据，这些数据并未在训练过程中出现。依赖封闭世界假设的模型在面对这些未知分布的数据时，往往会出现严重的误判，进而导致系统的整体可靠性和安全性下降。因此，开发能够准确区分分布内和分布外输入的技术是构建开放世界机器学习模型的关键。

分布外检测技术的目标是在开放世界中，通过检测和分离分布外数据，提升模型应对未知数据的能力，保障其安全性与稳定性。该技术在许多现实应用场景中至关重要。例如，在自动驾驶中，当车辆遇到训练中未见过的突发事件时，分布外检测器应能够及时发现异常并发出警报，将控制权交还给司机，以避免潜在的危险。在医学图像分析领域，传统的有监督学习方法由于训练数据覆盖面有限，无法囊括所有可能的病理情况。因此，当测试数据的分布偏离训练数据时，模型往往会产生错误的或过度自信的预测，可能对患者带来灾难性的后果。通过分布外检测，可以提前识别可能导致错误的输入样本，并将这些异常样本交由医生进行处理，从而大幅度提升诊断的安全性。

虽然分布外检测技术在一定程度上提高了系统应对未知输入的能力，但现有的分布外检测方法对对抗性输入的鲁棒性较差，这一点已在近年的研究中得到了广泛关注[1]。所谓的对抗性输入，是指通过对正常输入数据施加微小且不可察觉的扰动，这种扰动虽然不会影响人类的感知，但却能欺骗深度学习模型，使其做出严重的错误决策。对抗性样本被视为深度学习模型的“达摩克利斯之剑”，极大地威胁了机器学习模型的安全性。例如，在驾驶场景中，攻击者可能通过恶意篡改路标，诱使检测器将这些恶意输入误认为是正常的分布内数据，从而让系统做出错误的决策，而非发出警报。这样的攻击场景可能导致严重的安全事故，说明了当前分布外检测方法在应对对抗性输入时的脆弱性。对抗性输入的问题揭示了分布外检测器在开放世界中的安全性隐患。即使检测器在良性输入下能够准确区分分布内和分布外数据，但面对恶意输入时，其性能却急剧下降。这种脆弱性使得开放世界中的模型部署存在极大的安全风险，尤其是在高风险场景（如自动驾驶、金融决策和医学诊断）中，模型的安全性至关重要。

为了解决分布外检测方法在面对对抗性攻击时的脆弱性，鲁棒分布外检测这一研究方向逐渐兴起。鲁棒分布外检测结合了分布外检测与对抗鲁棒性两个重要的研究领域，目标是增强检测器在面对对抗性输入时的可靠性和安全性。这项技术的核心目标是在对抗性攻击下，检测器能够依然准确地区分分布内和分布外数据，并做出正确的响应决策。鲁棒分布外检测的研究，对于在开放场景下部署安全的机器学习系统是极其重要的。

研究现状

分布外检测方法有很多种分类标准，分布外检测按照原理通常可分为基于分数的，基于离群值暴露的和基于学习的方法。Hendrycks等人首次研究提出了分布外检测的问题，并使用最大 SoftMax 分数 MSP 作为指标区分分布内(In-Distribution,ID)和分布外(Out-Of-Distribution,OOD)样本[2]。Liang 等人在 MSP 的基础上，通过温度缩放和输入预处理操作来扩大 ID 和 OOD 在 SoftMax 上的差异来实现更好的检测效果[3]。Huang 等人提出 GradNorm，从SoftMax 和均匀分布之间的梯度反向传播获得梯度范数，使用梯度范数作为评分指标[4]。Hendrycks 等人通过在训练期间使用额外的分布外样本进行正则化，使得分布外检测性能大大提升，并引出了基于离群值暴露(Outlier-Exposure,OE)的方法[5]。但由于离群值暴露的方法需要额外数据集而不具有通用性，因此也有很多不依赖离群值的基于学习的方法。Tack 等人使用将表征对比学习的方法结合到分布外检测中，使得分类器的置信度更能够较好的区分分布内和分布外样本[6]。Du 等人将特征空间假设为高斯分布，在低似然区域采样获得伪分布外样本，并训练模型进行区分[2]。Tao 等人放宽了高斯分布的假设，在特征空间的边缘区域采样进行无参数化的伪分布外样本合成[7]。对于分布外检测的更为详细的介绍和一些主流方法，可以参考综述[8]

鲁棒分布外检测类似于分布外检测也可分为三个分支：基于离群值暴露的、基于学习的、基于分数的方法。基于异常值暴露的方法的核心思想是在模型训练期间利用辅助异常值数据集。离群值暴露的方法已经用于标准OOD检测，通过适当的修改已被用于鲁棒OOD 检测中。一般来说，与其他方法相比，基于异常值暴露的方法表现出更好的性能，因为模型在训练期间在一定程度上获得了 OOD 数据的暴露。然而，它们在泛化方面也存在局限性，因为模型习惯了特定类型的 OOD。与基于异常值暴露的方法不同，基于学习的方法在训练过程中不依赖于辅助离群点知识，以确保鲁棒的OOD检测。相反，他们采用替代策略在 ID 数据上训练主要分类器，与传统的基于监督交叉熵的学习不同。基于分数的方法主要涉及使用从训练模型（例如梯度、对数或中间输出）中提取的信息来生成分数，以执行稳健的 OOD 检测。对于鲁棒分布外检测的更为详细的介绍和一些主流方法，可以参考综述[1]。

参考文献

  1. [1]L. Tao, X. Du, X. Zhu, and Y. Li, “Non-Parametric Outlier Synthesis,” Mar. 2023.
  2. [2]J. Tack, S. Mo, J. Jeong, and J. Shin, “CSI: Novelty Detection via Contrastive Learning on Distributionally Shifted Instances,” Cornell University - arXiv,Cornell University - arXiv, Jul. 2020.
  3. [3]D. Hendrycks, M. Mazeika, and T. G. Dietterich, “Deep Anomaly Detection with Outlier Exposure,” International Conference on Learning Representations,International Conference on Learning Representations, Sep. 2018.
  4. [4]N. Carlini and D. Wagner, “Towards Evaluating the Robustness of Neural Networks,” in 2017 IEEE Symposium on Security and Privacy (SP), 2017.
  5. [5]S. Liang, Y. Li, and R. Srikant, “Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks,” Cornell University - arXiv,Cornell University - arXiv, Jun. 2017.
  6. [6]D. Hendrycks and K. Gimpel, “A Baseline for Detecting Misclassified and Out-of-Distribution Examples in Neural Networks,” Learning,Learning, Oct. 2016.
  7. [7]R. Huang, A. Geng, and Y. Li, “On the Importance of Gradients for Detecting Distributional Shifts in the Wild,” 0AD.
  8. [8]J. Yang, K. Zhou, Y. Li, and Z. Liu, “Generalized Out-of-Distribution Detection: A Survey,” 0AD.

相关科研项目

人机混合智能系统双层智能测试评估技术研究