论文相关信息

本文内容取自[1]

研究背景与意义

在笔记本电脑的生产过程中,主板的功能测试至关重要,它是确保产品质量的关键环节。但在这个环节中,其实隐藏着诸多挑战。比如,笔记本主板上的功能模块众多,要对所有模块进行测试,不仅需要耗费大量的时间,还会消耗不少资源。在实际生产中,这显然不太现实。就拿全球最大的笔记本制造工厂之一 “Factory X” 来说,测试一块典型的笔记本主板,涉及 30 多个不同的测试项目,这要花费大量的测试成本。所以,Factory X 采用了选择性测试的方法,从众多测试项目中挑选出可能有问题的功能模块进行测试。可新的问题又来了,传统的做法是依靠工程师的经验来判断哪些模块的良品率低,从而选择这些模块进行测试。但经验判断往往不够准确,毕竟这其中的影响因素实在是太多了。有没有一种更科学、更准确的方法,可以帮助我们解决这个问题。

本文工作

本文提出了一种基于XGBoost与Lstm的混合模型去解决功能模块良率的估计问题。

(一)XGBoost:多元数据的 “洞察者”

XGBoost(eXtreme Gradient Boosting)是一种基于梯度提升决策树的集成学习算法,在处理多元数据方面,有着独特的优势。它就像是一位经验丰富的侦探,能够从复杂的线索(多元数据)中,精准地找出关键信息(隐藏特征)。 从结构上看,XGBoost 由一系列的决策树组成,这些决策树就像是一个个小助手,各自发挥着作用。每个决策树都基于之前决策树的预测结果进行改进,通过不断地迭代,让整个模型的预测能力越来越强。举个例子,假设有一个水果分类的任务,我们有水果的颜色、形状、大小等多个特征(多元数据)。XGBoost 会首先根据颜色这个特征构建一棵决策树,比如它可能会判断红色的水果可能是苹果,绿色的水果可能是梨。然后,基于这棵决策树的预测结果,下一棵决策树会进一步根据其他特征,比如形状,来修正之前的判断。这样,通过多棵决策树的协同工作,XGBoost 就能更准确地对水果进行分类。 在目标函数的优化上,XGBoost 更是下足了功夫。它的目标函数不仅包含了损失函数,用于衡量模型预测值与真实值之间的误差,还引入了正则化项。这个正则化项就像是一个 “紧箍咒”,能够有效地控制模型的复杂度,防止模型过拟合。比如,在一个预测房价的任务中,如果模型过于复杂,可能会对训练数据中的一些噪声也进行学习,导致在新的数据上表现不佳。而 XGBoost 的正则化项就能限制模型的复杂度,让模型更加稳健,提高它在未知数据上的泛化能力。通过不断地优化目标函数,XGBoost 能够在多元数据中挖掘出更有价值的信息,为后续的分析和预测提供有力的支持。

(二)LSTM:时间序列的 “记忆大师”

LSTM(Long Short-Term Memory)网络是一种特殊的循环神经网络,在处理时间序列数据方面,堪称 “记忆大师”。它能够有效地捕捉时间序列中的长期依赖关系,就像我们人类在回忆一段经历时,能够记住不同时间点发生的关键事件一样。 LSTM 的结构中,最关键的部分就是它的门控机制,包括输入门、遗忘门和输出门。这些门就像是一个个智能的开关,能够根据数据的特点和模型的需求,选择性地控制信息的流动。输入门负责决定哪些新的信息需要被输入到记忆单元中。遗忘门则决定哪些旧的信息可以被遗忘,这样可以避免记忆单元被过多无用的信息所占据。输出门决定了哪些信息会被输出,用于当前的预测或下一步的计算。 以股票价格预测为例,股票价格在不同的时间点会受到各种因素的影响,如市场趋势、公司业绩、宏观经济环境等。LSTM 网络能够通过遗忘门,忘记一些过去的、对当前预测影响较小的信息,比如一周前的某个短暂的价格波动。同时,通过输入门,将当前的一些重要信息,如最新发布的公司财报,输入到记忆单元中。这样,在进行股票价格预测时,LSTM 网络就能综合考虑历史和当前的信息,做出更准确的判断。 通过这种独特的门控机制,LSTM 成功解决了传统循环神经网络中存在的梯度消失问题。在传统的 RNN 中,当处理长序列数据时,梯度在反向传播过程中会逐渐消失,导致模型无法学习到长期依赖关系。而 LSTM 的门控机制能够有效地保持梯度的稳定,使得模型能够在长时间序列数据上进行有效的训练和预测 。

(三)模型架构剖析

XGB - LSTM 模型巧妙地融合了 XGBoost 和 LSTM 的优势,形成了一个强大的预测工具。它采用了分层的深度学习模型架构,每一层都肩负着独特的使命。 在第一层,XGBoost 模型率先登场。它就像一位经验丰富的探险家,深入到多元数据的世界中,挖掘出那些隐藏在其中的宝贵特征。XGBoost 通过构建一系列的决策树,对数据进行层层分析,能够精准地捕捉到不同变量之间复杂的关系。这些挖掘出来的特征,就像是一把把钥匙,为后续的分析打开了大门。 第二层是 LSTM 网络大显身手的舞台。LSTM 就像是一位记忆力超群的学者,它接过 XGBoost 传递过来的特征,结合原始数据,开始捕捉数据中的时间序列信息。通过它独特的门控机制,LSTM 能够记住过去时间点的重要信息,并将这些信息与当前的信息进行融合,从而更好地理解数据随时间的变化趋势。在这个过程中,LSTM 就像是在编织一张时间的网,将不同时间点的数据紧密地联系在一起。 第三层则是对 XGBoost 和 LSTM 的输出进行加权融合。这一步就像是一位经验丰富的指挥家,将 XGBoost 提供的全局特征和 LSTM 捕捉到的时间特征进行巧妙的组合,让它们相互补充、相互协作。通过这种加权融合策略,模型能够充分发挥两者的优势,从而产生更准确的预测结果。


图1 算法结构图

实验结果

为了验证 XGB - LSTM 模型的有效性,我们从 Factory X 收集了六个月的典型笔记本主板功能测试数据。这些数据包含了主板各个功能模块的历史良品率信息。采用了 RMSE(均方根误差)、MAE(平均绝对误差)和 R²(决定系数)这三个重要指标进行效果评估。从实验结果来看,与 XGBoost 和 LSTM 这两个单一模型相比,XGB - LSTM 模型在各项指标上都表现出色。

参考文献

  1. [1]Y. Zhao, S. Dong, Y. Kang, K. Wang, L. Chen, and P. Bai, “Prediction of Yield in Functional Testing of Motherboards in Laptop Manufacturing,” in 2024 14th Asian Control Conference (ASCC), 2024, pp. 1–5.

相关科研项目

人机智能协同关键技术及其在智能制造中的应用

非可信智能驱动的可靠智造