人机智能协同关键技术及其在智能制造中的应用

项目概要

以深度学习为基础的AI技术的难解释、鲁棒性差等缺点将人重新请回控制的闭环中，形成了“人机智能 协同”新型人机协同范式，成为自动驾驶、智能制造等领域不可替代的关键技术，亟需全新的概念框架和技术方法。依托项目团队及其合作者在人机混合智能系统自主性理论和方法方面的前期研究成果，及与联宝科技（联想集团子公司、合肥市第一大企业）的前期合作基础，本项目将前期理论成果应用于智能制造领域，解决人机智能协同在智能制造中的一系列关键共性技术问题，形成面向智能制造的人机智能协同系统性的技术，助力智能制造产业升级。

主要研究内容

• 利用“人在环上”人机智能协同有效提升智能制造系统性能的关键共性技术
• 利用“人在环内”人机智能协同有效提升智能制造系统性能的关键共性技术
• 人机智能协同用于智能制造提升生产效率和可靠性的关键共性技术

相关阅读

研究成果

Conference Articles

1. Functional Test-Cost Reduction Based on Optimization Modeling and Congestion Control Peng Bai, Kangcheng Wang, Yun-Bo Zhao , Yu Kang, and Wenhao Fang In 2024 14th Asian Control Conf. ASCC 2024 [Abs] [pdf]

   Functional testing is a crucial process to guarantee the quality of electronic products. In recent years, the cost of functional testing has been rising with the increasing complexity of products, and reducing testing costs is of great significance to the economic efficiency of electronic manufacturing enterprises. Related research has not yet fully considered the issue of the nonuniform distribution of functional testing samples in practical applications, making it challenging to ensure the effectiveness of reducing testing costs. Inspired by the concept of TCP congestion control algorithms, this paper presents an enhanced congestion control algorithm tailored for the functional testing process and proposes a method to reduce testing costs accordingly. The proposed method can design dynamically changing testing strategies based on optimal modeling. On the simulation data closely resembles the actual data, the proposed method can significantly reduce the testing costs compared to the pure optimization modeling method.

2. A Reliable Ensemble Model Based on Hierarchical Component Features for Repair Label Prediction of Soldering Defects Longxin Chen, Yunbo Zhao, Binkun Liu, Shaojie Dong, Huijuan Zhu, and Peng Bai In 2024 14th Asian Control Conf. ASCC 2024 [Abs] [pdf]

   Using solder paste inspection (SPI) and automated optical inspection (AOI) data, accurate prediction for repair labels of soldering defective printed circuit board (PCB) components can help reduce labor costs. Existing research tries to pick out both the false defect components (actually good) and impossible-to-repair components among defective PCB components, using SPI and AOI data. However, it is inappropriate to pick out the false defect components from screened components using defective information in AOI data. Therefore, the problem setting of existing research is inappropriate, resulting in the algorithm’s performance not meeting actual requirements. To address this problem, we only care about the reliable prediction of impossible-to-repair components. We propose a hierarchical component feature extraction method that can comprehensively characterize the degree of component defects from multiple levels, including pin level and component level. Then we apply the ensemble model based on XGBoost and TabNet and adjust the probability threshold of components judged as impossible-to-repair category, achieving the reliable prediction of impossible-to-repair components. Finally, we validated our method on real datasets and achieved better experimental results compared to baseline methods, which can meet actual requirements,

3. Prediction of Yield in Functional Testing of Motherboards in Laptop Manufacturing Yunbo Zhao, Shaojie Dong, Yu Kang, Kangcheng Wang, Longxin Chen, and Peng Bai In 2024 14th Asian Control Conf. ASCC 2024 [Abs] [pdf]

   Functional testing stands as a pivotal quality control step in the production process of laptop motherboards, aiming to validate the proper functioning of various components. However, due to the multitude of functional modules involved on the motherboard, testing all of them requires a significant amount of time and resources. As a result, production line engineers often rely on empirical selection of modules with low yield rates for testing. However, such empirical yield estimation is often inaccurate. To address this challenge, this study proposes a hybrid model based on XGBoost and Long Short-Term Memory (LSTM) networks to predict the yield of each functional module. By harnessing the feature learning capability of XGBoost and the sequential modeling power of LSTM, this model efficiently explores the intricate correlations among motherboard functional modules, thereby accurately forecasting their yields. We extensively train and validate the model using historical production data and successfully deploy it on real laptop motherboard production lines. Experimental results demonstrate that our hybrid model accurately predicts the yield of each functional module, providing crucial guidance for the functional testing process. Through in-depth analysis of the predicted yield results, engineers can systematically choose testing projects to save time and resources. This research offers a novel approach and pathway for enhancing motherboard production efficiency and quality.

4. Functional Test-Cost Reduction Based on Fault Tree Analysis and Binary Optimization Xiaojie Zuo, Kangcheng Wang, Yun-Bo Zhao , Yu Kang, and Peng Bai In 2024 43rd Chin. Control Conf. CCC 2024 [doi] [pdf]
5. Board-Level Functional Test Selection Based on Fault Tree Analysis Yaoyao Li, Kangcheng Wang, Yu Kang, Yunbo Zhao, and Peng Bai In 2023 6th Int. Symp. Auton. Syst. ISAS 2023 [Abs] [doi] [pdf]

   With the increasing complexity of the circuit board, the cost of board-level functional test ensuring the board quality becomes dramatically high. Data-driven-based test selection methods have been widely studied for test-cost reduction. However, existing test selection methods tend to overfit due to overlooking the root causes of faulty boards. To address this issue, a test selection method based on reliability analysis is proposed. A fault tree oriented to the board-level functional test is established for analyzing the reliability of the board and test items. The reliability analysis result is then effectively utilized to formulate a test selection method. Three indices are introduced to evaluate the test efficiency and the test quality. Experimental results demonstrate the effectiveness of the proposed method.

6. A Feature Engineering-based Method for PCB Solder Paste Position Offset Prediction Binkun Liu, Yunbo Zhao, Yu Kang, Yang Cao, Peng Bai, and Zhenyi Xu In 2023 6th Int. Symp. Auton. Syst. ISAS 2023 [Abs] [doi] [pdf]

   Solder paste printing position offset is a common type of defective printed circuit board (PCB) printing, and accurate position offset prediction helps to avoid the production of defects, thus improving efficiency. The existing methods mainly use the powerful nonlinear fitting ability of deep learning to learn the variation pattern of solder paste printing quality to achieve a good prediction. However, factories also focus on the interpretability of the model, and existing methods are difficult to give the basis for decisions, so there are still limitations in the practical application. To solve this problem, we propose a Support vector machine (SVM) approach, in which we manually design 14 statistical features based on the original data, then the resampling reduces the effect of data imbalance and achieves PCB pad-level offset prediction. Finally we verified on about one week of real solder paste printing production data and achieved good experimental results.

7. Defect Detection of Laptop Appearance Based on Improved Multi-Scale Normalizing Flows Jie Zhang, Zerui Li, and Yunbo Zhao In 2023 38th Youth Acad. Annu. Conf. Chin. Assoc. Autom. YAC 2023 [Abs] [doi] [pdf]

   In the laptop production process, timely detection of appearance defects is essential to ensure product quality. At present, there are many shortcomings in the manual visual inspection-based method on the laptops production line. In addition, due to the wide variety of laptop appearance defects and extreme differences in defect scales, existing defect detection algorithms perform poorly in the field of laptop appearance inspection. In response to the above problems, this paper proposes a defect detection algorithm based on improved multi-scale normalizing flows. First, the multi-level features extracted from the backbone network are fused by using the pyramid feature fusion module to obtain multi-scale features with rich semantic and spatial information. Then, the effective density estimation of the multi-scale features is achieved by fusing the normalizing flows of attention mechanisms. Finally, the defects are detected and localized based on the output likelihood values. The experimental results demonstrate the effectiveness of the proposed method in detecting and locating appearance defects.

8. A Robustness Benchmark for Prognostics and Health Management Binkun Liu, Yun-Bo Zhao , Yang Cao, Yu Kang, and Zhenyi Xu In 2022 41st Chin. Control Conf. CCC 2022 [Abs] [doi] [pdf]

   With the rise of intelligent manufacturing, prognostics and health management(PHM) has developed rapidly as an important part of intelligent manufacturing.Existing deep learning-based PHM methods are data-dependent. However, sensor data often contains noise and is redundant and high-dimensional, making it difficult for the PHM methods to learn a stable set of model parameters, so the methods are likely to be wrong when disturbed. However, the factory hopes that the PHM methods are robust enough to adapt to various disturbances, so it is necessary to perform robustness evaluation on the existing methods in advance for easy deployment. Although the existing robust theoretical analysis methods for neural networks can obtain tight robust boundaries, they consume a lot of computing resources and are difficult to scale to large neural networks. To slove this problem, We design a benchmark for robustness analysis of large deep learning PHM models, in which we test the model robustness using a variety of perturbations to simulate the actual production environment of the factory. Specifically, Gaussian noise is used to test the robustness of the model to background noise; random mask is used to test the robustness of the model to data loss. We hope that our robustness benchmark can serve as a reference for designing PHM models to improve the robustness of factory PHM models.

9. Anomaly Detection for Surface of Laptop Computer Based on Patchcore Gan Algorithm Huijuan Zhu, Yu Kang, Yun-Bo Zhao , Xiaohui Yan, and Junqiang Zhang In 2022 41st Chin. Control Conf. CCC 2022 [Abs] [doi] [pdf]

   Timely detection of notebook appearance defects is an important means to prevent products from being delivered to customers before leaving the factory.In industrial production, more emphasis is placed on fast and accurate detection methods, but the existing difficulties: 1. Defect samples are rare and difficult to obtain; 2. In high-resolution images, there are slight differences between abnormal samples and normal samples; 3. Slowly detection and insufficient accuracy.The existing methods mainly use a large amount of abnormal samples, so it is difficult to extend to the field of notebook appearance anomaly detection.To solve this problem, we designed a method that firstly uses unsupervised PatchCore which the algorithm was trained on normal samples and Defect GAN is used in test phase. To create a large number of verisimilitude abnormal samples and test these samples with PatchCore. On TKP-Surface datasets, the AUROC score of image-level anomaly detection achieves 96.1%, which meets the requirements of industrial applications.

Journal Articles

1. Modelling and Optimizing Motherboard Functional Testing in Laptop Manufacturing Peng Bai, Yu Kang, Kangcheng Wang, Yunbo Zhao, and Shaojie Dong J Syst Sci Complex 2024 [doi] [pdf]
2. PCB Layout-Based Spatio-Temporal Graph Convolution Network for Anomaly Prediction in Solder Paste Printing Binkun Liu, Yun-Bo Zhao , Yu Kang, Yang Cao, and Zhenyi Xu IEEE Trans. Compon. Packag. Manuf. Technol. 2024 [Abs] [doi] [pdf]

   Predicting solder paste printing anomaly on the printed circuit board (PCB) can improve first-pass yield and reduce rework costs. Considering the impact of PCB layout on the quality of solder paste printing, we propose a PCB layoutbased spatio-temporal graph convolution network, in which we construct a graph to model the spatial distribution of solder pads. Specifically, since the printing quality is related to the spatial distribution of the pads, we convert the PCB to a graph according to the Pearson correlation of the printing quality and then trim the edges of the graph with a correlation threshold to model the spatial distribution of solder pads. To model the timevarying physicochemical properties of the solder paste, normalize the production time, calculate the attention of the production time, and reconstruct the printing quality based on the attention. And then, we devise a weighted loss to improve the performance of predicted printing defective products due to the scarcity of defective products. Ultimately, the predicted printing quality is compared with the inspection threshold to estimate degree of anomaly. The proposed method is validated on six-day of real solder paste printing data, improving the average F1 score by 0.057 and the average accuracy by 0.022 for three typical anomalous printing behaviours over two temporal prediction scales.

3. A Health Indicator Enabling Both First Predicting Time Detection and Remaining Useful Life Prediction: Application to Rotating Machinery Yun-Sheng Zhao, Pengfei Li, Yu Kang, and Yun-Bo Zhao Measurement 2024 [Abs] [doi] [pdf]

   Remaining Useful Life (RUL) prediction is vital for system functionality. Non-end-to-end approaches is an important type of RUL prediction approaches for their important application in industrial scenarios. In non-end-to-end approaches, Health Indicator (HI) construction is a critical aspect. However, existing HI construction approaches ignore First Predicting Time (FPT) detection, leading to increased domain knowledge demand and system health comprehension difficulty. To address this issue, this paper proposes a multi-objective-optimization-based HI construction approach enabling both FPT detection and RUL prediction. A novel metric called the monotonicity strength index is proposed to address the limitation of the conventional monotonicity. The constructed HI possesses the ability to indicate FPT by taking the detectability metric as an optimization objective. The optimization problem is solved by the combination of the multi-objective ant lion optimizer and the entropy weight method. The superiority of this HI is demonstrated through experiments on the widely used IMS bearing dataset and a gearbox dataset.

4. Cross-Sensor Generative Self-Supervised Learning Network for Fault Detection Under Few Sample Huijuan Zhu, Yun-Bo Zhao , Xiaohui Yan, Yu Kang, and Binkun Liu J. Syst. Sci. Complex. 2024 [Abs] [pdf]

   In this paper, a cross-sensor generative self-supervised learning network is proposed for fault detection of multi-sensor. By modeling the sensor signals in multiple dimensions to achieve correlation information mining between channels to deal with the pretext task, the shared features between multisensor data can be captured, and the gap between channel data features will be reduced. Meanwhile, in order to model fault features in the downstream task, the salience module is developed to optimize cross-sensor data features based on a small amount of labeled data to make warning feature information prominent for improving the separator accuracy. Finally, experimental results on the public datasets FEMTO-ST dataset and the private datasets SMT shock absorber dataset(SMT-SA dataset) show that the proposed method performs favorably against other STATE-of-the-art methods.

5. 面向人机序贯决策实现共享控制下的仲裁优化 张倩倩, 赵云波, 吕文君, and 陈谋 中国科学：信息科学 2023 [Abs] [doi] [pdf]

   共享控制存在于众多由人类智能和机器智能共同参与的序贯决策场景. 由于人的决策范围和 智能机器的决策范围尚未予以明确划分, 需要加以实时仲裁从而达到人机共存并且共享决策权限. 为 此本文提出了一种仲裁优化方法, 该方法的独特之处在于引入自主性边界概念, 优化了共享控制中人 机决策动作的仲裁机制. 本文为自主性边界的计算和更新维护提供了思路, 能够基于贝叶斯规则的意 图推理分析人机共享系统可能要实现的目标, 从而确定仲裁参数. 此外, 本文还分析了自主性边界的 不确定性以促进边界信息对共享控制中决策质量的优化效果. 实验结果表明, 所提出的方法在累积奖 励、成功率、撞击率方面表现出色, 这些说明了本文提出的共享控制中的仲裁优化方法在求解人机序 贯决策问题时的有效性和价值.

Theses

1. 基于训练和执行双阶段联合设计的人机智能决策方法研究 李明 中国科学技术大学, 合肥 2023 [Abs] [pdf]

   在人机混合智能系统中，人工智能赋能的机器智能和人类智能相互融合，在 特定场景下可以超越单独人类或者机器的决策性能，成为当前的研究热点。但 是，与传统的人机系统和人工智能算法不同，人机混合智能系统的决策效果不仅 受到训练阶段人工智能算法性能的影响，比如算法的泛化性和鲁棒性，而且也会 受到执行阶段人类和机器决策混合方法的影响，比如人类和机器控制权的分配。 如何从整体上优化人机混合智能系统的决策性能，是当下重要的研究课题。 本文面向深度强化学习算法驱动的人机混合智能决策系统的序贯决策问题， 同时从算法的训练端和执行端出发，通过引入人类智能的方式提高系统决策的 鲁棒性和安全性，最终提高人机混合智能系统的决策性能。本文工作主要包含以 下三个方面： (1) 针对强化学习算法驱动的人机共享控制系统的序贯决策问题，在训练阶 段提出了基于人类策略限制下人在环上强化学习算法，避免机器做出危险的行 为，同时提高了算法的采样效率；在执行阶段提出了包含人类决策评估的仲裁机 制，舍弃了人类错误的决策，提高了系统的整体性能。实验结果表明，此方法成 功提高了算法训练的采样效率和系统执行任务的成功率。 (2) 针对多机竞速场景下强化学习算法驱动的人机介入控制系统的序贯决策 问题，在训练阶段引入了包含人类反馈奖励的奖励函数组，以引导机器理解竞速 规则，减少了执行阶段人类的介入次数；在执行阶段引入了人类的两级介入机 制，避免违背规则或者容易造成事故的行为出现，同时降低了人类介入时的操作 负担。实验结果表明，此方法缩短了无人机的单圈耗时，提高了系统决策的安全 裕度，并且减轻了人类的介入负担。 (3) 针对上述人机混合序贯决策方法，本文以旋翼无人机为背景，搭建了从 仿真到现实的人机实验平台，提出了算法部署到真实物理场景的整体流程和框 架，并针对提出的多机竞速场景下强化学习算法驱动的人机介入控制方法，进行 了现实场景下的算法验证。

2. 基于人类决策有效性的人机混合决策方法研究 游诗艺 中国科学技术大学, 合肥 2022 [Abs] [pdf]

   随着人工智能技术的发展，机器的自主能力不断地提高，智能机器在各行各 业的应用和发展日益深入。在此进程中，不可避免地会遇到智能机器无法应对 实际任务的复杂性和不可预测性的情况，许多系统在未来仍将需要人类在监督、 目标设定、应急响应等方面与机器进行持续、密切的交互，研究此种场景下如何 混合人类决策和机器决策以达到更好的决策效果也因此尤为重要和有意义。 在人机混合决策中，人类决策是否有效，即人的决策是否促进任务的完成并 有效地反映人类的真实意图，从两方面影响着最终的决策性能。一方面在于一方 决策失效将导致混合性能的下降；另一方面在于智能机器常常无法直接得知人 的意图，而需先根据人类决策推测意图，再做出决策辅助人完成该意图，人类决 策的失效可能导致意图推理的失效，进而导致人机混合决策方法的失效和任务 失败。因此本文以人机混合决策方法为研究对象，基于人类决策的有效性，从人 类决策全时有效和人类决策非全时有效两个方面展开研究，提出基于强化学习 的人机混合决策方法来改善决策性能。本文的研究工作主要包括以下两个方面： （1）针对人类决策全时有效的情况，提出一种基于最小干预原则的人机混合 决策方法，在优化整体系统性能的基础上，进一步考虑人对于人机系统满意度的 相关指标。通过将最小干预原则引入人机混合决策，设置人机决策融合的自适应 阈值，该方法能够以最小程度的干预为人类提供最大程度的帮助，并能在实时变 化的环境中保持最优，同时提升和改善系统性能和人类满意度两类指标，为后续 的优化设计方案提供基础性方法。 （2）针对人类决策非全时有效的情况，提出一种基于人类决策有效性评估机 制的人机混合决策方法，以避免人的无效决策损害系统性能。通过利用强化学习 算法判断人类决策的有效性，识别人的意图是否改变，该方法能够在人类决策无 效时由机器单独完成任务，使得系统在人类决策非全时有效的情况下，仍能完成 正确的任务目标，有效提升了人机混合决策质量和系统性能。

3. 面向人机序贯决策的混合智能方法研究 张倩倩 中国科学技术大学, 合肥 2021 [Abs] [pdf]

   随着人工智能技术的发展，机器智能得到不断的提高，随之而来的则是机 器智能得以在各行各业应用发展。在此进程中，不可避免的会遇到机器自主性 不足以解决本身该由人类解决或者人类必须参与决策的情况，考虑此种场景下 人类智能和机器智能共同作用的决策问题则显得尤为重要和有意义。更具体地， 序贯决策问题作为一类具有时序性和多阶段性的动态决策问题，其发展与当下 人工智能时代下的工程应用、生产生活等领域息息相关。人的作用体现在序贯决 策问题的两方面，一则，人本身属于序贯决策问题模型中的一部分，即该类问题 是离不开人的如微创外科手术等；二则，人的相关信息不体现在序贯决策问题模 型中，而是因人独特的认知能力使得其可以出现在问题的求解办法中，达到改善 问题求解的目的如人对机器搜救系统的引导等，我们将上述两种场景统称为 “人 机序贯决策问题”。 针对人机序贯决策问题，由于人类智能和机器智能本质上的区别，数学表达 上的巨大差异，使得人和机器共同作用于问题求解时，不可避免的因为协调原因 造成决策质量不高甚至决策失误的现象。然而直接应用传统人机系统的控制算 法不能有效处理这些问题，从而引起机器代理失效，人力浪费，甚至还会造成决 策系统性能恶化甚至崩溃。因此，亟需设计有效的人机混合智能算法来解决这些 问题。本文以人机序贯决策问题为研究对象，围绕人机混合智能控制中的决策权 限划分、介入控制触发切换时机和共享控制混合人机决策动作程度三个问题展 开研究，旨在提出有效的人机混合智能算法来改善提升人机序贯决策问题的求 解。本文的研究工作主要包括以下几个方面: 1. 提出了基于强化学习方法的人机混合智能控制框架。通过将机器代理的决 策和人类的决策以可信性和安全性为评价指标进行仲裁选择，以确定更优 的待执行决策动作。同时考虑了基于模型的强化学习子系统和基于无模型 的强化学习子系统，为适应广泛的序贯决策应用场景提供了更多可能。 2. 针对人机序贯决策中的介入控制问题，提出了自主性及自主性边界的概念， 通过将自主性边界的求解形式化为与任务目标相关的常规优化问题进行讨 论判定，优化介入控制的控制方案和算法，实现人机序贯决策中人介入机 器场景和机器介入人场景下的决策性能提升。 3. 针对人机序贯决策中的共享控制问题，提出了基于自主性边界的混合参数 优化设计方案，通过自适应调节混合参数大小直接影响最终待执行动作的 生成。考虑了人机动作的融合程度，使得最优解在人的动作空间和机器的 动作空间所共同张成的扩展空间中出现，为决策质量的提升提供了扩展空间。 4. 针对介入控制和共享控制中所估计的自主性边界值可能存在单值估计不准 确的问题，提出了基于贝叶斯神经网络的不确定性估计办法，获得自主性 边界的概率分布信息并用于决策动作生成，利用自主性边界的不确定性优 化设计人机混合智能算法，既使得决策动作的优化存在更多选择，也更加 符合人们对决策边界的模糊性思考。 综上所述，本文面向人机序贯决策对混合智能算法所面临的问题进行了系 统性的研究，创新性地提出了对应的解决方案，推动了人机序贯决策求解和混合 智能算法的进一步发展。

Book Chapters

1. SMT Component Defection Reassessment Based on Siamese Network Chengkai Yu, Yun-Bo Zhao , and Zhenyi Xu In Methods and Applications for Modeling and Simulation of Complex Systems 2022 [Abs] [doi] [pdf]

   In the SMT process, after component placement, checking the quality of component placement on the PCB board is a basic requirement for quality control of the motherboard. In this paper, we propose a deep learning-based classification method to identify the quality of component placement. This is a comparison method and the novelty is that the siamese network is trained to extract the features of the standard placement component map and the placement component map to be inspected and output the probability of similarity between the two to determine the goodness of the image to be inspected. Compared to traditional hand-crafted features, features extracted using convolutional neural networks are more abstract and robust. In addition, during training, the concatenated network pairs the sample images to expand the amount of training data, increasing the robustness of the network and reducing the risk of overfitting. The experimental results show that this method has better results than the general model for the classification of placement component images.

patent

1. 基于跨模态生成式学习的液压减震器设备异常检测方法 赵云波, 朱慧娟, 闫晓辉, and 康宇 2023 [pdf]
2. 锡膏印刷机参数调整数据处理软件V1.0 许镇义, 刘斌琨, 康宇, 曹洋, and 赵云波 2022 [pdf]
3. 锡膏印刷机离线故障预测软件V1.0 赵云波, 刘斌琨, 曹洋, 康宇, and 许镇义 2022 [pdf]
4. 锡膏印刷机在线故障预测软件V1.0 赵云波, 陈龙鑫, 朱慧娟, 康宇, and 许镇义 2022 [Abs] [pdf]

   本软件系统用于锡膏印刷机的在线故障预测，通过 url 接口实时获取锡膏印刷机 的状态数据，调用事先训练好的机器学习模型进行故障预测，并将故障预测结果 展示在前端可视化界面，以辅助工程师及时进行维护。

5. 基于特征工程的PCB板焊盘偏移预测方法及存储介质 曹洋, 刘斌琨, 赵云波, 康宇, and 许镇义 [Abs]

   本发明的一种基于特征工程的PCB板焊盘偏 移预测方法及存储介质，包括以下步骤，S1：获取 PCB板的历史偏移检测数据，进行数据预处理，并 使 用滑动窗 格法对数据进行 切分 ；S2 ：计算手工 设计的统计指标；S3：构建重加权支持向量机，输 出预测结果。本发明可根据手工设计的反应偏移 时间序列特点的统计特征对PCB板焊盘偏移进行 预测，通过工程师的适时介入从而避免生产不良 品 。同 时 可通过统 计特征对预 测结果进行解 释 ， 使得模型预测过程更容易被工程师理解。利用加 权的支持向量机对手工设计的特征进行核函数 的 非线性变换 ，提高 模型的 稳定性。对偏移不良 赋予更大的权重，克服了偏移不良数据极其稀少 的困难，从而实现偏移不良的时序预测。

6. 真空吸嘴失效预测方法、装置、设备及存储介质 康宇, 张年坤, 赵云波, 曹洋, and 许镇义 [Abs]

   本发明公开了一种真空吸嘴失效预测方法、 装置、设备及存储介质，该方法包括：获取目标真 空吸嘴的预设参数数据；将预设参数数据重构后 的第一融合特征输入至健康分类器，并基于健康 分类器输出目标真空吸嘴的状态；当目标真空吸 嘴的状态输出结果为失效类时 ，将预设参数数据 的第二融合特征输入至失效分类器，并基于失效 分类器输出目标真空吸嘴的失效原因。不同于现 有忽略真空吸嘴所处健康状态时长与所处失效 状态时长之间时长差异的预测方法，本发明对目 标真空吸嘴的预设参数数据进行特征重构，再基 于重构特征和健康分类器获取目标真空吸嘴状 态来判断目标真空吸嘴是否失效，因此本发明缓 解了健康数据分布不平衡的负面影响，提高了预 测结果的准确性。

7. 设备故障分类方法、装置、设备及介质 李鲲, 齐振宇, 康宇, 赵云波, and 吕文君 [Abs]

   本申请公开了设备故障分类方法、装置、设 备及介质，所述方法包括：获取设备振动信号，构 建设备振动信号对应的样本集合；依据有标签样 本集合 ，构建深度神经关 系网 络 ；将无标签样本 和有标签样本成对输入深度神经关系网络，得到 第一关联关系评分；根据第一关联关系评分和有 标签样本的设备健康状态标签，生成无标签样本 对应的 伪标签 ；依据 训练 样本集 、无标签样本 和 伪标签 ，重新 训练 深度神经关 系网 络 ，得到深度 神经关系网络故障分类模型；通过深度神经关系 网络故障分类模型对待检测设备进行设备故障 分类预测，得到待检测设备的故障分类结果。本 申请解决了现有技术中依据少量标记样本构建 的机器学习模型进行设备故障诊断的准确性低 的技术问题。

8. 贴片机的健康度评估方法及系统 李鹏飞, 赵昀昇, 康宇, 赵云波, and 王涛 [Abs]

   本发明公开了一种贴片机的健康度评估方 法及系统，属于工业制造装备技术领域，包括：获 取贴片机当前运行状态数据；采用主成分分析法 对当前运行状态数 据进行特征提取 ，得到i个健 康监 测指标 ；采 用标准化欧氏 距离法 ，根据健康 监测指标在贴片机整体健康情况中的健康权重， 计算各健康监测指标的向量与理想健康向量之 间的距离；采用负向函数将距离换算成贴片机的 健康值。整个预测过程，简单易操作，可解释性很 强，不需要进行复杂地配置，贴合工业环境，无需 占 用过多的计算资源，即实现对贴片机的健康程 度评估。

9. 印刷电路板的微小缺陷检测方法及存储介质 许镇义, 余程凯, 曹洋, 康宇, and 赵云波 [Abs]

   本发明的一种印刷电路板的微小缺陷检测方法及存储介质,包括以下步骤,S1、获取PCB缺陷样本数据并进行数据预处理；S2、在PCB训练集的边界框上使用k-means聚类来找到符合要求的anchor尺度；S3、采用多尺度特征金字塔结构提取特征,对主干卷积网络中得到自底向上的特征图进行上采样,得到自顶向下的特征图,然后将其与自底向上的特征图逐元素相加得到最终的特征图；S4、通过计算损失,训练网络参数。本发明通过数据增强技术提供深度学习所需要的充足训练数据,利用k-means聚类设计合理的锚点尺度,再将特征金字塔与Faster R-CNN网络相结合,加强了不同层次特征图之间的关系,从而实现对PCB微小缺陷的检测。本发明提高检测效率,并且能够适应多种缺陷检测,适应性强。

10. 用于PCB微小缺陷检测的单帧目标检测方法及存储介质 许镇义, 桂旺友, 曹洋, 康宇, and 赵云波 [Abs]

    本发明的一种用于PCB微小缺陷检测的单帧目标检测方法及存储介质,包括以下步骤：S1、获取PCB图像信息,并对图像进行数据预处理；S2、构建网络模型,将处理后的图像输入VGG-16特征提取网络,并对不同层次的特征进行融合,同时消除融合过程中所带来的负面影响；S3、对模型进行训练,并根据训练得到的结果评估性能。本发明利用注意机制来学习跨通道融合的特征之间的关系,并利用shuffle模块消除融合后的混叠效应。提出了非最大抑制方法,以减轻PCB图像的重叠效应。语义上升模块通过将不同层次的特征进行融合,不仅使低层次的特征具备丰富的语义信息,还能让高层次的特征具备更好的回归性,在目标分类与定位方面显著增强,能够更好地适应微小目标的检测。

11. 基于人机融合的SMT产线关键工艺参数优化方法及存储介质 张倩倩, 赵云波, 康宇, 许镇义, 丁振桓, and 李泽瑞 [Abs]

    本发明的一种基于人机融合的SMT产线关键 工艺参数优化方法及存储介质，包括以下步骤， 通过锡膏印刷系统对SMT产线上的电路主板进行 锡膏点印；通过锡膏印刷检测系统对经过锡膏印 刷系统的电路主板印刷情况进行检测；构建印刷 质量预测模型对从关键工艺参数到SPI检测数据 的对应关系进行拟合训练；构建印刷工艺参数策 略模型对从SPI检测数据到关键工艺参数改进之 间的策略模型进行拟合训练；结合人类专家的经 验知识辅助机器智能的训练以及危机情况的纠 错。本发明引入了强化学习用于决策锡膏印刷关 键工艺参数的生成，结合基于MLP的印刷质量预 测模型，形成一套优化印刷关键工艺参数的优化 系统，具有较好的稳健性，且能适应多步预测等 复杂情况。

12. 一种细粒度自适应主板功能测项选择方法及系统 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明公开了一种细粒度自适应主板功能 测项选择方法及系统 ，包括如下步骤 ：S1 ：分析主 板电路图 ，建立针对主板功能测试的故障树 ；S2 ： 对所述故障树进行可靠性分析，获得所述故障树 中的顶事件和中间事件的发生概率表达式；S3： 搜集整理故障主板的维修数据并统计故障树中 基本事件的发生概率，设定主板功能测项的不良 率阈值；S4：当测试主板型号发生切换时，设定切 换后主板功能测试的不良率阈值；S5：计算主板 功能测项的实际不良率，将所述实际不良率和对 应主板型号的不良率阈值进行比较，得到主板功 能测项的测试策略 ；该测项选择方法为主板功能 测试的不同阶段设计出优于其他测项选择方法 的不良率阈值组合。

13. 减震器故障检测方法、装置、设备及存储介质 赵云波, 刘斌琨, 康宇, 曹洋, and 许镇义 [Abs]

    本发明涉及设备检测技术领域，公开了一种 减震器故障检测方法、装置、设备及存储介质，该 方法包括：基于待检测减震器的传感器数据获取 正对时频图像和负对时频图像；通过预设编码器 对正对时频图像和负对时频图像进行特征提取， 获得传感器特征集；对传感器特征集中各特征进 行更新，并对更新后的传感器特征集中的特征进 行特征融 合 ，获得融合特征集 ；通过预设线性分 类器对融合特征集进行分类检测，根据分类检测 结果判断待检测减震器是否存在故障。相比于现 有技术中通过花费高额成本来获取大量有标签 数据，本发明上述方法减少了现有技术中对有标 签数据的需求量过大导致成本过高的问题，从而 实现对减震器健康状态的预测性维护检测。

14. 一种基于多尺度标准化流的笔记本外观缺陷检测方法 赵云波, 张杰, 李泽瑞, 康宇, and 吕文君
15. 一种基于故障树和随机森林的主板功能测试方法 赵云波, 徐熠洋, 王康成, 康宇, and 柏鹏
16. 故障诊断模型的训练方法、装置、电子设备及存储介质 赵云波, 陈龙鑫, 刘斌琨, 朱慧娟, 许镇义, and 柏鹏 [Abs]

    本申请公开了一种故障诊断模型的训练方 法、装置、电子设备及存储介质，属于计算机技术 领域。所述方法包括：获取多个工况中各工况集 下的故障数据，分别作为源域数据，并获取目标 工况下的故障数据，作为目标域数据，所述工况 集包括所述多个工况中的至少一个工况，所述工 况集下的故障数据为已标记故障类别的数据，所 述目标工况下的故障数据为未标记故障类别的 数据；确定所述目标域数据与各所述源域数据之 间的目标分布差异；根据所述目标分布差异选取 源域数据作为训练数据；根据所述训练数据，对 所述目标工况的故障诊断模型进行训练。本申请 能够提高模型训练效果，进而提高对目标工况进 行故障诊断的准确率。

17. 产线设备故障预测方法、装置、电子设备及存储介质 赵云波, 董少杰, 刘斌琨, 朱慧娟, 许镇义, and 柏鹏 [Abs]

    本申请公开了一种产线设备故障预测方法、 装置、电子设备及存储介质，属于计算机技术领 域。所述方法包括：获取测试结果序列，测试结果 序列包括多个电路板的测试结果信息，测试结果 信息包括电路板中各功能模块的测试结果；根据 测试结果序列，获取各功能模块的良率序列；根 据各功能模块的良率序列，获取多个各功能模块 中的目标功能模块与其他功能模块的相关性序 列；根据各功能模块的良率序列和相关性序列， 获取目标功能模块的良率预测信息；根据相关性 序列和良率预测信息，预测目标功能模块对应的 产线设备是否存在故障。本申请能够准确预测产 线设备是否出现故障，以及时发现故障设备，避 免生产事故的发生。

18. 一种基于故障树和相关性分析的动态测项良率计算方法 赵云波, 马树森, 王康成, 康宇, and 柏鹏 [Abs]

    本发明涉及智能制造技术领域，公开了一种 基于故障树和相关性分析的动态测项良率计算 方法，包括：建立主板测项故障树，基于建立的测 项故障树构造测项的相关性矩阵，并利用该相关 性矩阵初步筛选出一个或多个与动态测项相关 性强的必测项；比较测项间的相关系数与人为设 定的阈值之间的大小，从而筛选出与动态测项关 联性最强的必测项；用必测项的良率作为动态测 项的良 率；本发明提供一种更加科学、合理的方 法，从而达到优化主板功能测试策略的目的，提 高测试效率。

19. 融合决策树和故障树分析的主板功能测试策略设计方法 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明涉及人工智能领域，具体涉及融合决 策树和故障树分析的主板功能测试策略设计方 法。本发明通过构建故障树分析主板故障，计算 测项故障概率和良率范围。在良率阈值设定范围 内，随机生成良率阈值，形成良率阈值矩阵，作为 决策树模型的输入，确定每个测项的测试策略。 进一步计算测试策略的经济效益，作为决策树模 型的输出。确定决策树模型中的目标路径，根据 目标路径上非叶节点包括的信息更新良率阈值 设定范围。设定准确的良 率阈值，与实际良 率比 较，得到最终测试策略。此方法为主板功能测试 环节设计出科学、有效、可解释的测试策略，解决 了行业内测试策略设计缺乏理论依据和可解释 性的问题，同时提升了整体经济效益，确保了主 板测试质量。

20. 一种基于可靠性分析的主板功能测试策略方法及系统 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明公开了一种基于可靠性分析的主板 功能测试策略方法及系统，包括如下步骤：S1：分 析主板电路图 ，建立针对主板功能测试环节的故 障树；S2：对所述故障树进行可靠性分析，计算所 述故障树中的中间事件的发生概率，基于所述发 生概率设定可靠性指标阈值；S3：统计实际产线 上主板的测试数据，计算所述主板功能测项的实 际不良率，将所述实际不良率和所述可靠性指标 阈值进行比 较 ，得到主板功能测项的测试策略 ； 该主板功能测试策略方法及系统能够解决行业 内现行的主板功能测试策略设计方法缺乏理论 依据的问题，并且在保证行业良率要求的情况下 提升整体经济效益。

21. 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 赵云波, 张杰, 李泽瑞, 康宇, and 吕文君 [Abs]

    本发明涉及工业缺陷检测技术领域，公开了 一种基于多尺度标准化流的无监督笔记本外观 缺陷检测方法，将采集得到的笔记本电脑外观图 像，依次输入到多尺度特征提取网络模型以及缺 陷检测模型，得到检测结果；训练方法包括：获取 笔记本电脑的原始外观图像后进行数据预处理， 得到训练数据集；构造基于ResNet50网络和特征 金字塔网络的多尺度特征提取网络模型，提取训 练数据集中外观图像的多尺度特征；构造基于多 尺度标准化流网络的缺陷检测模型，以多尺度特 征作为缺陷检测模型的输入，通过计算损失函数 对缺陷检测模型进行训练。本发明能很好地定位 不同尺度不同类型的缺陷，有着良好的检测效果 与缺陷定位效果。

项目人员

赵云波 何创创 余程凯 刘斌琨 刘朝虎 张天浩 张年坤 张杰 朱慧娟 李佳玉 李瑶瑶 桂旺友 梁秀华 欧阳晨 范冰 董少杰 谢飞 赵昀昇 陈明 陈龙鑫 青凡迪 马树森 齐振宇