人机智能协同关键技术及其在智能制造中的应用

项目概要

以深度学习为基础的AI技术的难解释、鲁棒性差等缺点将人重新请回控制的闭环中，形成了“人机智能 协同”新型人机协同范式，成为自动驾驶、智能制造等领域不可替代的关键技术，亟需全新的概念框架和技术方法。依托项目团队及其合作者在人机混合智能系统自主性理论和方法方面的前期研究成果，及与联宝科技（联想集团子公司、合肥市第一大企业）的前期合作基础，本项目将前期理论成果应用于智能制造领域，解决人机智能协同在智能制造中的一系列关键共性技术问题，形成面向智能制造的人机智能协同系统性的技术，助力智能制造产业升级。

主要研究内容

• 利用“人在环上”人机智能协同有效提升智能制造系统性能的关键共性技术
• 利用“人在环内”人机智能协同有效提升智能制造系统性能的关键共性技术
• 人机智能协同用于智能制造提升生产效率和可靠性的关键共性技术

相关阅读

研究成果

Journal Articles

1. PCB Layout-Based Spatiotemporal Graph Convolution Network for Anomaly Prediction in Solder Paste Printing Binkun Liu, Yu Kang, Yun-Bo Zhao , Yang Cao, and Zhenyi Xu IEEE Trans. Compon., Packag. Manufact. Technol. 2025 [Abs] [doi] [pdf]

   Predicting solder paste printing anomaly on the printed circuit board (PCB) can improve first-pass yield and reduce rework costs. Considering the impact of the PCB layout on the quality of solder paste printing, we propose a PCB layoutbased spatiotemporal graph convolution network, in which we construct a graph to model the spatial distribution of solder pads. Specifically, since the printing quality is related to the spatial distribution of the pads, we convert the PCB to a graph according to the Pearson correlation of the printing quality and then trim the edges of the graph with a correlation threshold to model the spatial distribution of solder pads. To model the time-varying physicochemical properties of the solder paste, normalize the production time, calculate the attention of the production time, and reconstruct the printing quality based on the attention. Then, we devise a weighted loss to improve the performance of predicted printing of defective products due to the scarcity of defective products. Ultimately, the predicted printing quality is compared with the inspection threshold to estimate the degree of anomaly. The proposed method is validated on six days of real solder paste printing data, improving the average F1 score by 0.057 and the average accuracy by 0.022 for three typical anomalous printing behaviors over two temporal prediction scales.

2. Cross-Sensor Generative Self-Supervised Learning Network for Fault Detection Under Few Sample Huijuan Zhu, Yun-Bo Zhao , Xiaohui Yan, Yu Kang, and Binkun Liu Journal of Systems Science & Complexity 2025 [Abs] [pdf]

   In this paper, a cross-sensor generative self-supervised learning network is proposed for fault detection of multi-sensor. By modeling the sensor signals in multiple dimensions to achieve correlation information mining between channels to deal with the pretext task, the shared features between multisensor data can be captured, and the gap between channel data features will be reduced. Meanwhile, in order to model fault features in the downstream task, the salience module is developed to optimize cross-sensor data features based on a small amount of labeled data to make warning feature information prominent for improving the separator accuracy. Finally, experimental results on the public datasets FEMTO-ST dataset and the private datasets SMT shock absorber dataset(SMT-SA dataset) show that the proposed method performs favorably against other STATE-of-the-art methods.

3. Modelling and Optimizing Motherboard Functional Testing in Laptop Manufacturing Peng Bai, Yu Kang, Kangcheng Wang, Yunbo Zhao, and Shaojie Dong J Syst Sci Complex 2024 [Abs] [doi] [pdf]

   Functional testing is key to fulfill quality control in laptop manufacturing and is of great economic value. However, due to the unavailability of practical data, mathematical model and systematic perspective, it has barely been touched from the academic community to date. For the first time, this work provides technical understanding of the key principles of functional testing, mathematically models the general framework, elucidates existing testing strategy under the proposed framework and model, and finally proposes a specified optimization strategy which outperforms existing strategies. This work lays the model foundation for the further optimization of functional testing, and can be regarded as a good example of how a systematic approach can solve practical industrial challenges.

4. A Health Indicator Enabling Both First Predicting Time Detection and Remaining Useful Life Prediction: Application to Rotating Machinery Yun-Sheng Zhao, Pengfei Li, Yu Kang, and Yun-Bo Zhao Measurement 2024 [Abs] [doi] [pdf]

   Remaining Useful Life (RUL) prediction is vital for system functionality. Non-end-to-end approaches is an important type of RUL prediction approaches for their important application in industrial scenarios. In non-end-to-end approaches, Health Indicator (HI) construction is a critical aspect. However, existing HI construction approaches ignore First Predicting Time (FPT) detection, leading to increased domain knowledge demand and system health comprehension difficulty. To address this issue, this paper proposes a multi-objective-optimization-based HI construction approach enabling both FPT detection and RUL prediction. A novel metric called the monotonicity strength index is proposed to address the limitation of the conventional monotonicity. The constructed HI possesses the ability to indicate FPT by taking the detectability metric as an optimization objective. The optimization problem is solved by the combination of the multi-objective ant lion optimizer and the entropy weight method. The superiority of this HI is demonstrated through experiments on the widely used IMS bearing dataset and a gearbox dataset.

5. 面向人机序贯决策实现共享控制下的仲裁优化 张倩倩, 赵云波, 吕文君, and 陈谋 中国科学：信息科学 2023 [Abs] [doi] [pdf]

   共享控制存在于众多由人类智能和机器智能共同参与的序贯决策场景. 由于人的决策范围和 智能机器的决策范围尚未予以明确划分, 需要加以实时仲裁从而达到人机共存并且共享决策权限. 为 此本文提出了一种仲裁优化方法, 该方法的独特之处在于引入自主性边界概念, 优化了共享控制中人 机决策动作的仲裁机制. 本文为自主性边界的计算和更新维护提供了思路, 能够基于贝叶斯规则的意 图推理分析人机共享系统可能要实现的目标, 从而确定仲裁参数. 此外, 本文还分析了自主性边界的 不确定性以促进边界信息对共享控制中决策质量的优化效果. 实验结果表明, 所提出的方法在累积奖 励、成功率、撞击率方面表现出色, 这些说明了本文提出的共享控制中的仲裁优化方法在求解人机序 贯决策问题时的有效性和价值.

Conference Articles

1. Functional Test-Cost Reduction Based on Optimization Modeling and Congestion Control Peng Bai, Kangcheng Wang, Yun-Bo Zhao , Yu Kang, and Wenhao Fang In 2024 14th Asian Control Conference (ASCC) 2024 [Abs] [pdf]

   Functional testing is a crucial process to guarantee the quality of electronic products. In recent years, the cost of functional testing has been rising with the increasing complexity of products, and reducing testing costs is of great significance to the economic efficiency of electronic manufacturing enterprises. Related research has not yet fully considered the issue of the nonuniform distribution of functional testing samples in practical applications, making it challenging to ensure the effectiveness of reducing testing costs. Inspired by the concept of TCP congestion control algorithms, this paper presents an enhanced congestion control algorithm tailored for the functional testing process and proposes a method to reduce testing costs accordingly. The proposed method can design dynamically changing testing strategies based on optimal modeling. On the simulation data closely resembles the actual data, the proposed method can significantly reduce the testing costs compared to the pure optimization modeling method.

2. A Reliable Ensemble Model Based on Hierarchical Component Features for Repair Label Prediction of Soldering Defects Longxin Chen, Yunbo Zhao, Binkun Liu, Shaojie Dong, Huijuan Zhu, and Peng Bai In 2024 14th Asian Control Conference (ASCC) 2024 [Abs] [pdf]

   Using solder paste inspection (SPI) and automated optical inspection (AOI) data, accurate prediction for repair labels of soldering defective printed circuit board (PCB) components can help reduce labor costs. Existing research tries to pick out both the false defect components (actually good) and impossible-to-repair components among defective PCB components, using SPI and AOI data. However, it is inappropriate to pick out the false defect components from screened components using defective information in AOI data. Therefore, the problem setting of existing research is inappropriate, resulting in the algorithm’s performance not meeting actual requirements. To address this problem, we only care about the reliable prediction of impossible-to-repair components. We propose a hierarchical component feature extraction method that can comprehensively characterize the degree of component defects from multiple levels, including pin level and component level. Then we apply the ensemble model based on XGBoost and TabNet and adjust the probability threshold of components judged as impossible-to-repair category, achieving the reliable prediction of impossible-to-repair components. Finally, we validated our method on real datasets and achieved better experimental results compared to baseline methods, which can meet actual requirements,

3. Prediction of Yield in Functional Testing of Motherboards in Laptop Manufacturing Yunbo Zhao, Shaojie Dong, Yu Kang, Kangcheng Wang, Longxin Chen, and Peng Bai In 2024 14th Asian Control Conference (ASCC) 2024 [Abs] [pdf]

   Functional testing stands as a pivotal quality control step in the production process of laptop motherboards, aiming to validate the proper functioning of various components. However, due to the multitude of functional modules involved on the motherboard, testing all of them requires a significant amount of time and resources. As a result, production line engineers often rely on empirical selection of modules with low yield rates for testing. However, such empirical yield estimation is often inaccurate. To address this challenge, this study proposes a hybrid model based on XGBoost and Long Short-Term Memory (LSTM) networks to predict the yield of each functional module. By harnessing the feature learning capability of XGBoost and the sequential modeling power of LSTM, this model efficiently explores the intricate correlations among motherboard functional modules, thereby accurately forecasting their yields. We extensively train and validate the model using historical production data and successfully deploy it on real laptop motherboard production lines. Experimental results demonstrate that our hybrid model accurately predicts the yield of each functional module, providing crucial guidance for the functional testing process. Through in-depth analysis of the predicted yield results, engineers can systematically choose testing projects to save time and resources. This research offers a novel approach and pathway for enhancing motherboard production efficiency and quality.

4. Functional Test-Cost Reduction Based on Fault Tree Analysis and Binary Optimization Xiaojie Zuo, Kangcheng Wang, Yun-Bo Zhao , Yu Kang, and Peng Bai In 2024 43rd Chinese Control Conference (CCC) 2024 [Abs] [doi] [pdf]

   With the rapid increase in the complexity of electronics, the cost of the functional testing process used to ensure product functionality continues to rise. Optimization modeling based on reliability analysis is an effective approach to reduce testing costs. However, the reliability calculations of existing methods often exhibit significant deviations, making it challenging to guarantee the effectiveness of the resulting testing strategies in practical applications. To address this issue, this article proposes an optimization modeling method that integrates statistical analysis and reliability analysis. The expression for the reliability of the system’s key stage is formulated by analyzing the system’s reliability. Statistical analysis is utilized to exploit the inherent reliability information in the enormous process data to determine the probability of the root causes of system failures. The reliability of the key stage is quantitatively calculated based on the structure of the fault tree tailored for the system. On this basis, a binary optimization model is established to obtain a testing strategy with strong generalization ability and reduce the cost of functional testing. The effectiveness of the proposed method is verified through a simulation case study.

5. Board-Level Functional Test Selection Based on Fault Tree Analysis Yaoyao Li, Kangcheng Wang, Yu Kang, Yunbo Zhao, and Peng Bai In 2023 6th International Symposium on Autonomous Systems (ISAS) 2023 [Abs] [doi] [pdf]

   With the increasing complexity of the circuit board, the cost of board-level functional test ensuring the board quality becomes dramatically high. Data-driven-based test selection methods have been widely studied for test-cost reduction. However, existing test selection methods tend to overfit due to overlooking the root causes of faulty boards. To address this issue, a test selection method based on reliability analysis is proposed. A fault tree oriented to the board-level functional test is established for analyzing the reliability of the board and test items. The reliability analysis result is then effectively utilized to formulate a test selection method. Three indices are introduced to evaluate the test efficiency and the test quality. Experimental results demonstrate the effectiveness of the proposed method.

6. A Feature Engineering-based Method for PCB Solder Paste Position Offset Prediction Binkun Liu, Yunbo Zhao, Yu Kang, Yang Cao, Peng Bai, and Zhenyi Xu In 2023 6th International Symposium on Autonomous Systems (ISAS) 2023 [Abs] [doi] [pdf]

   Solder paste printing position offset is a common type of defective printed circuit board (PCB) printing, and accurate position offset prediction helps to avoid the production of defects, thus improving efficiency. The existing methods mainly use the powerful nonlinear fitting ability of deep learning to learn the variation pattern of solder paste printing quality to achieve a good prediction. However, factories also focus on the interpretability of the model, and existing methods are difficult to give the basis for decisions, so there are still limitations in the practical application. To solve this problem, we propose a Support vector machine (SVM) approach, in which we manually design 14 statistical features based on the original data, then the resampling reduces the effect of data imbalance and achieves PCB pad-level offset prediction. Finally we verified on about one week of real solder paste printing production data and achieved good experimental results.

7. Defect Detection of Laptop Appearance Based on Improved Multi-Scale Normalizing Flows Jie Zhang, Zerui Li, and Yunbo Zhao In 2023 38th Youth Academic Annual Conference of Chinese Association of Automation (YAC) 2023 [Abs] [doi] [pdf]

   In the laptop production process, timely detection of appearance defects is essential to ensure product quality. At present, there are many shortcomings in the manual visual inspection-based method on the laptops production line. In addition, due to the wide variety of laptop appearance defects and extreme differences in defect scales, existing defect detection algorithms perform poorly in the field of laptop appearance inspection. In response to the above problems, this paper proposes a defect detection algorithm based on improved multi-scale normalizing flows. First, the multi-level features extracted from the backbone network are fused by using the pyramid feature fusion module to obtain multi-scale features with rich semantic and spatial information. Then, the effective density estimation of the multi-scale features is achieved by fusing the normalizing flows of attention mechanisms. Finally, the defects are detected and localized based on the output likelihood values. The experimental results demonstrate the effectiveness of the proposed method in detecting and locating appearance defects.

8. A Robustness Benchmark for Prognostics and Health Management Binkun Liu, Yun-Bo Zhao , Yang Cao, Yu Kang, and Zhenyi Xu In 2022 41st Chinese Control Conference (CCC) 2022 [Abs] [doi] [pdf]

   With the rise of intelligent manufacturing, prognostics and health management(PHM) has developed rapidly as an important part of intelligent manufacturing.Existing deep learning-based PHM methods are data-dependent. However, sensor data often contains noise and is redundant and high-dimensional, making it difficult for the PHM methods to learn a stable set of model parameters, so the methods are likely to be wrong when disturbed. However, the factory hopes that the PHM methods are robust enough to adapt to various disturbances, so it is necessary to perform robustness evaluation on the existing methods in advance for easy deployment. Although the existing robust theoretical analysis methods for neural networks can obtain tight robust boundaries, they consume a lot of computing resources and are difficult to scale to large neural networks. To slove this problem, We design a benchmark for robustness analysis of large deep learning PHM models, in which we test the model robustness using a variety of perturbations to simulate the actual production environment of the factory. Specifically, Gaussian noise is used to test the robustness of the model to background noise; random mask is used to test the robustness of the model to data loss. We hope that our robustness benchmark can serve as a reference for designing PHM models to improve the robustness of factory PHM models.

9. Anomaly Detection for Surface of Laptop Computer Based on Patchcore Gan Algorithm Huijuan Zhu, Yu Kang, Yun-Bo Zhao , Xiaohui Yan, and Junqiang Zhang In 2022 41st Chinese Control Conference (CCC) 2022 [Abs] [doi] [pdf]

   Timely detection of notebook appearance defects is an important means to prevent products from being delivered to customers before leaving the factory.In industrial production, more emphasis is placed on fast and accurate detection methods, but the existing difficulties: 1. Defect samples are rare and difficult to obtain; 2. In high-resolution images, there are slight differences between abnormal samples and normal samples; 3. Slowly detection and insufficient accuracy.The existing methods mainly use a large amount of abnormal samples, so it is difficult to extend to the field of notebook appearance anomaly detection.To solve this problem, we designed a method that firstly uses unsupervised PatchCore which the algorithm was trained on normal samples and Defect GAN is used in test phase. To create a large number of verisimilitude abnormal samples and test these samples with PatchCore. On TKP-Surface datasets, the AUROC score of image-level anomaly detection achieves 96.1%, which meets the requirements of industrial applications.

Theses

1. 多部件系统的质量-维护-调度联合优化研究 陈明 中国科学技术大学, 合肥 2024 [Abs] [pdf]

   随着生产系统的复杂度不断提升，多部件系统逐渐成为现代生产制造过程 的核心，其生产管理研究引起了学术界和产业界的广泛关注。在此背景下，产品 质量、维护决策和生产调度是生产过程中的三个主要因素，且彼此间存在紧密的 相互作用。系统中任一部件故障会导致生产停机，影响生产计划的执行；在生产 调度过程中需要考虑维护时机，以便在计划的生产停机时间进行维护，减少维护 产生的停机成本；通过维护可以减少系统状态退化造成的质量损失，但频繁的维 护会增加维护成本。由于三者之间相互影响，同时优化质量、维护成本和交货期 这三个关键目标面临挑战。 针对以上问题，论文以多部件系统为研究对象，将产品质量退化过程纳入到 维护决策中，考虑维护与调度之间的相关性，在强化学习和遗传算法框架下，实 现质量、维护与调度的联合优化，主要研究内容包括： （1）针对固定生产计划下多部件系统的产品质量和维护决策联合优化问题， 将维护决策建模为马尔可夫决策过程，引入当前生产批次剩余时间的概念，在奖 励函数中加入质量损失以及与生产计划相关的停机成本，使用深度强化学习对 决策问题求解，实现降低维护成本的同时减少质量损失，并能够根据生产计划变 化动态调整维护策略。 （2）针对多部件系统的产品质量、维护决策和生产调度联合优化问题，设计 了一种两阶段联合优化方法。第一阶段以维护决策为主，在维护中考虑生产计划 以及产品质量，利用强化学习实现能够根据生产计划变化动态调整的维护策略。 第二阶段利用第一阶段得到的维护策略，计算生产过程中的维护时间、维护成本 和质量损失，使用遗传算法求解联合优化模型，实现减少延误成本的同时减少维 护成本和质量损失。 （3）针对生产计划扰动下并行多机系统的动态调度问题，设计了基于周期和 事件混合驱动策略，减少静态调度随时间累积的误差以及扰动事件对生产带来 的影响。并针对不同扰动事件分别设计了相应的调度修复策略，实现了处理生产 计划扰动的同时保持生产过程的稳定性。

2. SMT贴片元件自动光学检测关键技术研究 桂旺友 中国科学技术大学, 合肥 2024 [Abs] [pdf]

   近年来，表面贴装技术（Surface Mounted Technology, SMT）广泛地应用于 电子组装行业，高效的生产流程极大地促进了电子产品的智能化、精密化发展。 印刷电路板（Printed Circuit Board, PCB）上的布线和元件随之变得越来越密集， 这对其在生产过程中的质量检测问题也提出了更大的挑战。目前主流的方法是 采用自动光学检测（Automated Optical Inspection, AOI）技术对贴片元件经过回 流焊后的可能产生的缺陷情况进行检测。然而，当前的 AOI 技术大多还采用基 于模板匹配的传统视觉手段，在实际生产中仍然存在着较多的误检和漏检情况， 且整体工作效率不高，因此对其进一步地研究和改进有着重要的意义。 本文针对实际产线上的 AOI 系统的生产情况进行分析。研究发现，AOI 系 统的弊端主要在于使用的技术缺乏先进性，导致效率低下。一方面，由多张 PCB 局部图像拼接得到的整板图像质量不高，存在着明显的错位情况，这严重影响着 有缺陷区域的识别效果；另一方面，在缺陷检测时使用的模板匹配技术存在着较 大的弊端，该算法高度依赖于模板和拼接图像的质量，前者需要专业人员精心 设计建模，后者又取决于图像拼接的准确度。另外，匹配时的判定规则也比较单 一，难以应对复杂的缺陷特征，使得误检率达到了 80%，以至于需要大量人工复 检工作。针对以上问题，本文对这两个环节中所使用的关键技术进行研究，对图 像拼接算法进行了改进，并提出一种全新的缺陷检测算法，具体内容包括： 1. 针对 AOI 系统采集的若干张 PCB 局部图像拼接成 PCB 整板图像的问题， 将硬拼接和软拼接的方式相结合，提出一种基于 SURF 主要距离的主板图像拼 接算法，实现了 PCB 图像的实时高质量拼接。针对传统的 SURF 拼接算法进行 改进，提出基于划分区域的特征点提取方法和基于主要范围的匹配对细筛选方 法，在算法速度和准确度上都得到了较好的提升。以硬拼接流程为基础，为应 对由于震动导致的不同组相邻图像间偏移量一直在变化的情况，利用改进后的 SURF 算法提取出待拼接图像的特征点并匹配，将所有匹配对之间主要距离作为 偏移量，在每次拼接不同对象时都能做到实时调整。为了弥补光照不均造成的拼 接缝两边色差明显，采用基于加权像素的空域融合法处理该区域。以最先完成拼 接的第一列图像为准，通过偏移补偿方法保证所有其他列拼接图像尺寸与之一 致。在 PCB 整板图像拼接实验中，本文方法只需要 16s 左右的时间就可以在保 留图像高清晰度的前提下稳定地实现图像拼接过程，并且最终结果图的错位情 况得到明显改善。 2. 针对 SMT 产线中贴片元件经过回流焊后的缺陷检测问题，结合深度学习 技术，将目标检测应用于贴片元件的缺陷检测任务，提出一种基于自适应协同特征的 DETR 缺陷检测算法，实现了多种复杂缺陷元件的有效检测。为应对相关 数据稀少的情况，构建了 SMT 贴片元件缺陷数据集，包含多种存在不同缺陷情 况下的 PCB 图像。考虑到工业场景中对检测速度和精度的高要求，采用轻量化 的 RT-DETR 作为基准模型，在借助 transformer 强大的建模能力的同时，还具有 较好的实时性。针对贴片元件特殊的缺陷形态，设计出自适应协同模块替代部 分传统的卷积模块，能够更好地关注到元件缺陷的形变特征。提出一种全新的 损失函数，对 PCB 图像中的微小贴片元件更加友好，并且具备较快的收敛速度。 在自行收集贴片元件缺陷数据集的实验表明，本文方法在 mAP50 指标上达到了 88.3%，相对于基准方法提升了 8.4%，在 FPS 指标上达到了 90，在速度和精度 上达到了较好的平衡，优于目前所有的实时目标检测模型。 基于上述研究，本文实现了 SMT 贴片元件自动光学检测关键技术上的改进， 这些算法均将部署在课题组搭建的 AOI 设备上，预计建成后将有效提升制造商 的整体生产效率，并产生巨大经济效益。

3. 基于可靠性分析的主板功能测试策略研究 李瑶瑶 安徽大学, 合肥 2024 [Abs] [pdf]

   电子产品的功能大多集成在主板上，因此为保障电子产品的出厂质量，需要对主板 质量进行严格把控。主板功能测试是保证主板质量的关键环节，然而为使得测试的功能 更加全面，往往需要花费较高的测试成本。为减少测试成本，本文对主板进行了可靠性 分析，并且在此基础上提出了一种基于可靠性分析的主板功能测试策略设计方法，该方 法能够同时兼顾测试质量和测试成本，从而提升笔记本测试环节的整体经济效益。本文 的主要内容包括： 第一，针对主板的维修数据缺乏导致难以对主板进行准确地可靠性分析的问题，本 文提出了一种基于故障树的主板可靠性分析方法，该方法充分的考虑了元件间的互连信 息，能够准确地分析主板的可靠性。首先以某典型笔记本主板为例，为该主板建立了面 向主板功能测试环节的故障树，然后针对主板维修数据充足和缺乏的两个场景分别设计 了自底向上的主板可靠性分析方法和自顶向下的主板可靠性分析方法。特别的，为了提 升可靠性分析的准确性，本文在建立故障树模型时，充分地考虑了元件间互连信息。实 验表明，包含元件互连信息的故障树对主板的可靠性分析更加准确，并且所提方法能够 用于测试策略设计，保证了主板测试质量，同时降低了主板测试时间成本。 第二，针对行业现行的主板功能测试策略设计方法可解释性差，并且往往存在过拟 合的问题，本文提出了一种融合决策树和可靠性分析的可解释测试策略设计方法，该方 法能够提升主板功能测试环节的整体经济效益，并且具有较强的可解释性，能够为主板 生产过程提出针对性的意见，进一步提升主板的良品率。首先利用主板可靠性分析方法 获得主板中各测项的可靠性指标范围。然后在该指标范围内生成第一层决策树模型的训 练数据，根据训练出的决策树模型缩小各测项的可靠性指标范围并进行特征选择。接下 来，根据第一层决策树模型的训练结果准备第二层决策树的训练数据，并根据训练结果 为主板设计测试策略。实验结果表明，所提方法具有较强可解释性，并且能够充分利用 测试结果中的信息，显著提升了整体经济效益。

4. 缺陷样本匮乏场景下的笔记本电脑表面缺陷检测方法研究 张杰 安徽大学, 合肥 2024 [Abs] [pdf]

   工业产品的表面缺陷检测是保证产品质量的一项重要步骤，在生产线上及时检测 并排除有缺陷的产品，可以确保制造出的产品符合质量标准和客户的期望，同时帮助企 业及时分析潜在的生产风险，提升产线的稳定性与生产效率。 在现有的笔记本电脑生产线上，仍然使用效率低、主观性强、成本高的人工目检方 式进行笔记本电脑的表面缺陷检测。随着计算机视觉、深度学习等人工智能技术的发 展，在缺陷样本数据充足的条件下，基于深度学习的缺陷检测算法能够有效地识别不同 类型的表面缺陷，具备较好的自适应性和准确性。然而，受限于笔记本电脑生产过程中 严格把控产品质量，产生缺陷的概率很小，导致难以收集相对充足的缺陷样本用于训练 深度学习算法。此外，基于有监督的深度学习检测算法往往难以检测训练集之外的未见 缺陷类型。为此，本文针对缺陷样本匮乏场景下的笔记本电脑表面缺陷检测问题，从无 监督学习、半监督学习的角度出发展开一系列研究，同时，通过合适的硬件选型构建图 像采集单元，并结合软件开发技术完成笔记本电脑外观缺陷检测系统的搭建。本文的主 要研究内容与工作如下：(1) 针对缺陷样本匮乏场景中难以获得足够的缺陷样本数据用于训练有监督缺陷检测 算法的问题，借助于无监督学习的思想，提出了一种基于多尺度标准化流的笔记 本电脑表面缺陷检测方法，在训练过程中仅利用正常样本。首先，通过多尺度特 征提取网络获取正常样本图像的多尺度特征，提高检测方法的尺度不变性。其次， 通过多尺度标准化流网络学习正常样本的特征分布，由于正常样本与缺陷样本之 间存在着明显的特征分布差异，通过在训练过程中对正常样本特征分布的拟合， 进而实现正常样本分布外的缺陷检测。 (2) 针对实际工业场景中，在获取充足的正常样本的同时，可以收集少量的缺陷样本 用于算法训练，借助于半监督、自监督学习的思想，提出了一种基于缺陷模拟的 记忆化笔记本电脑表面缺陷检测方法。在训练阶段，通过事先设计好的缺陷模拟 策略，在输入的正常样本的随机位置生成随机尺度大小的纹理缺陷，得到缺陷尺 度各异的模拟缺陷样本。然后，将生成的缺陷样本分别与正常样本特征记忆池和 缺陷样本特征记忆池进行最近匹配，利用与已知缺陷样本的共性和正常样本的差 异性辅助模型学习，最后通过解码器网络检测模拟缺陷样本的缺陷区域。在测试阶段，所提方法以端到端的方式对输入样本图像进行缺陷检测。 (3) 针对笔记本电脑生产过程中的表面缺陷检测流程，开发了一款笔记本电脑表面缺 陷检测系统。首先，基于工业相机、镜头、光源搭建实时图像采集单元。然后，基 于 PyQt5 配合图像采集单元进行软件开发。最后，通过集成训练好的缺陷检测算 法，该系统可以实时地对笔记本电脑进行表面缺陷检测，通过时耗分析，证明了 该系统的有效性与可应用性。

5. 减震器的数据扩充和跨传感器故障检测方法研究 朱慧娟 安徽大学, 合肥 2024 [Abs] [pdf]

   减震器在表面贴装技术中扮演着至关重要的角色。它通过减少锡膏印刷机的震动 来确保锡膏印刷质量，从而间接影响了后续整体流程的顺利进行。虽然在生产线上减震 器的故障较少发生，但一旦发生故障，往往很难及时检测和排查出来，将导致整个工厂 停工数小时进行检修，给生产带来严重的影响和经济损失。在这个背景下，对减震器进 行故障检测成为确保设备在故障发生时能够及时预警的关键步骤。故障检测的重要性 体现在以下几个方面：及时识别设备异常运行，使得问题可以尽早得到解决；加速维护 和降低停机时间，以最小化生产中断的影响；同时，故障检测也有助于确保生产的安全 性。因此，对减震器进行故障检测，可以提高生产线的稳定性和效率，减少停机时间和 经济损失，从而对整体生产过程产生重要的影响。 目前，对减震器的故障检测研究存在一些局限性，这些局限性主要包括以下方面： 首先，减震器数据的稀缺和不平衡导致故障检测模型的准确率不尽如人意，进而影响了 模型在实际应用中的效果。其次，现有的模型未能充分考虑多传感器数据之间的显著差 异特点，这些数据通常以堆叠的方式输入网络进行模型训练，这种方法不利于模型捕捉 多传感器变量之间的共享特征，也难以减小变量数据特征之间的差距，因此对于提升模 型性能存在一定的制约。 为了克服上述问题，本文着重研究了减震器故障检测问题，并在以下几个方面做出 了主要贡献： 1、针对减震器数据集稀少和类别不平衡的问题，提出了注意力生成对抗网络，生 成了高仿真的减震器数数据集。该方法主要通过多生成器结构来生成数据，保证了跨传 感器各数据特征组内的相关性，并利用注意力机制捕获数据的时序性并修正各特征间 的相关性。该方法提出了分组对抗生成的设计，从而生成高度贴合真实样本的生成数 据。针对工业场景下有效标注稀缺的问题，该方法可以有效建模数据分布，通过拓充生 成大量真实的减震器故障数据，使减震器故障检测模型更好的学习故障数据的特征，从 而提高模型的检测性能。 2、针对减震器多传感器的特点，提出了一种跨传感器多层级的生成式自监督学习 网络用于故障检测。针对具有大量无标注数据的场景，我们设计了多层级自编码器结 构来进行表征学习，通过在多个维度中建模传感器信号，以实现特征之间的相关信息挖掘，从而有效提升特征的表达能力。同时，我们在下游缺陷预测任务中微调任务重引入 了显著性模块，使警告特征信息突出，从而提高分类器的准确性。在减震器数据集上进 行的实验结果表明，所提出的方法在性能方面显著优于其他先进方法。 本文重点关注了减震器数据集的数据不平衡特性以及多传感器数据的特性，分别提 出了注意力生成式对抗网络和跨传感器多层级的自监督学习网络，为以上问题提供了 有效的解决方案，提高了故障检测性能，对智能制造的故障检测推进做出了一定贡献。

6. 基于训练和执行双阶段联合设计的人机智能决策方法研究 李明 中国科学技术大学, 合肥 2023 [Abs] [pdf]

   在人机混合智能系统中，人工智能赋能的机器智能和人类智能相互融合，在 特定场景下可以超越单独人类或者机器的决策性能，成为当前的研究热点。但 是，与传统的人机系统和人工智能算法不同，人机混合智能系统的决策效果不仅 受到训练阶段人工智能算法性能的影响，比如算法的泛化性和鲁棒性，而且也会 受到执行阶段人类和机器决策混合方法的影响，比如人类和机器控制权的分配。 如何从整体上优化人机混合智能系统的决策性能，是当下重要的研究课题。 本文面向深度强化学习算法驱动的人机混合智能决策系统的序贯决策问题， 同时从算法的训练端和执行端出发，通过引入人类智能的方式提高系统决策的 鲁棒性和安全性，最终提高人机混合智能系统的决策性能。本文工作主要包含以 下三个方面： (1) 针对强化学习算法驱动的人机共享控制系统的序贯决策问题，在训练阶 段提出了基于人类策略限制下人在环上强化学习算法，避免机器做出危险的行 为，同时提高了算法的采样效率；在执行阶段提出了包含人类决策评估的仲裁机 制，舍弃了人类错误的决策，提高了系统的整体性能。实验结果表明，此方法成 功提高了算法训练的采样效率和系统执行任务的成功率。 (2) 针对多机竞速场景下强化学习算法驱动的人机介入控制系统的序贯决策 问题，在训练阶段引入了包含人类反馈奖励的奖励函数组，以引导机器理解竞速 规则，减少了执行阶段人类的介入次数；在执行阶段引入了人类的两级介入机 制，避免违背规则或者容易造成事故的行为出现，同时降低了人类介入时的操作 负担。实验结果表明，此方法缩短了无人机的单圈耗时，提高了系统决策的安全 裕度，并且减轻了人类的介入负担。 (3) 针对上述人机混合序贯决策方法，本文以旋翼无人机为背景，搭建了从 仿真到现实的人机实验平台，提出了算法部署到真实物理场景的整体流程和框 架，并针对提出的多机竞速场景下强化学习算法驱动的人机介入控制方法，进行 了现实场景下的算法验证。

7. 基于人类决策有效性的人机混合决策方法研究 游诗艺 中国科学技术大学, 合肥 2022 [Abs] [pdf]

   随着人工智能技术的发展，机器的自主能力不断地提高，智能机器在各行各 业的应用和发展日益深入。在此进程中，不可避免地会遇到智能机器无法应对 实际任务的复杂性和不可预测性的情况，许多系统在未来仍将需要人类在监督、 目标设定、应急响应等方面与机器进行持续、密切的交互，研究此种场景下如何 混合人类决策和机器决策以达到更好的决策效果也因此尤为重要和有意义。 在人机混合决策中，人类决策是否有效，即人的决策是否促进任务的完成并 有效地反映人类的真实意图，从两方面影响着最终的决策性能。一方面在于一方 决策失效将导致混合性能的下降；另一方面在于智能机器常常无法直接得知人 的意图，而需先根据人类决策推测意图，再做出决策辅助人完成该意图，人类决 策的失效可能导致意图推理的失效，进而导致人机混合决策方法的失效和任务 失败。因此本文以人机混合决策方法为研究对象，基于人类决策的有效性，从人 类决策全时有效和人类决策非全时有效两个方面展开研究，提出基于强化学习 的人机混合决策方法来改善决策性能。本文的研究工作主要包括以下两个方面： （1）针对人类决策全时有效的情况，提出一种基于最小干预原则的人机混合 决策方法，在优化整体系统性能的基础上，进一步考虑人对于人机系统满意度的 相关指标。通过将最小干预原则引入人机混合决策，设置人机决策融合的自适应 阈值，该方法能够以最小程度的干预为人类提供最大程度的帮助，并能在实时变 化的环境中保持最优，同时提升和改善系统性能和人类满意度两类指标，为后续 的优化设计方案提供基础性方法。 （2）针对人类决策非全时有效的情况，提出一种基于人类决策有效性评估机 制的人机混合决策方法，以避免人的无效决策损害系统性能。通过利用强化学习 算法判断人类决策的有效性，识别人的意图是否改变，该方法能够在人类决策无 效时由机器单独完成任务，使得系统在人类决策非全时有效的情况下，仍能完成 正确的任务目标，有效提升了人机混合决策质量和系统性能。

8. 面向人机序贯决策的混合智能方法研究 张倩倩 中国科学技术大学, 合肥 2021 [Abs] [pdf]

   随着人工智能技术的发展，机器智能得到不断的提高，随之而来的则是机 器智能得以在各行各业应用发展。在此进程中，不可避免的会遇到机器自主性 不足以解决本身该由人类解决或者人类必须参与决策的情况，考虑此种场景下 人类智能和机器智能共同作用的决策问题则显得尤为重要和有意义。更具体地， 序贯决策问题作为一类具有时序性和多阶段性的动态决策问题，其发展与当下 人工智能时代下的工程应用、生产生活等领域息息相关。人的作用体现在序贯决 策问题的两方面，一则，人本身属于序贯决策问题模型中的一部分，即该类问题 是离不开人的如微创外科手术等；二则，人的相关信息不体现在序贯决策问题模 型中，而是因人独特的认知能力使得其可以出现在问题的求解办法中，达到改善 问题求解的目的如人对机器搜救系统的引导等，我们将上述两种场景统称为 “人 机序贯决策问题”。 针对人机序贯决策问题，由于人类智能和机器智能本质上的区别，数学表达 上的巨大差异，使得人和机器共同作用于问题求解时，不可避免的因为协调原因 造成决策质量不高甚至决策失误的现象。然而直接应用传统人机系统的控制算 法不能有效处理这些问题，从而引起机器代理失效，人力浪费，甚至还会造成决 策系统性能恶化甚至崩溃。因此，亟需设计有效的人机混合智能算法来解决这些 问题。本文以人机序贯决策问题为研究对象，围绕人机混合智能控制中的决策权 限划分、介入控制触发切换时机和共享控制混合人机决策动作程度三个问题展 开研究，旨在提出有效的人机混合智能算法来改善提升人机序贯决策问题的求 解。本文的研究工作主要包括以下几个方面: 1. 提出了基于强化学习方法的人机混合智能控制框架。通过将机器代理的决 策和人类的决策以可信性和安全性为评价指标进行仲裁选择，以确定更优 的待执行决策动作。同时考虑了基于模型的强化学习子系统和基于无模型 的强化学习子系统，为适应广泛的序贯决策应用场景提供了更多可能。 2. 针对人机序贯决策中的介入控制问题，提出了自主性及自主性边界的概念， 通过将自主性边界的求解形式化为与任务目标相关的常规优化问题进行讨 论判定，优化介入控制的控制方案和算法，实现人机序贯决策中人介入机 器场景和机器介入人场景下的决策性能提升。 3. 针对人机序贯决策中的共享控制问题，提出了基于自主性边界的混合参数 优化设计方案，通过自适应调节混合参数大小直接影响最终待执行动作的 生成。考虑了人机动作的融合程度，使得最优解在人的动作空间和机器的 动作空间所共同张成的扩展空间中出现，为决策质量的提升提供了扩展空间。 4. 针对介入控制和共享控制中所估计的自主性边界值可能存在单值估计不准 确的问题，提出了基于贝叶斯神经网络的不确定性估计办法，获得自主性 边界的概率分布信息并用于决策动作生成，利用自主性边界的不确定性优 化设计人机混合智能算法，既使得决策动作的优化存在更多选择，也更加 符合人们对决策边界的模糊性思考。 综上所述，本文面向人机序贯决策对混合智能算法所面临的问题进行了系 统性的研究，创新性地提出了对应的解决方案，推动了人机序贯决策求解和混合 智能算法的进一步发展。

Book Chapters

1. SMT Component Defection Reassessment Based on Siamese Network Chengkai Yu, Yun-Bo Zhao , and Zhenyi Xu In Methods and Applications for Modeling and Simulation of Complex Systems 2022 [Abs] [doi] [pdf]

   In the SMT process, after component placement, checking the quality of component placement on the PCB board is a basic requirement for quality control of the motherboard. In this paper, we propose a deep learning-based classification method to identify the quality of component placement. This is a comparison method and the novelty is that the siamese network is trained to extract the features of the standard placement component map and the placement component map to be inspected and output the probability of similarity between the two to determine the goodness of the image to be inspected. Compared to traditional hand-crafted features, features extracted using convolutional neural networks are more abstract and robust. In addition, during training, the concatenated network pairs the sample images to expand the amount of training data, increasing the robustness of the network and reducing the risk of overfitting. The experimental results show that this method has better results than the general model for the classification of placement component images.

patent

1. 基于跨模态生成式学习的液压减震器设备异常检测方法 赵云波, 朱慧娟, 闫晓辉, and 康宇 2023 [pdf]
2. 锡膏印刷机参数调整数据处理软件V1.0 许镇义, 刘斌琨, 康宇, 曹洋, and 赵云波 2022 [pdf]
3. 锡膏印刷机离线故障预测软件V1.0 赵云波, 刘斌琨, 曹洋, 康宇, and 许镇义 2022 [pdf]
4. 锡膏印刷机在线故障预测软件V1.0 赵云波, 陈龙鑫, 朱慧娟, 康宇, and 许镇义 2022 [Abs] [pdf]

   本软件系统用于锡膏印刷机的在线故障预测，通过 url 接口实时获取锡膏印刷机 的状态数据，调用事先训练好的机器学习模型进行故障预测，并将故障预测结果 展示在前端可视化界面，以辅助工程师及时进行维护。

5. 基于特征工程的PCB板焊盘偏移预测方法及存储介质 曹洋, 刘斌琨, 赵云波, 康宇, and 许镇义 [Abs]

   本发明的一种基于特征工程的PCB板焊盘偏 移预测方法及存储介质，包括以下步骤，S1：获取 PCB板的历史偏移检测数据，进行数据预处理，并 使 用滑动窗 格法对数据进行 切分 ；S2 ：计算手工 设计的统计指标；S3：构建重加权支持向量机，输 出预测结果。本发明可根据手工设计的反应偏移 时间序列特点的统计特征对PCB板焊盘偏移进行 预测，通过工程师的适时介入从而避免生产不良 品 。同 时 可通过统 计特征对预 测结果进行解 释 ， 使得模型预测过程更容易被工程师理解。利用加 权的支持向量机对手工设计的特征进行核函数 的 非线性变换 ，提高 模型的 稳定性。对偏移不良 赋予更大的权重，克服了偏移不良数据极其稀少 的困难，从而实现偏移不良的时序预测。

6. 真空吸嘴失效预测方法、装置、设备及存储介质 康宇, 张年坤, 赵云波, 曹洋, and 许镇义 [Abs]

   本发明公开了一种真空吸嘴失效预测方法、 装置、设备及存储介质，该方法包括：获取目标真 空吸嘴的预设参数数据；将预设参数数据重构后 的第一融合特征输入至健康分类器，并基于健康 分类器输出目标真空吸嘴的状态；当目标真空吸 嘴的状态输出结果为失效类时 ，将预设参数数据 的第二融合特征输入至失效分类器，并基于失效 分类器输出目标真空吸嘴的失效原因。不同于现 有忽略真空吸嘴所处健康状态时长与所处失效 状态时长之间时长差异的预测方法，本发明对目 标真空吸嘴的预设参数数据进行特征重构，再基 于重构特征和健康分类器获取目标真空吸嘴状 态来判断目标真空吸嘴是否失效，因此本发明缓 解了健康数据分布不平衡的负面影响，提高了预 测结果的准确性。

7. 设备故障分类方法、装置、设备及介质 李鲲, 齐振宇, 康宇, 赵云波, and 吕文君 [Abs]

   本申请公开了设备故障分类方法、装置、设 备及介质，所述方法包括：获取设备振动信号，构 建设备振动信号对应的样本集合；依据有标签样 本集合 ，构建深度神经关 系网 络 ；将无标签样本 和有标签样本成对输入深度神经关系网络，得到 第一关联关系评分；根据第一关联关系评分和有 标签样本的设备健康状态标签，生成无标签样本 对应的 伪标签 ；依据 训练 样本集 、无标签样本 和 伪标签 ，重新 训练 深度神经关 系网 络 ，得到深度 神经关系网络故障分类模型；通过深度神经关系 网络故障分类模型对待检测设备进行设备故障 分类预测，得到待检测设备的故障分类结果。本 申请解决了现有技术中依据少量标记样本构建 的机器学习模型进行设备故障诊断的准确性低 的技术问题。

8. 贴片机的健康度评估方法及系统 李鹏飞, 赵昀昇, 康宇, 赵云波, and 王涛 [Abs]

   本发明公开了一种贴片机的健康度评估方 法及系统，属于工业制造装备技术领域，包括：获 取贴片机当前运行状态数据；采用主成分分析法 对当前运行状态数 据进行特征提取 ，得到i个健 康监 测指标 ；采 用标准化欧氏 距离法 ，根据健康 监测指标在贴片机整体健康情况中的健康权重， 计算各健康监测指标的向量与理想健康向量之 间的距离；采用负向函数将距离换算成贴片机的 健康值。整个预测过程，简单易操作，可解释性很 强，不需要进行复杂地配置，贴合工业环境，无需 占 用过多的计算资源，即实现对贴片机的健康程 度评估。

9. 印刷电路板的微小缺陷检测方法及存储介质 许镇义, 余程凯, 曹洋, 康宇, and 赵云波 [Abs]

   本发明的一种印刷电路板的微小缺陷检测方法及存储介质,包括以下步骤,S1、获取PCB缺陷样本数据并进行数据预处理；S2、在PCB训练集的边界框上使用k-means聚类来找到符合要求的anchor尺度；S3、采用多尺度特征金字塔结构提取特征,对主干卷积网络中得到自底向上的特征图进行上采样,得到自顶向下的特征图,然后将其与自底向上的特征图逐元素相加得到最终的特征图；S4、通过计算损失,训练网络参数。本发明通过数据增强技术提供深度学习所需要的充足训练数据,利用k-means聚类设计合理的锚点尺度,再将特征金字塔与Faster R-CNN网络相结合,加强了不同层次特征图之间的关系,从而实现对PCB微小缺陷的检测。本发明提高检测效率,并且能够适应多种缺陷检测,适应性强。

10. 用于PCB微小缺陷检测的单帧目标检测方法及存储介质 许镇义, 桂旺友, 曹洋, 康宇, and 赵云波 [Abs]

    本发明的一种用于PCB微小缺陷检测的单帧目标检测方法及存储介质,包括以下步骤：S1、获取PCB图像信息,并对图像进行数据预处理；S2、构建网络模型,将处理后的图像输入VGG-16特征提取网络,并对不同层次的特征进行融合,同时消除融合过程中所带来的负面影响；S3、对模型进行训练,并根据训练得到的结果评估性能。本发明利用注意机制来学习跨通道融合的特征之间的关系,并利用shuffle模块消除融合后的混叠效应。提出了非最大抑制方法,以减轻PCB图像的重叠效应。语义上升模块通过将不同层次的特征进行融合,不仅使低层次的特征具备丰富的语义信息,还能让高层次的特征具备更好的回归性,在目标分类与定位方面显著增强,能够更好地适应微小目标的检测。

11. 基于人机融合的SMT产线关键工艺参数优化方法及存储介质 张倩倩, 赵云波, 康宇, 许镇义, 丁振桓, and 李泽瑞 [Abs]

    本发明的一种基于人机融合的SMT产线关键 工艺参数优化方法及存储介质，包括以下步骤， 通过锡膏印刷系统对SMT产线上的电路主板进行 锡膏点印；通过锡膏印刷检测系统对经过锡膏印 刷系统的电路主板印刷情况进行检测；构建印刷 质量预测模型对从关键工艺参数到SPI检测数据 的对应关系进行拟合训练；构建印刷工艺参数策 略模型对从SPI检测数据到关键工艺参数改进之 间的策略模型进行拟合训练；结合人类专家的经 验知识辅助机器智能的训练以及危机情况的纠 错。本发明引入了强化学习用于决策锡膏印刷关 键工艺参数的生成，结合基于MLP的印刷质量预 测模型，形成一套优化印刷关键工艺参数的优化 系统，具有较好的稳健性，且能适应多步预测等 复杂情况。

12. 一种基于故障树和相关性分析的动态测项良率计算方法 赵云波, 马树森, 王康成, 康宇, and 柏鹏 [Abs]

    本发明涉及智能制造技术领域，公开了一种 基于故障树和相关性分析的动态测项良率计算 方法，包括：建立主板测项故障树，基于建立的测 项故障树构造测项的相关性矩阵，并利用该相关 性矩阵初步筛选出一个或多个与动态测项相关 性强的必测项；比较测项间的相关系数与人为设 定的阈值之间的大小，从而筛选出与动态测项关 联性最强的必测项；用必测项的良率作为动态测 项的良 率；本发明提供一种更加科学、合理的方 法，从而达到优化主板功能测试策略的目的，提 高测试效率。

13. 故障诊断模型的训练方法、装置、电子设备及存储介质 赵云波, 陈龙鑫, 刘斌琨, 朱慧娟, 许镇义, and 柏鹏 [Abs]

    本申请公开了一种故障诊断模型的训练方 法、装置、电子设备及存储介质，属于计算机技术 领域。所述方法包括：获取多个工况中各工况集 下的故障数据，分别作为源域数据，并获取目标 工况下的故障数据，作为目标域数据，所述工况 集包括所述多个工况中的至少一个工况，所述工 况集下的故障数据为已标记故障类别的数据，所 述目标工况下的故障数据为未标记故障类别的 数据；确定所述目标域数据与各所述源域数据之 间的目标分布差异；根据所述目标分布差异选取 源域数据作为训练数据；根据所述训练数据，对 所述目标工况的故障诊断模型进行训练。本申请 能够提高模型训练效果，进而提高对目标工况进 行故障诊断的准确率。

14. 减震器故障检测方法、装置、设备及存储介质 赵云波, 刘斌琨, 康宇, 曹洋, and 许镇义 [Abs]

    本发明涉及设备检测技术领域，公开了一种 减震器故障检测方法、装置、设备及存储介质，该 方法包括：基于待检测减震器的传感器数据获取 正对时频图像和负对时频图像；通过预设编码器 对正对时频图像和负对时频图像进行特征提取， 获得传感器特征集；对传感器特征集中各特征进 行更新，并对更新后的传感器特征集中的特征进 行特征融 合 ，获得融合特征集 ；通过预设线性分 类器对融合特征集进行分类检测，根据分类检测 结果判断待检测减震器是否存在故障。相比于现 有技术中通过花费高额成本来获取大量有标签 数据，本发明上述方法减少了现有技术中对有标 签数据的需求量过大导致成本过高的问题，从而 实现对减震器健康状态的预测性维护检测。

15. 融合决策树和故障树分析的主板功能测试策略设计方法 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明涉及人工智能领域，具体涉及融合决 策树和故障树分析的主板功能测试策略设计方 法。本发明通过构建故障树分析主板故障，计算 测项故障概率和良率范围。在良率阈值设定范围 内，随机生成良率阈值，形成良率阈值矩阵，作为 决策树模型的输入，确定每个测项的测试策略。 进一步计算测试策略的经济效益，作为决策树模 型的输出。确定决策树模型中的目标路径，根据 目标路径上非叶节点包括的信息更新良率阈值 设定范围。设定准确的良 率阈值，与实际良 率比 较，得到最终测试策略。此方法为主板功能测试 环节设计出科学、有效、可解释的测试策略，解决 了行业内测试策略设计缺乏理论依据和可解释 性的问题，同时提升了整体经济效益，确保了主 板测试质量。

16. 一种基于可靠性分析的主板功能测试策略方法及系统 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明公开了一种基于可靠性分析的主板 功能测试策略方法及系统，包括如下步骤：S1：分 析主板电路图 ，建立针对主板功能测试环节的故 障树；S2：对所述故障树进行可靠性分析，计算所 述故障树中的中间事件的发生概率，基于所述发 生概率设定可靠性指标阈值；S3：统计实际产线 上主板的测试数据，计算所述主板功能测项的实 际不良率，将所述实际不良率和所述可靠性指标 阈值进行比 较 ，得到主板功能测项的测试策略 ； 该主板功能测试策略方法及系统能够解决行业 内现行的主板功能测试策略设计方法缺乏理论 依据的问题，并且在保证行业良率要求的情况下 提升整体经济效益。

17. 一种细粒度自适应主板功能测项选择方法及系统 赵云波, 李瑶瑶, 王康成, 康宇, and 柏鹏 [Abs]

    本发明公开了一种细粒度自适应主板功能 测项选择方法及系统 ，包括如下步骤 ：S1 ：分析主 板电路图 ，建立针对主板功能测试的故障树 ；S2 ： 对所述故障树进行可靠性分析，获得所述故障树 中的顶事件和中间事件的发生概率表达式；S3： 搜集整理故障主板的维修数据并统计故障树中 基本事件的发生概率，设定主板功能测项的不良 率阈值；S4：当测试主板型号发生切换时，设定切 换后主板功能测试的不良率阈值；S5：计算主板 功能测项的实际不良率，将所述实际不良率和对 应主板型号的不良率阈值进行比较，得到主板功 能测项的测试策略 ；该测项选择方法为主板功能 测试的不同阶段设计出优于其他测项选择方法 的不良率阈值组合。

18. 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 赵云波, 张杰, 李泽瑞, 康宇, and 吕文君 [Abs]

    本发明涉及工业缺陷检测技术领域，公开了 一种基于多尺度标准化流的无监督笔记本外观 缺陷检测方法，将采集得到的笔记本电脑外观图 像，依次输入到多尺度特征提取网络模型以及缺 陷检测模型，得到检测结果；训练方法包括：获取 笔记本电脑的原始外观图像后进行数据预处理， 得到训练数据集；构造基于ResNet50网络和特征 金字塔网络的多尺度特征提取网络模型，提取训 练数据集中外观图像的多尺度特征；构造基于多 尺度标准化流网络的缺陷检测模型，以多尺度特 征作为缺陷检测模型的输入，通过计算损失函数 对缺陷检测模型进行训练。本发明能很好地定位 不同尺度不同类型的缺陷，有着良好的检测效果 与缺陷定位效果。

19. 产线设备故障预测方法、装置、电子设备及存储介质 赵云波, 董少杰, 刘斌琨, 朱慧娟, 许镇义, and 柏鹏 [Abs]

    本申请公开了一种产线设备故障预测方法、 装置、电子设备及存储介质，属于计算机技术领 域。所述方法包括：获取测试结果序列，测试结果 序列包括多个电路板的测试结果信息，测试结果 信息包括电路板中各功能模块的测试结果；根据 测试结果序列，获取各功能模块的良率序列；根 据各功能模块的良率序列，获取多个各功能模块 中的目标功能模块与其他功能模块的相关性序 列；根据各功能模块的良率序列和相关性序列， 获取目标功能模块的良率预测信息；根据相关性 序列和良率预测信息，预测目标功能模块对应的 产线设备是否存在故障。本申请能够准确预测产 线设备是否出现故障，以及时发现故障设备，避 免生产事故的发生。

20. 一种基于多尺度标准化流的笔记本外观缺陷检测方法 赵云波, 张杰, 李泽瑞, 康宇, and 吕文君
21. 一种基于故障树和随机森林的主板功能测试方法 赵云波, 徐熠洋, 王康成, 康宇, and 柏鹏

项目人员

赵云波 何创创 余程凯 刘斌琨 刘朝虎 张天浩 张年坤 张杰 朱慧娟 李佳玉 李瑶瑶 桂旺友 梁秀华 欧阳晨 范冰 董少杰 谢飞 赵昀昇 陈明 陈龙鑫 青凡迪 马树森 齐振宇