吴芳

个人信息

参与实验室科研项目

人机自主性及其控制权切换策略研究

复杂环境下非完全信息博弈决策的智能基础模型研究

研究课题

在人工智能发展迅速的当今社会，机器在军事领域的地位日益提升，人和机器的交互也变得更加不可避免和对形式产生很大的影响。此项研究旨在寻找人机交互过程中的人与机器的自主性边界（即切换的临界点）和切换的方式，换言之在什么情况下人应该替换机器的角色以及什么情况下机器应该代替人来执行某种操作。目前的切入点置于在某种特殊情况下机器取代人的操作地位，即检测识别交互过程中人的行为是否出现了认知偏差，若是则机器采取主动措施防止人由于认知偏差而犯错误。主要的两个需要解决的问题是：1、如何识别人的认知偏差（什么情况下意味着人产生了认知偏差、认知偏差能够以什么形式的数据体现）；2、如何证明研究结果的正确性（存在人的不确定性、自主性）。

学术成果

共撰写/参与撰写专利 3 项，录用/发表论文 4 篇，投出待录用论文0篇。

patent

1. 一种基于POMDP和面部行为分析的驾驶培训辅助方法 赵云波, 吴芳, 赵丽丽, and 崔奇 2024 [Abs] [pdf]

   本发明公开了一种基于POMDP和面部行为分析的驾驶培训辅助系统，包括步骤：实时采集学员的头部姿态、脸部表情以及眼睛注视图像，并对采集的图像进行处理；根据得到头部姿态、脸部表情和眼睛注视的图像，估计和预测学员的注意力情况；根据预测的学员的注意力情况和学员的操作结果给予学员适当的驾驶培训辅助提醒或控制。由于人的注意力等内部状态不能被完全直接观察到，只能通过互动和观察来推断，所以这类场景具有不完全可观测性。因此，本文以部分可观马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）为基础来实现驾驶培训辅助方法。本发明实现了在机器进行驾驶培训辅助的过程中实时地检测人的头部姿态、脸部表情以及眼睛注视，通过对学员的情绪和注意力的判断，基于POMDP实现驾驶辅助的最优决策，给学员提供合适的驾驶辅助输入，帮助学员获得更好的驾驶培训效果。

2. 一种程序员的疲劳程度的检测方法 赵云波, 唐敏, 赵丽丽, and 吴芳 2021 [Abs] [pdf]

   本发明的 一种程序员的疲劳程度的检测方法，包括：步骤 1 ，传感器监测 T 至 T+1 时刻程序员的头部动作变化以及键盘鼠标的输出并且汇集数据到处理器； 步骤 2 ，利用获得的人的头部动作变化以及键盘鼠标的输出，给分类器施加权重 对人的可能处于的状态进行分类，得到概率最大的状态 S K 机器概率 P K ；步骤 3 ， T+1 时刻施加屏幕弹窗和提示音测试信号；步骤 4 ，传感器监测 T+1 至 T+2 时刻人 的头部动作变化以及键盘鼠标的输出并且汇集数据到处理器；步骤 5 ，代入二项 分布的公式进行计算，步骤二给出了一个可能的概率 P K ，把它看成是先验概率， 在步骤 3 和 4 的基础上进行更新。所以这里用贝叶斯公式进行更新。本发明能够 在一个程序员的状态未知但键盘和鼠标的输出可以获得的情况下的人机系统中 对程序员的疲劳程度识别。

3. 一种基于图像的驾驶员注意力检测方法 赵云波, 唐敏, 吴芳, and 赵丽丽 [Abs]

   本发明的一种基于图像的驾驶员注意力检测方法，含有：步骤1：用轻量化的CNN模型对Distracted – Driver – Detection数据集中的数据进行训练，以提取驾驶员注意力不同情况对应的特征；步骤2：运用该CNN模型对Distracted–Driver–Detection数据集中的数据进行驾驶员注意力集中状况的测试；步骤3：针对步骤2中的测试结果的准确性来调整CNN模型中的权重和步长并再次进行测试直至测试结果的准确率符合条件；步骤4：将参数调整后的CNN模型部署到嵌入式系统中运行；步骤5：通过摄像头实时获取驾驶员的注意力集中状态并输出结果。本发明利用轻量化的CNN模型实时获取驾驶员的注意力集中情况，进行驾驶员的注意力集中状态的检测。

Journal Articles

1. 基于轨迹预测与改进人工势场法的机械臂动态避障规划方法 吴芳, and 赵云波 高技术通讯 2023 [Abs] [pdf]

   在人机共存环境中,人可能会成为机器人执行任务过程中的动态障碍物,因此, 在机器人的运动过程中需要动态地避障规划,从而避免机器人危害到用户安全。 人工势 场法是常用的动态路径规划算法,具有实现简单、计算实时性高等优点。 传统的人工势场 法根据虚拟的引力场和斥力场得到合力,从而引导机器人的运动,但是当引力和斥力等大 反向时,存在局部极小值问题。 针对该问题,本文提出了基于平面位置采样的改进人工势 场法。 每次计算得到合力向量后,以该向量的指向为中心,在垂直于地面、包含合力向量 的平面上以特定的角度间隔分别逆时针和顺时针方向采样 90 ^∘范围内的运动方向,然后 分别计算引力值和斥力值,最后根据引力值和斥力值的加权和最小确定机器人的最佳运 动方向。 为了应对用户运动导致机器人运动路径突变的情况,本文依据用户手臂运动和 头部转动的关联关系,通过检测用户的头部姿态,并利用手臂当前的运动信息预测手臂接 下来的运动位置。 最后设计了基于轨迹预测与改进人工势场法的机械臂动态避障规划方 法,实验结果表明,该方法可以有效地进行动态避障,并且规划的路径更加平滑、长度更短。

2. 基于丢包率估计的无线网络化控制系统的逼近控制策略 吴芳, 梁启鹏, 叶睿卿, and 赵云波 高技术通讯 2023 [Abs] [pdf]

   本文针对丢包为分段伯努利过程的无线网络化控制系统进行了控制器设计和稳定性分析。丢包满足分段伯努利过程是指未知丢包率将在未知时刻突变到另一个未知概率上并保持一段时间。针对这一丢包特点,本文提出了基于丢包率估计的逼近控制策略以保证系统稳定性。首先设计了丢包率估计器和逼近控制器,使系统在线估计丢包率,并利用丢包率估计得到控制量。然后为平衡系统性能和网络信道资源设计了信道调度机制。最后设计了丢包率突变检测器使系统自适应丢包率突变。在此基础上得到了保证闭环系统均方最终一致有界的充分条件和控制增益计算方法。数值仿真验证了控制策略的有效性。

Conference Articles

1. Detection of Distracted Driving Based on Multi-Granularity and Middle-Level Features Min Tang, Fang Wu, Li-Li Zhao, Qi-Peng Liang, Jian-Wu Lin, and Yun-Bo Zhao In 2020 Chin. Autom. Congr. CAC 2020 [Abs] [doi] [pdf]

   A so-called MGMN (Multiple-GranularityMiddle Network) algorithm is proposed to improve the detection accuracy of distracted driving, based on multigranularity features and middle-level features. The algorithm is derived from the ResNet50 neural network and is the first time to use multi-granularity features and mid-level features of images in the field of distracted driving detection. The multigranularity feature extraction module consists of three branches: the global branch to learn the global features without local information, the second branch to divide the image level into two parts and later to learn the local features of the upper and lower parts, and the third branch to divide the image level into three parts, and later to learn the local features of the upper, middle and lower parts. By extracting the features of the middle layer of the image, the feature extraction of the algorithm is enriched. While the multi-granularity features are individually input to the cross-entropy loss function, the multi-granularity features of the image and the middle-level features are combined and input into the cross-entropy loss function. The proposed algorithm has an accuracy of 99.8% on the dataset "Districted-DriverDetection" published by State Farm Company, which is 1.5% to 3% higher than existing algorithms, and an improved accuracy of 98.7% on the dataset "AUC-Districted-Driver-Detection".

Theses

1. 人机系统中人的认知偏差的识别方法研究 吴芳 2019 [Abs] [pdf]

   随着科学技术的进步以及人们对生产发展的各方面要求越来越高，人机系统的角色 越来越丰富。人机系统是由人和机器构成并依赖于人机之间相互作用而完成一定功能的 系统，人机系统的性能取决于人和机器两部分，在本文中我们假定机器是完美的，只考 虑人的行为对系统性能的影响。当人机系统处于特定的目标、特定的环境下，人可能会 比较容易产生某种内部异常或认知偏差，导致错误的决策，影响人机系统的性能。 本文的研究内容是识别人机系统中人的认知偏差，本文将认知偏差从心理学上的定 义扩展到包含生理、心理两部分的内部状态异常。由于人机系统中的人产生的内部异常 一般会影响到人机系统的输出，因此我们从人机系统的输出数据检测人的内部状态，判 断人是否产生了异常。论文的主要工作如下： 1. 综述论文研究背景及意义，介绍对人机系统中的人以及对人和机器协同控制的 研究现状。 2. 借鉴了在不确定性条件下做决策的 POMDP 方法，基于 POMDP 对人机系统进 行建模，构造了一种从人机系统的输出数据的特点中去推断系统中人的内部状态是否异 常的方法。 3. 基于常见的人驾驶汽车场景下的人机系统设置仿真实验，验证本文提出的方法 的有效性。

学位论文

Theses

1. 室内移动机器人路径规划算法改进研究 吴芳 浙江工业大学, 浙江杭州 2022 [Abs] [pdf]

   室内移动机器人可在工业和家用等场景发挥物料搬运、服务陪伴等重要功能， 其技术发展受到了业界的广泛关注。与一般应用场景不同，室内环境通常意味着 人类用户非预期的出现及其无法事先精确获知的运动轨迹，如何在该情况下同时 保证算法的高效性和人类用户的安全成为现有路径规划算法所面临的重要挑战， 成为当前的研究热点之一。 本文针对室内环境研究并改进了移动机器人路径规划领域的两种重要基础 算法动态窗口法和人工势场法，提升了室内环境下移动机器人规划路径的效 率和安全性。主要研究工作如下： （1）提出了基于全局规划的改进型动态窗口法，解决了室内环境下机器人 同时应对动静态障碍能力较弱、障碍附近目标不可达、可能陷入局部最优区域等 技术问题。具体研究工作包括：\ding172 借助于 A*算法的全局路径规划能力，极大降 低了传统 DWA 算法陷入局部最优的可能性；\ding173 设计了障碍物运动性质判断机 制实现分类避障，提升了算法同时应对动静态障碍的可靠性，确保了室内环境中 人类用户的安全；\ding174 改进了障碍项评价子函数，解决了算法存在的障碍附近目 标不可达问题。 （2）提出了基于采样的改进人工势场法，解决了该方法存在的局部极小值 问题和目标不可达问题，进一步结合障碍位置预测提升了室内环境中路径规划的 安全性。具体研究工作包括：\ding172 提出了基于采样的改进人工势场法，通过采样 选择引力和斥力均相对较小的运动方向，解决了局部极小值问题；\ding173 通过对机 器人-障碍物和机器人-目标之间的相对距离判断来完善采样机制，解决了障碍附 近目标不可达问题；\ding174 结合障碍位置预测，实现了更加安全的机械臂路径规划。 （3）设计了基于 TIAGo 机器人的指定地点桌面物品清理实验，进一步验证 了本文所提算法在实际环境中的可行性和避障路径规划的表现。相较于对比算法， 本文所提算法能够使得规划路径长度更短、距离障碍物更远、总运动时长也更短。 具体研究工作包括：\ding172 构建了机器人任务环境地图；\ding173 利用所提出的改进型动 态窗口法实现了高效安全的 TIAGo 底盘路径规划方法；\ding174 利用所提出的改进型 人工势场法实现了高效安全的 TIAGo 机械臂路径规划方法。

毕业去向

中国移动杭州分公司， 集客解决方案经理