(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111408777.8 (22)申请日 2021.11.24 (71)申请人 华南理工大 学 地址 510640 广东省广州市天河区五山路 381号 (72)发明人 张智军　李钟希　任肖辉　 (74)专利代理 机构 广州粤高专利商标代理有限 公司 44102 代理人 周春丽 (51)Int.Cl. G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 20/00(2019.01) G06F 17/13(2006.01) (54)发明名称 一种机器学习神经网络模型优化方法、 系统 与设备 (57)摘要 本发明提供了一种机器学习神经网络模型 优化方法、 系统与设备， 所述方法包括下述步骤： 1)建立系统的非凸损失函数， 并将其一般化为非 凸非线性优化问题； 2)利用群搜索变参递归神经 网络进行求解非凸非线性优化问题； 3)根据步骤 2中所求解的参数， 优化机器学习中神经网络的 参数， 使损失函数最小。 本发明结合双时间尺度 神经动力学和粒子群算法的思想， 得到一种新型 的群体探索神经动态网络来求解机器学习中神 经网络的非凸损失函数优化问题。 本发明拥有在 一次迭代中搜索全局最优解的能力， 大大提高了 模型求解效率， 保证了损失函数达到最优值， 从 而可以得到优化后的机器学习模 型， 通过该机器 学习模型可以有效提高在图像识别或图像分类 中的精度。 权利要求书3页 说明书7页 附图2页 CN 114202059 A 2022.03.18 CN 114202059 A 1.一种机器学习神经网络模型优化方法， 其特 征在于， 包括以下步骤： 1)建立机器学习中的神经网络模型， 建立非凸损 失函数， 并将非凸损 失函数转化为非 凸非线性 规划模型； 2)将步骤1)中的非凸非线性规划模型进行局部近似二次规划， 得到局部近似二次规划 模型， 并使用变参收敛微分神经动力学设计方法得到用于求解局部近似二次规划模型的变 参收敛微分神经网络模型； 3)结合双时间尺度网络和步骤2)中的变参收敛微分神经网络模型， 得到双时间尺度收 敛微分模型； 4)结合粒子群算法的思想和步骤3)中的双时间尺度收敛微分模型， 得到群体探索神经 动态网络； 5)调用并求解步骤4)中得到的群体探索神经动态网络， 得到的最优值作为步骤1)中非 凸损失函数的最优参数； 6)将步骤5)中得到的最优参数返回给 下位机， 优化机器学习中的神经网络模型。 2.根据权利要求1所述的一种机器学习神经网络模型优化方法， 其特征在于， 步骤2) 中， 所述非凸非线性 规划模型为 s.t.h(x)＝0 g(x)≤0#(1) 其中， x∈Rn为非凸损失函数的参数， f： Rn→R是非凸损失函数， h： Rn→Rm表示可微的等式 约束， g： Rn→Rp为可微的不等式约束， R表示实数， Rn表示n维实数， Rm表示m维实数， Rp表示p维 实数。 3.根据权利要求2所述的一种机器学习神经网络模型优化方法， 其特征在于， 对非凸非 线性规划模型进行求解， 首先对每个点x都有一个非线性规划模型 的局部近似二次规划模 型 其中， y∈Rn为一个指示下降方向的方向向量， Q(x)∈Rn×n是一个近似二次规划模型的 Lagrange函数的Hessian矩阵的对称正定矩阵， 代表梯度符号； 局部近似二次规划模型重 写为 s.t.Ay＝b Cy≤d#(3) 其中， Q＝Q(x)、 b＝‑h(x)、 d＝‑g(x)； 其中， 采用公式(2)的局部 近似二次规划模型的 的KKT条件来 求解公式(3)：权　利　要　求　书 1/3 页 2 CN 114202059 A 2其中， 和 表示Lagrange乘子， 算子 表示Hadamard积， y*表示优化问题的一个解。 4.根据权利要求3所述的一种机器学习神经网络模型优化方法， 其特征在于， 将公式 (4)的KKT条件替换为带有平 滑Fischer‑Burmeister函数的K KT条件： 其中 σ 表示一个接近于0的正数。 5.根据权利要求1所述的一种机器学习神经网络模型优化方法， 其特征在于， 步骤3)中 所述变参收敛微分网络模型为 其中， γZ表示时间尺度变量， ψ(·)表示激活函数， 表 示z的导数， diag表示一个向量的对角矩阵， 表示Hadamard除法， μE， μI均表示Lagrange乘丁， I表示单位矩阵。 6.根据权利要求1所述的一种机器学习神经网络模型优化方法， 其特征在于， 步骤3)中 所述双时间尺度收敛微分模型表示 为如下的形式： 其中， Ψ为线性激活函数， γx与γz为不同的时间尺度变量。 7.根据权利要求1所述的一种机器学习神经网络模型优化方法， 其特征在于， 所述群体 探索神经动态网络拥有 多组互相耦合的双时间尺度收敛微分模型， 其表达式如下： 权　利　要　求　书 2/3 页 3 CN 114202059 A 3