(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111390601.4 (22)申请日 2021.11.23 (71)申请人 北京理工大 学 地址 100081 北京市海淀区中关村南大街5 号 申请人 广州汽车集团股份有限公司 (72)发明人 孙超　刘波　孙逢春　任强　 周飞鲲　 (74)专利代理 机构 成都方圆聿联专利代理事务 所(普通合伙) 51241 代理人 王悦 (51)Int.Cl. B60W 50/00(2006.01) B60L 58/30(2019.01) G06F 30/27(2020.01)G06N 20/00(2019.01) G06N 3/08(2006.01) (54)发明名称 一种燃料电池汽车节能驾驶优化方法及装 置 (57)摘要 本发明公开了一种燃料电池汽车节能驾驶 优化方法及装置， 所述方法包括： 建立燃料电池 汽车系统模 型和其系统功率平衡模 型； 在电量维 持模式下， 求解燃料电池汽车在各种工况下的最 优能量管 理策略； 基于得到的最优 数据库进行训 练， 得到数据驱动的能量管理模型； 建立包含信 号灯的训练场景， 定义状态空间和动作空间； 根 据数据驱动的能量管理模型， 得到燃料电池汽车 在某个状态和相应动作下的燃料消耗， 建立相关 的回报函数模型； 在训练场景中进行训练， 得到 节能驾驶优化模 型。 本发明所提出的方法结合了 联合优化和分层优化的优点， 可将预先优化的能 量管理策略融合到基于深度强化学习的燃料电 池汽车车速规划之中， 实现了能耗经济性和实时 性的平衡 。 权利要求书4页 说明书9页 附图1页 CN 114103971 A 2022.03.01 CN 114103971 A 1.一种燃料电池 汽车节能驾驶优化方法， 其特 征在于， 其包括： S1.建立所述燃料电池汽车的系统模型和其系统功率平衡模型， 其中， 所述系统模型包 括车辆的纵向动力学模型、 其电机模型、 其燃料电池和/或动力电池 模型； S2.基于所述系统模型和所述功率平衡模型， 在电量维持模式下， 利用动态规划算法求 解所述燃料电池汽车在各种工况下的最优能量管理策略， 由最优能量管理策略得到的最优 系统和/或功率 参数组成最优数据库； S3.基于所述最优数据库， 利用机器学习回归算法进行第 一模型训练， 得到数据驱动的 能量管理模型； S4.建立包 含信号灯的训练场景， 定义所述燃料电池 汽车的状态空间和动作空间； S5.根据所述数据驱动的能量管理模型， 得到所述燃料电池汽车在某个状态和/或相应 动作下的燃料消耗， 建立和所述燃料消耗相关的回报函数模型； S6.在所述训练场景中利用深度强化学习算法进行第二模型训练， 得到训练后的节能 驾驶优化模型； S7.在包含信号灯的不同测试场景中利用所述节能驾驶优化模型得到经济车速， 和/ 或， 在电量维持模式下利用动态规划算法评估与所述经济车速响应的燃料消耗。 2.根据权利要求1所述的优化方法， 其特征在于： 所述机器学习回归算法选自XGBoost 算法、 神经网络算法和随机森林算法中的一种或多种； 和/或， 所述深度强化学习算法选自 DDPG、 TD3、 A3 C和PPO算法中的一种或多种。 3.根据权利要求1所述的优化方法， 其特征在于： 所述第一模型训练的输入为车速、 加 速度、 动力电池荷电状态SOC， 输出为燃料电池系统净功率。 4.根据权利要求1所述的优化方法， 其特征在于： 所述状态空间包括车速、 信号灯与车 辆位置的差值、 信号灯的实时相位配时信息S PaT， 所述动作空间包括车辆的加速度。 5.根据权利要求1所述的优化方法， 其特征在于： 所述回报函数模型包括： 整体回报函 数， 与车辆保持当前车速行驶到信号灯路口时的信号状态有关的第一回报函数， 与车辆实 际通过信号灯路口时的信号状态有关的第二回报函数， 及分别与车辆的速度、 加速度或能 耗有关第三～第五回报函数； 优选的， 所述第五回报函数包括： 与需求功率相关的代价函数及与燃料消耗相关的代 价函数。 6.根据权利要求1所述的优化方法， 其特 征在于： 所述第二模型的训练包括： S61.初始化深度强化学习网络、 经验 池和随机 探索噪声； S62.根据当前状态和随机 探索噪声选择动作， 并将相关经验添加到所述经验 池； S63.从添加后的经验池中选取一定长度的批量数据， 进行所述深度强化学习网络的参 数更新； S64.重复进行S62和S6 3， 直至达到最大训练回合数； 其中， 所述深度强化学习网络包含actor网络、 critic网络以及相对应的目标网络； 优 选的， 所述act or网络采用策略梯度进 行参数更新， 和/或， 所述cr itic网络采用最小化损失 函数进行参数 更新。 7.根据权利要求1所述的优化方法， 其特征在于： 所述最优能量管理策略通过以下模型 获得：权　利　要　求　书 1/4 页 2 CN 114103971 A 2其中， 状态变量x＝SOC表示动力电池荷电状态； 表示状态变量x对时间t的一阶导数； 控制变量u＝Pfcs表示燃料电池系统净功率； tf表示终端时间； t表示时间； φ表示终端代价； SOCmin,SOCmax,Pfcs,min,Pfcs,max,ωmot,min,ωmot,max均为常数， 分别表 示SOC的最小值和最大值、 Pfcs的最小值和最 大值、 ωmot的最小值和最大值； Pbat,min,Pbat,max均为荷电状态SOC的函数， 分 别表示Pbat的最小值和最大值； Tmot,min,Tmot,max均为ωmot的函数， 分别 表示Tmot的最小值和最 大值； ξ表示SOC的动力学参数， 即SOC对时间t的一阶导数 优选的， 通过将下式 (9)代入式(1 1)后得到： 其中， Ibat表示动力电池电流， VOC， R0， Pbat分别表示开路电压、 内阻和电池功率， VOC和R0 都是动力电池荷电状态SOC的函数， Qbat表示电池容 量。 8.根据权利要求1所述的优化方法， 其特征在于： 所述系统模型和其系统功率平衡模型 包括以下模型中的一个或多个： 车辆纵向动力学模型： Pdmd＝(Fdrv+Fbrk)v    (2) 其中， v， M， fr和A分别表示车辆的位置、 车速、 质量、 滚动阻力系数和迎风面积， 表示车 辆位置对时间t的一阶导数， 即车速v； 车辆 的加速度 Fdrv和Fbrk分别表示车轮处的电 机机械力和刹车片制动力； G表示重力加速度； θ表示道路坡度； ρ和CD分别表示空气密度和 空气阻力系数； Pdmd表示车轮处的需求功率； 电机模型： 权　利　要　求　书 2/4 页 3 CN 114103971 A 3