一种面向动态场景的混动汽车自适应能量管理方法

本发明涉及混动汽车能量管理策略，具体涉及一种面向动态场景的混动汽车自适应能量管理方法。

背景技术：

1、混合动力汽车通常拥有多个动力源对于同样的轮端扭矩需求，电机和发动机提供的能量占比不同，将会导致油耗不同，因此合理的能量管理策略可以提升混动车辆的节能效果。

2、目前，首先，关于混动能量管理的研究均以实现全局最优为理想目标，由于未来工况具有很大的不确定性，难以直接通过获取准确的未来工况来实现全局能量利用最优，通过速度预测方法可以获取未来工况，但由于预测时域有限，短时域速度预测精度高但只能实现秒级局部最优，长时域速度预测有望实现全局最优但具有很大的不确定性；其次，随着车联网技术的不断发展，车机导航地图能够在实际行驶前提供整条路段的交通信息，因此，利用导航数据将有望获得与实际工况相同特征的全局工况。然而，直接根据导航数据规划速度范围并随机生成未来工况，得到的工况通常不符合实际驾驶行为，并且无法充分体现驾驶人特征；最后，当获取全局拟人工况后，混合动力传动系统采用的模式决策策略也将影响最后的节能效果。目前已得到实车应用的能量管理策略均为基于规则的能量管理策略，该策略安全简单但工况适应性差，难以针对每一条工况来制定规则。而全局工况难以准确获取，因此直接采用全局能量管理策略的方法难以实现。但学习型能量管理策略能够通过学习不同工况而实现动态场景自适应，并且应用时有一定的鲁棒性，不需要训练工况与应用工况完全一致。目前针对学习型能量管理策略的研究大多将控制对象定义为动力传动系统的转速和扭矩，但学习型算法通常被视为黑盒模型，存在一定的不可解释性，直接控制动力传动系统将导致安全性下降。

3、综上，现有技术中存在对实际工况的模拟精度差、与实际交通拥堵情况和驾驶人行为不相符和存在一定的不可解释性、安全性差的问题。

技术实现思路

1、鉴于上述问题，本发明提供了一种面向动态场景的混动汽车自适应能量管理方法，解决了现有技术中对实际工况的模拟精度差、与实际交通拥堵情况和驾驶人行为不相符和存在一定的不可解释性、安全性差的问题。

2、本发明提供了一种面向动态场景的混动汽车自适应能量管理方法，包括如下步骤：

3、步骤s1.根据车机导航数据能够提供的动态场景数据类型，预先构建覆盖所有动态场景数据类型的第一仿真环境；

4、步骤s2.构建虚拟驾驶场景，并对驾驶风格的表现类型进行区分，然后在每一种驾驶风格的表现类型下挑选驾驶人，并通过驾驶模拟器在虚拟驾驶场景中提取驾驶行为信息和场景信息作为专家经验；

5、步骤s3.将第一仿真环境作为体现不同驾驶风格的驾驶行为模型的训练环境，基于专家经验，通过对抗逆强化学习算法训练获得对应不同驾驶风格的驾驶行为模型，使其能够根据场景信息输出驾驶行为，控制仿真车辆无碰撞地通过第一仿真环境；

6、步骤s4.获取车机导航提供的交通特征数据，用于搭建符合交通特征的第二仿真环境，选取符合驾驶人驾驶风格的驾驶行为模型在第二仿真环境中运行，从而得到全局拟人工况；

7、步骤s5.基于dueling dqn算法训练混动传动系统工作模式选择模型，将全局拟人工况作为训练集，在云端训练得到混动传动系统工作模式选择模型；

8、步骤s6.开始驾驶行程后，将混动传动系统工作模式选择模型参数下载至车端，根据行驶状态在车端实时进行模式选择；

9、确定模式后，根据动力源特征确定每种工作模式下的扭矩分配规则，依据相应的扭矩分配规则对能量进行分配，以满足当前的驾驶人扭矩需求。

10、进一步地，步骤s1中的动态场景数据类型具体包括交通路段流速和交通路段长度；其中，交通路段流速的形式为流速代号，每个代号对应一个固定区间的流速范围；交通路段长度为每个交通流速所占路段的长度。

11、进一步地，步骤s1中的第一仿真环境按照如下方式预先构建：

12、基于sumo平台，将交通流速区间上限作为路段限速，交通路段长度作为每个路段长度，通过xml语言以sumo的路网定义格式构建路段；

13、向路段中添加交通流，交通流中车辆采取跟驰模型krauss和换道模型lc2013。

14、进一步地，步骤s2中构建虚拟驾驶场景需要使用工具链，包括sumo、roadrunner、simulink、unrealengine和驾驶模拟器；其中，

15、sumo用于仿真环境定义；roadrunner与unrealengine用于虚拟驾驶场景可视化渲染；simulink用于连接不同的软件与驾驶模拟器，实现联仿；

16、工具链连接后运行时，驾驶模拟器输出驾驶行为，sumo输出交通流中车辆信息，经过simulink处理后传输进unrealengine，体现自车以及交通流车辆在场景中的可视化状态；

17、基于工具链构建好虚拟驾驶场景后，虚拟驾驶场景将第一仿真环境进行可视化，使驾驶人通过可视画面操作驾驶模拟器。

18、进一步地，步骤s3中的驾驶行为模型具体按照如下方式训练获得：

19、基于对抗逆强化学习算法进行训练，将训练环境确定为第一仿真环境，将步骤s2提取到的驾驶行为信息与场景信息作为专家经验，然后分别构建生成器和判别器，生成器负责产生生成策略，将第一仿真环境中由步骤s2定义过的场景信息作为生成策略的状态量，生成策略用于根据当前的场景信息状态输出相应的驾驶行为信息，驾驶行为信息的定义与步骤s2保持一致，并将生成策略优化目标设为奖励函数最大化；判别器负责判断生成策略输出的驾驶动作与专家经验之间的差异并推断出奖励函数；

20、在第一仿真环境中，生成策略生成驾驶行为信息，控制第一仿真环境中的车辆在环境中进行交互，然后收集每一步的状态构成动作状态轨迹，更新奖励函数，选取策略梯度更新方法来更新生成器参数；每个回合结束标志为冲出车道，发生撞击或到达终点；

21、训练收敛后得到能够在车道中无碰撞到达终点的生成策略，作为驾驶行为模型。

22、进一步地，步骤s4中全局拟人工况具体按照如下方式获得：

23、由驾驶人在车端的人机交互界面确定自己的驾驶风格；

24、由驾驶人通过车机导航确定出发地到目的地的路线，通过车机导航提取出发地到目的地的实时交通特征数据并上传至云端，在云端构建符合当前路线交通特征的第二仿真环境；

25、从步骤s3训练得到的不同驾驶风格的驾驶行为模型中选取与驾驶人的驾驶风格一致的驾驶行为模型，控制虚拟车辆无碰撞地完成第二仿真环境，获取全局拟人工况。

26、进一步地，步骤s5具体包括：

27、基于dueling dqn算法，将车辆的速度、加速度和soc作为状态量，策略根据当前状态量输出混动工作模式，将其作为动作，并根据状态量与动作计算奖励函数，dueling dqn算法的优化目标为奖励函数最大化；

28、dueling dqn算法基于q值进行每一步的参数更新；在q值计算过程中采用对偶网络结构，将直接输出动作价值改为输出状态价值和优势值，通过状态价值和优势值计算出动作价值；

29、dueling dqn算法的训练过程在云端完成，训练得到的动作策略即为混动传动系统工作模式选择模型。

30、进一步地，步骤s6的扭矩分配规则包括根据车辆当前的运动状态，依据车辆纵向动力平衡方程来确定需求功率，将车辆的需求驱动力等效为汽车行驶中滚动阻力，空气阻力，加速阻力和坡度阻力。

31、进一步地，步骤s2中的驾驶行为信息包括加速踏板开度、制动踏板开度和方向盘转角；

32、步骤s2中的场景信息包括自车车速、自车位置、自车行驶距离、前车到自车距离、前车速度、当前路段交通流速、当前交通状态路段长度和当前交通状态路段剩余长度。

33、进一步地，步骤s2的驾驶风格包括激进型、稳定型和保守型。

34、与现有技术相比，本发明至少具有现如下有益效果：

35、（1）本发明提出的能量管理方法能够充分有效地利用车机导航信息，对出行路况进行针对性训练，提高了能量管理策略的适应性，同时对全局交通特征进行学习，使能量管理策略效果更接近全局最优。

36、（2）本发明所提出的能量管理策略考虑驾驶风格的影响，能够适应不同风格驾驶员的驾驶表现，使能量管理策略具有个性化特征。

37、（3）本发明选择aril算法来训练驾驶行为模型，有效避免了因驾驶行为影响因素较多，难以确定奖励函数来评价动作的问题，相比于无需构建奖励函数的生成对抗模仿学习（generative adversarial imitation learning, gail）算法，aril算法具象化了奖励函数，提高了算法的鲁棒性。

38、（4）本发明选择dueling dqn算法作为模式选择算法，相较于传统的dqn算法，dueling dqn算法考虑到了状态对动作选择的影响，提升学习效果的同时能够加速收敛。并且将dueling dqn的训练过程放在云端进行，相比于车端训练大大提升了训练速度，做到了实时应用。

39、（5）本发明提出的混合动力汽车能量管理策略的控制对象为混动传动系统的工作模式，并在工作模式的基础上应用基于规则的扭矩分配模型，避免了学习型算法造成的结果不可解释的问题，与直接控制发动机扭矩相比，提高了操作的安全性。