用于识别驾驶员的安全相关的情绪状态的方法和设备

技术领域

本发明涉及车辆安全技术领域，尤其是涉及一种用于识别在车辆中的驾驶员的安全相关的情绪状态的方法和设备。在此，车辆特别是机动车，尤其是轿车。

背景技术

随着车辆的不断增多，道路交通不良的情形时常发生。在驾驶员驾驶车辆的过程中，驾驶员的情绪状态对于交通状况具有一定的影响。例如，当驾驶员处于“路怒”的情绪状态时，驾驶员对车辆的操纵可能变得粗暴，这对驾驶员自身以及其他交通参与者可能带来一定的危险性。另外，由于长时间的驾驶，车辆的驾驶员可能处于一定程度的疲劳状态，这使得驾驶员对车辆的操纵变得迟滞，其对于车辆的驾驶状态和危险状况可能反应迟钝。当驾驶员处于分心状态时，驾驶员有可能会对当前的一些交通状况视而不见，因此不能及时地正确地操纵车辆。

在一些情况下，驾驶员可能因外部因素而处于愤怒状态或兴奋状态，然而这样的愤怒状态或兴奋状态并不会导致驾驶员对车辆的异常操作。如果对于这样的情绪状态做出过度的反应，例如向驾驶员输出语音提示，可能对于驾驶员反而是干扰性的，或者说对车辆的安全驾驶至少是无帮助的。因此，准确地识别驾驶员的安全相关的情绪状态对于促进安全驾驶是富有意义的。

在现有技术中，往往采取单一的检测方式来判断驾驶员的情绪状态，例如通过微表情来识别驾驶员的情绪状态，或者通过生理参数来识别驾驶员的情绪状态。这些单模态的识别方法往往是不够精确、不够可靠的。

发明内容

本发明的目的是，提供一种用于识别在车辆中的驾驶员的安全相关的情绪状态的方法和一种相应的设备，借此能够较精确地较可靠地识别驾驶员的安全相关的情绪状态，并且从而可以在需要时有针对性地在车辆安全方面采取适当的措施。

按本发明的第一方面，建议一种用于识别在车辆中的驾驶员的安全相关的情绪状态的方法，其中，所述方法包括以下步骤：

获取驾驶员的面部图像数据，并且从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据；

获取驾驶员的与驾驶员的情绪状态相关的生理数据；

获取车辆的与驾驶员的情绪状态相关的车辆数据；并且

根据所获取的微表情数据、生理数据和车辆数据识别出驾驶员的安全相关的情绪状态。

在此，通过多模态的识别方法，与现有技术的单模态方法相比，能够较精确地较可靠地识别在车辆中的驾驶员的安全相关的情绪状态，并且可以有针对性地采取安全措施，例如向驾驶员和/或其他交通参与者发出声学的和/或光学的和/或触觉的提示，或者采取措施来改变驾驶员的当前的情绪状态，或者采取措施使得车辆改变当前的危险行驶状况。

按本发明的一种有利的实施方式，在车辆中的驾驶员的要被识别的情绪状态可以包括以下集合之中的至少一个：兴奋、愤怒、分心和疲劳。

按本发明的一种有利的实施方式，所述生理参数可以包括以下参数之中的至少一种：心率、血氧饱和度、血压、呼吸频率、皮肤温度、脑电图、心电图、语音的音量、语音的频率。

按本发明的一种有利的实施方式，所述车辆数据可以包括以下参数之中的至少一种：车辆的速度、车辆的加速度、加速踏板的操纵、制动踏板的操纵，方向盘的转角、角速度和角加速度以及振动幅度和频率，车辆在车道中的横向位置的标准偏差、车辆与前行车辆的最小距离和最小碰撞时间。

按本发明的一种有利的实施方式，所述方法可以包括以下步骤：

获取驾驶员的面部图像数据，从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据，并且通过微表情数据识别驾驶员的情绪状态；

如果通过微表情数据识别的驾驶员的情绪状态为一种预定的情绪状态，那么接着，

-获取驾驶员的与预定的情绪状态相关的生理数据，并且根据所获取的生理数据执行第一判断：驾驶员的情绪状态是否为预定的情绪状态；并且

-获取车辆的与预定的情绪状态相关的车辆数据，并且根据所获取的车辆数据执行第二判断：驾驶员的情绪状态是否为预定的情绪状态；

其中，在第一判断和/或第二判断的结果为肯定时，识别出在车辆中的驾驶员的安全相关的预定的情绪状态。

按本发明的一种有利的实施方式，可以执行所述方法用于识别驾驶员的愤怒，其中，通过微表情数据识别驾驶员的情绪状态是否为愤怒；

如果通过微表情数据识别的驾驶员的情绪状态为愤怒，那么接着，

-获取驾驶员的与愤怒的情绪状态相关的生理数据，并且根据所获取的生理数据执行第一判断：驾驶员的情绪状态是否为愤怒；并且

-获取车辆的与预定的情绪状态相关的车辆数据，并且根据所获取的车辆数据执行第二判断：驾驶员的情绪状态是否为愤怒；

其中，在第一判断和第二判断的结果为肯定时，识别出在车辆中的驾驶员的安全相关的愤怒的情绪状态。

按本发明的一种有利的实施方式，根据所获取的微表情数据、生理数据和车辆数据可以分别判断驾驶员的安全相关的情绪状态，根据三种判断的结果，识别出驾驶员的安全相关的情绪状态。

按本发明的一种有利的实施方式，三种判断之中的每一种可以包括一种情绪状态以及该情绪状态的概率，其中，具有最大概率的那一种情绪状态可以确定为所识别的驾驶员的安全相关的情绪状态。

按本发明的一种有利的实施方式，三种判断的结果可以分别进行加权，其中，具有经加权的最大概率的那一种情绪状态可以确定为所识别的驾驶员的安全相关的情绪状态。

按本发明的一种有利的实施方式，三种判断之中的多数的结果可以确定为所识别的驾驶员的安全相关的情绪状态。

按本发明的一种有利的实施方式，可以迭代地执行所述方法，用于对多种情绪状态依次进行识别。

按本发明的第二方面，建议一种用于识别在车辆中的驾驶员的安全相关的情绪状态的设备，优选地，所述设备构造成用于实施按本发明的第一方面的方法，其中，所述设备包括：

相机和图像处理装置，所述相机构造成用于获取驾驶员的面部图像数据，所述图像处理装置构造成用于，从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据；

至少一个第一检测装置，所述至少一个第一检测装置构造成用于，获取驾驶员的与驾驶员的情绪状态相关的生理数据；和

至少一个第二检测装置，所述至少一个第二检测装置构造成用于，获取车辆的与驾驶员的情绪状态相关的车辆数据；和

处理器，所述处理器构造成用于，接收所获取的微表情数据、生理数据和车辆数据，并且根据所获取的微表情数据、生理数据和车辆数据识别出驾驶员的安全相关的情绪状态。

按本发明的一种有利的实施方式，所述图像处理装置和所述处理器构成为两个分开的部件。

按本发明的一种有利的实施方式，所述图像处理装置和所述处理器构成为一个集成的数据处理装置。

按本发明的第三方面，建议一种数据处理装置，其中，所述数据处理装置构造成用于，

-接收在车辆中的驾驶员的面部图像数据并且从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据，或者接收表示驾驶员的微表情的微表情数据；

-接收驾驶员的与驾驶员的情绪状态相关的生理数据；

-接收车辆的与驾驶员的情绪状态相关的车辆数据；并且

-根据所述微表情数据、生理数据和车辆数据识别出驾驶员的安全相关的情绪状态。

最后需要指出的是，在本申请中记载的技术特征可以任意地相互组合，只要它们彼此之间不是相互矛盾的。所有在技术上可行的特征组合都是在本申请中包含的技术内容。

附图说明

下面参照附图借助具体实施方式进一步解释和说明本发明。示意性的附图简要说明如下：

图1是按本发明的一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的方法的流程图；

图2是按本发明的另一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的方法的流程图；

图3是按本发明的又一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的方法的流程图；并且

图4是按本发明的一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的设备的示意性的框图。

具体实施方式

图1显示按本发明的一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的方法的流程图。在该实施方式中，首先在步骤S1中获取驾驶员的面部图像数据，从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据，并且通过微表情数据识别驾驶员的情绪状态。如果在步骤S1中未识别出驾驶员的预定的情绪状态，那么在步骤S5中结束所述方法。如果在步骤S1中识别出驾驶员的预定的情绪状态，那么接着并行地执行步骤S2和S3。在步骤S2中，获取驾驶员的与预定的情绪状态相关的生理数据，并且根据所获取的生理数据执行第一判断：驾驶员的情绪状态是否为预定的情绪状态。如果第一判断的结果是否定的，那么在步骤S6中结束所述方法。在步骤S3中，获取车辆的与预定的情绪状态相关的车辆数据，并且根据所获取的车辆数据执行第二判断：驾驶员的情绪状态是否为预定的情绪状态。如果第二判断的结果是否定的，那么在步骤S7中结束所述方法。作为替换，也可以在步骤S5、S6和S7之中的一个、两个或全部处返回到步骤S1。如果在步骤S2和S3中的判断的结果都是肯定的，那么在步骤S4中结束所述方法，其中，在车辆中的驾驶员的安全相关的预定的情绪状态被识别出。另外也可能的是，步骤S2和S3不是并行地执行，而是依次地执行，其中，步骤S2在步骤S3之前或之后执行。

在此，为了从面部图像数据中获得微表情数据，可以将面部图像划分成许多分区域，其中包括嘴唇区域、眼睛区域、眉毛区域、面颊区域等等。例如，可以以瞳孔位置为中心，将在向左和向右若干像素以及向上和向下若干像素之内的区域定义为眉毛表情区域，借此可以用来检测眉毛的细微变化。例如在微表情识别中可以采用Gabor滤波。对于微表情识别技术，例如可以参阅专利文献CN103258204B和US8538091B2。为了获取面部图像数据，例如可以采用一个或多个红外线相机，其设置在风挡玻璃上或者车顶的内侧。红外线相机本身可以集成有用于从面部图像中获取微表情数据的图像处理装置，或者与这样的图像处理装置连接，该图像处理装置可以是一个单独的装置或者可以是数据处理装置的一部分。

在步骤S2中，获取驾驶员的与预定的情绪状态相关的生理数据。例如，在步骤S1中预先判断驾驶员处于愤怒的情绪状态中，那么在步骤S2中获取驾驶员的与愤怒的情绪状态相关的生理数据。例如，在愤怒的状态下，驾驶员的心率、血氧饱和度、血压和呼吸频率以及皮肤温度相对于正常状态都会发生显著变化。如果同时驾驶员在说话或打电话时，他的语音相对于正常状态也会明显不同。对此可以探测驾驶员的语音的音量和频率。当驾驶员处于过度兴奋的情绪状态时，情况是类似的。当驾驶员处于疲劳状态时，他的生理参数则处于另外一种不同于正常状态的异常状态，例如心率和血氧饱和度以及呼吸频率都会相应地降低。在驾驶过程中的分心可以区分为视觉分心、认知分心、听觉分心和身体动作分心等等，其中视觉分心和认知分心是常见的两种驾驶分心行为，视觉分心时驾驶人的视线离开路面或转向与驾驶任务无关的信息。在认知分心时驾驶员的视线尽管没有偏离路面，但由于驾驶员的注意力并没有集中在驾驶任务上，驾驶员不能对外界的危险状况进行及时的反应。为了检测与分心相关的生理参数，可以对驾驶员施加刺激，并且检测驾驶员对刺激的反应。为了检测各种生理参数，可以采用相应的传感器，例如安装在方向盘上的光学的心率传感器，其不仅可以用来检测心率，还可以用来得出血氧饱和度。另外可以采用头戴式设备或者穿戴在手臂上的可穿戴设备，例如脑电图设备和血压计。在检测多个生理参数的情况下，各个检测的结果可以例如进行“和”和/或“与”运算，或者可以将多数的结果作为最终结果，或者可以根据其中一个决定性的结果来决定最终结果。

在步骤S3中，获取车辆的与预定的情绪状态相关的车辆数据。为此，例如检测的车辆参数可以选自：车辆的纵向运动参数，例如车辆的速度和车辆的加速度；加速踏板的操纵和制动踏板的操纵，例如操纵的程度以及速度，例如加速和制动交替操纵的频度；方向盘的操纵，例如方向盘的转角、角速度和角加速度以及振动幅度和频率；车辆相对于道路和/或其他交通参与者的参数，例如车辆在车道中的横向位置的标准偏差、车辆与前行车辆的最小距离和最小碰撞时间。在检测多个车辆参数的情况下，各个检测的结果可以例如进行“和”和/或“与”运算，或者可以将多数的结果作为最终结果，或者可以根据其中一个决定性的结果来决定最终结果。例如，在驾驶员路怒或者异常兴奋的情况下，方向盘的异常操纵和/或加速踏板与制动踏板的交替的异常操纵可以是特征性的。为此例如可以求得方向盘转角、方向盘转角标准差和/或方向盘转角熵值。在驾驶员疲劳或者分心的情况下，驾驶员对于方向盘、加速踏板和/或制动踏板的操纵是迟滞的，对于车辆在驾驶中的状况的反应是也是迟滞的。为此例如可以检测车辆在车道中的横向位置的标准偏差、方向盘的实际位置与理想位置之间的标准偏差、车辆与前行车辆的最小距离和/或最小碰撞时间。

在如图1所示的实施方式中，步骤S1或者说微表情识别在整个方法中是具有优先级的。只有在执行步骤S1得到的结果为肯定的时，才继续执行步骤S2和S3。在一种如图2所示的替换的实施方式中，三个步骤S1、S2和S3可以并行地执行，或者可以以任意的顺序先后执行。在这三个步骤中执行的三种判断的每一种包括一种情绪状态L1、L2、L3以及该情绪状态的概率p1、p2、p3。在一种第一方案中，具有最大概率的那一种情绪状态确定为所识别的驾驶员的安全相关的情绪状态。在一种第二方案中，首先对三种判断的结果分别进行加权，其中，具有经加权的最大概率的那一种情绪状态确定为所识别的驾驶员的安全相关的情绪状态。例如，在步骤S1中的判断结果可以具有最大的权值，而在步骤S2和S3中的判断结果可以具有较小的权值。然后，具有经加权的最大概率的那一种情绪状态确定为所识别的驾驶员的安全相关的情绪状态。在一种第三方案中，三种判断之中的多数的结果确定为所识别的驾驶员的安全相关的情绪状态。

例如在步骤S1中判断驾驶员的情绪状态L1为愤怒，其概率为p1＝80％；在步骤S2中判断驾驶员的情绪状态L2为愤怒，其概率为p2＝85％；在步骤S3中判断驾驶员的情绪状态L3为分心，其概率为p3＝75％。按照上述的第一种方案和第二种方案(例如三个判断的权重依次为5、3、2)以及第三种方案，在步骤S4中的最终判断都是驾驶员的安全相关的情绪状态L为愤怒。

在一种未示出的实施方式中，可以通过自学习的方式实现在车辆中的驾驶员的安全相关的情绪状态的判断。在此，可以采用支持向量机(SVM)机器学习方法构建驾驶员的情绪状态的离线训练与在线识别模块。为此，例如可以从驾驶员的面部图像数据中提取第一数量n的特征，记为F

图3描述按又一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的方法的流程图。在该方法中，首先在步骤S11中识别驾驶员的安全相关的情绪状态是否为分心。如果在步骤S11中的结果为肯定的，那么结束识别，并且识别出驾驶员的安全相关的情绪状态为分心。如果在步骤S11中的结果为否定的，那么接着在步骤S12中识别驾驶员的安全相关的情绪状态是否为愤怒。如果在步骤S12中的结果为肯定的，那么结束识别，并且识别出驾驶员的安全相关的情绪状态为愤怒。如果在步骤S12中的结果为否定的，那么接着在步骤S13中识别驾驶员的安全相关的情绪状态是否为疲劳。如果在步骤S13中的结果为肯定的，那么结束识别，并且识别出驾驶员的安全相关的情绪状态为疲劳。如果在步骤S13中的结果为否定的，那么可以判断出驾驶员的情绪状态为正常状态，并且返回到步骤S11，并且因此开始下一个判断循环。在步骤S11至S13中例如可以执行如图1所示的方法流程。

图4显示按本发明的一种实施方式的用于识别在车辆中的驾驶员的安全相关的情绪状态的设备的示意性的框图。所述设备包括数据处理装置10，在所述数据处理装置中集成有图像处理装置11。所述设备包括相机1，该相机例如可以设置在车辆的顶部的内侧或者风挡玻璃上，该相机1构造成用于获取驾驶员的面部图像数据。在图4中仅示意性地描述一个唯一的相机，然而也可能的是，设置多个相机，它们相互协作。通过相机1获取的面部图像数据可以输送至图像处理装置11，该图像处理装置11构造成用于，从面部图像数据中借助图像分析来获取表示驾驶员的微表情的微表情数据。所述设备还包括多个第一检测装置2，所述第一检测装置2构造成用于，获取驾驶员的与驾驶员的情绪状态相关的生理数据。例如第一检测装置2可以涉及在车辆的方向盘中设置的光电的心率计、穿戴在手臂上的血压计和戴在头部上的头戴装置、红外体温计、录音装置等等。所述设备还包括多个第二检测装置3，所述第二检测装置3构造成用于，获取车辆的与驾驶员的情绪状态相关的车辆数据。第二检测装置3可以是在车辆中本身已经存在的传感器或者新增的传感装置或数据处理器，例如车速传感器、加速踏板传感器、制动踏板传感器、方向盘转角传感器等等。所述数据处理装置的处理器构造成用于，根据所获取的微表情数据、生理数据和车辆数据识别出驾驶员的安全相关的情绪状态。

在如图4所示的实施方式中，图像处理装置11和处理器构成为一个集成的数据处理装置10。然而也可能的是，图像处理装置11与处理器构成为两个分开的部件，换言之，数据处理装置10不包括图像处理装置11，而仅包括处理器。数据处理装置10具有在图4中未详细地描述的输入接口和输出接口。相关的数据通过输入接口输入。通过数据处理装置10处理的结果可以通过输出接口输出，例如输出至显示装置和/或受控设备4。处理结果可以以声学的和/或光学的形式在显示装置上显示，以便给本车辆的驾驶员和/或其他交通参与者发出提示。受控设备例如可以是音乐播放器或者气味释放装置，通过播放适宜的音乐或者释放具有预定的气味的物质，可以缓和驾驶员的当前的情绪状态。例如柔性的音乐可以使得驾驶员降低愤怒，芳香的气味可以使得驾驶员变得清醒。

数据处理装置10可以是车载设备，例如其可以集成在用于整个车辆的车辆控制器中。数据处理装置10也可以是远程设备，其例如集成在远程的服务器中，各个数据采集装置可以通过互联网与服务器连接。

特别有利的是，上面结合图1～3分别说明的方法以及在本申请的说明书中说明的其他的方法可以通过如图4所示的用于识别在车辆中的驾驶员的安全相关的情绪状态的设备实施。

上面借助具体实施例对本发明进行详细的说明。最后要指出的是，上述具体实施例仅仅用于更好地理解本发明，而不对本发明的保护范围构成限制。对于本领域技术人员来说，在上述实施例的基础上可以做出修改，所有这些修改都不脱离本发明的保护范围。