一种使用熵和眼动数据衡量运动预测能力的方法

技术领域

本发明属于眼球运动预测技术，特别是涉及一种使用熵和眼动数据衡量运动预测能力的方法。

背景技术

人们在凝视过程中的眼球运动的产生既受到关注的物体运动时的轨迹输入(自下而上)，又受到人脑预测物体接下来运动的神经控制(自上而下)。对人脑的预测控制可以实现人的注意力能力的评估。

通过跟踪眼球运动的模式可能会揭示导致眼球运动的常见策略。跟踪过程的眼球运动变化实际也是由凝视目标的运动和大脑预测目标之后的运动共同影响的。人们如何能够一次成功地跟踪多个物体仍然是一个有争议的问题。学术界最初理论是，头脑中有限的注意力前视觉指标代表了目标的位置，并随着目标的移动而动态更新。集中注意力通过使用视觉索引作为指针来访问有关目标的信息，但是一次只能分配给一个位置。另一种说法是将多个关注点同时分配给多个位置。注意力在多个显着位置的表示之间进行划分，既可以独立地进行，也可以将目标作为一个对象进行分组。这些理论并未提出大脑会对跟踪过程中的视线位置做出预测。眼球运动的频繁控制是由分布在脑皮层和小脑区域的神经网络发生。目光控制主要是指眼球发生明显的空间注意力转移。空间注意的隐性和显性转移共享相同的潜在大脑区域和机制，这表明可能由来自其他网络的输入独立调节的共同起源。根据综合竞争假设，注意力是一种分布状态，在此状态下，大脑的众多网络解决了来自感官输入(自下而上的输入)和运动系统对神经表示的竞争需求，其中感觉信息的显着性和自上而下的控制可能使竞争产生偏差。注意力也可以秘密地或者在眼球没有运动的情况下进行转移。这表明，注视时的眼动行为是一系列动作产生的时间序列，目的是通过对视觉信息的连续采样来优化感知推断(自上而下的控制)。因此，注视点的选择并不仅仅是自上而下或自下而上直接命令的结果，而是在视觉环境内部解释的证据积累过程中对预测和纠错的贡献。因此，大脑通过自上而下的控制和自下而上的输入，共同形成凝视控制，以此作为空间预测系统，不断的误差修正优化下一步的选择性视觉采样。

信息熵是在结果出来之前对可能产生的信息量的期望——考虑该随机变量的所有可能取值，即所有可能发生事件所带来的信息量的期望。信息熵H(X)的计算公式如下：

其中，p(x)为随机事件x的概率。

条件熵为给定条件X下，Y的条件概率分布的熵对X的数学期望。

条件熵H(Y|X)的表达式如下：

其中，条件熵H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性，随机变量X给定的条件下随机变量Y的条件熵H(Y|X)。

发明内容

针对现有方法中存在的问题和不足，本发明提出一种使用熵和眼动数据衡量运动预测能力的方法，通过查看条件熵的变化来预测眼球凝视中自顶向下的控制能力。

本发明的一种使用熵和眼动数据衡量运动预测能力的方法，利用凝视转移熵GTE依据给定的眼球当前位置，预测眼球运动的下一个固定位置，该方法具体包括以下处理：

步骤1、建立小球运动测试场景，对受测者眼动行为分多次采集眼动数据；

步骤2、对每次数据作出以下分析：

2-1、计算ROI：将作为背景区域得小球运动范围分割成10*10个区域，给每个区域一个编号，将每一时刻下受测者的注视坐标映射到一个对应区域，该区域即为当前时刻的ROI；

2-2、分割对受测者进行测试的场景中小球自由运动时间段；

2-3、为各个时间分别计算凝视转移熵GTE，获取测量者对随凝视行为的继续预测能力的变化，再进一步推断出测量者对凝视下个位置的预测能力；

步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程：

如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差；

与现有技术相比，本发明实现了衡量眼球在凝视中自顶向下的控制能力的有效方法；相对于凝视的整体空间分散性，提供了视觉扫描模式中复杂性或随机性水平的总体估计。

附图说明

图1为本发明的一种使用熵和眼动数据衡量运动预测能力的方法整体流程图；

图2为本发明实施例的进行跟踪眼球运动方式时的测量过程示意图；

图3为测量过程的场景示意图；

附图标记：

1、白色小球，2、黄色小球，3、绿色小球。

具体实施方式

以下结合附图和实施例对本发明进行详细说明，此处描述的具体实施方式仅用于解释说明本发明，并不作为限制本发明的依据。

如图1所示，为本发明的一种使用熵和眼动数据衡量运动预测能力的方法整体流程图，将条件熵应用于凝视数据中(称之为凝视转移熵(gaze transition entropy，GTE))，利用GTE，可以依据给定的眼球当前位置，预测眼球运动的下一个固定位置时估计不确定性，即GTE表达的是在已知当前注视位置的条件下，注视位置变化的混乱程度、无规律程度，此度量提供了视觉扫描模式中复杂性或随机性水平的总体估计，其中较高的GTE表明预测性较低，扫视时更加无规律。该方法具体包括以下处理：

步骤1、建立小球运动测试场景，对受测者眼动行为分多次采集眼动数据；

步骤2、对每次数据作出以下分析：

2-1、计算ROI(region of interest，感兴趣区域)：小球运动范围(即背景区域)分割成10*10个区域，给每个区域一个编号，将每一时刻下受测者的注视坐标映射到一个对应区域，该区域即为当前时刻的ROI

2-2、分割对受测者进行测试的场景中小球自由运动时间段；

2-3、为各个时间分别计算凝视转移熵GTE，获取测量者对随凝视行为的继续预测能力的变化，再进一步推断出测量者对凝视下个位置的预测能力；

步骤3、分别对每位受测者述测试多次，对多次测量结果所得的每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程：

如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差。

如图2、3所示，为本发明实施例的进行跟踪眼球运动方式时的测量过程和测量过程的场景示意图；

(1)场景设计：选择使用经典的多目标跟踪(MOT，Multiple Object Tracking)实验作为测量眼球在做跟踪行为时的运动方式的手段。

整个测量过程分为三个阶段：

阶段一、在黑色板子上出现十个小球，其中五个黄色小球2、五个白色小球1，这一过程共持续2秒。

阶段二、黄色小球2变成白色，并开始随机运动。受测者被要求跟踪这五个黄色小球2，这一过程共持续8秒。)

阶段三、受测者需指出之前被标记为黄色的五个小球。受测者会得到即时的反馈，被告知所选中的五个球有多少被选对了，被选中的小球会变成绿色小球3。

用Unity3D制作以上实验场景，并使用眼动以采集眼动数据。

(2)数据分析：对于每次数据做出以下分析。

1)计算ROI：小球运动范围分割成10*10个区域，将每一时刻下首测者的注视坐标映射到一个对应区域；

2)分割时间段：将小球自由运动的8秒分为三段，分别是0～4秒，2～6秒，和4～8秒

3)计算GTE：为三段时间分别计算凝视转移熵；

对每位受测者进行上述测试共5次，对每段时间段内的凝视转移熵取平均值，观察每个受测者的GTE的变化过程。

如果GTE呈现上升趋势，且上升斜率越大，则表示受测者的大脑对运动预测的能力越好；反之，GTE呈现下降趋势，且下降斜率越大，则表示受测者的大脑对运动预测的能力越差。

通过11名志愿者的实验记录结果，通过anova在统计上获得了显著性，证明了本方法正确，为认知计算领域提供了贡献。