移动端眼动跟踪驱动的智慧课堂教学可视分析方法和系统

技术领域

本发明涉及一种智慧课堂教学可视分析方法和系统。

背景技术

人们日常学习和工作都离不开眼睛的运动，眼动跟踪数据与人的认知具有密切关系。伴随着移动设备相关技术的迅速发展，人们与移动设备的交互已经越来越频繁，手机以及平板电脑已经成为了生活中不可或缺的电子设备。将移动设备应用于教学已经成为研究与应用热点。但是，目前教师获取学生学习情况的方式大多停留在课堂练习或课后作业，对于课堂上教学情况的及时分析，缺少有效的数据支撑和交互通道。

发明内容

本发明要克服现有技术的上述缺点，提供一种移动端眼动跟踪驱动的智慧课堂教学可视分析方法及其系统。

为了提高移动设备在智慧课堂应用中的教学效率，方便教师实时了解学生学习情况，采取更具有针对性的教学，本发明提出移动端眼动跟踪驱动的智慧课堂教学可视分析方法，用于记录、分析和展示学生在学习过程中的眼动跟踪数据。移动端眼动跟踪驱动的智慧课堂教学可视分析系统采用的是客户端-服务器结构，移动设备作为产生注视点数据的客户端，支持眼动跟踪标定、注视点计算，与服务器进行通信并将注视点数据批量上传。服务器负责注视点数据的解析存储，并转化为轨迹图或热区图等可视化形式。

移动端眼动跟踪驱动的智慧课堂教学可视分析方法，包括如下步骤：

(1)眼动跟踪数据计算；

(2)眼动跟踪数据传输；

(3)眼动跟踪数据存储；

(4)眼动跟踪数据可视化。

优选地，步骤(4)中用户一段时间内累积的注视点分布用热区图表示，使用像素透明度来表达热点区域。

本发明还提供了一种移动端眼动跟踪驱动的智慧课堂教学可视分析系统，包括依次连接并馈送数据的以下模块：

(1)眼动跟踪数据计算模块；

(2)眼动跟踪数据传输模块；

(3)眼动跟踪数据存储模块；

(4)眼动跟踪数据可视化模块。

本发明的优点在于：提出了一种移动端眼动跟踪驱动的智慧课堂教学可视分析方法和系统，是对现有智慧课堂教学情况分析方法的补充，通过记录学生利用移动设备学习时的眼动跟踪数据，进行注意力时空特征分析及相应的可视化展示，使得教师可以通过可视化交互界面选择需要展示的学生和可视化方式，分析学生学习行为，从而有针对性的调整教学内容和教学方法，提高智慧课堂的教学效果。

附图说明

图1是本发明方法的流程示意图。

图2是本发明方法的眼动跟踪数据计算示意图。

图3是本发明方法的眼动跟踪数据传输示意图。

图4是本发明方法的眼动跟踪数据存储示意图。

图5a～图5b是本发明方法的眼动跟踪数据轨迹图示意图，其中图5a表示单个学生注视点轨迹图；图5b表示多个用户叠加的注视点轨迹图。

图6a～图6b是本发明方法的眼动跟踪数据热区图示意图，其中图6a表示单个学生注视点热区图；图6b表示多个学生叠加的注视点热区图。

图7a～图7b是本发明方法的交互界面示意图，其中图7a表示选择展示学生2的注视点轨迹图；图7b表示选择展示学生2注视点热区图；图7c表示选择展示所有学生叠加的注视点轨迹图；图7d表示选择展示所有学生叠加的注视点热区图。

图8是本发明系统的基本逻辑结构示意图。

具体实施方式

下面将结合附图，对本发明移动端眼动跟踪驱动的智慧课堂教学可视分析方法和系统进行清楚、完整地描述，显然，所描述的实例仅仅是本发明的一部分实例，而不是全部的实例，不能理解为对本发明的限制。基于本发明中的实例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实例，都属于本发明保护的范围。

参阅图1，本发明实例提供的一种移动端眼动跟踪驱动的智慧课堂教学可视分析方法的流程示意图，对其中的步骤进行具体描述：

(1)眼动跟踪数据计算；

如图2所示，本发明融合基于外观模型的眼动跟踪技术与基于特征模型的眼动跟踪技术，首先利用移动设备自身的前置摄像头拍摄人眼图像，然后基于外观模型提取稳定的特征点，再建立特征模型进行实时注视点计算。一般情况下，单个注视点持续时间大于阈值K1(可以设定，例如K1＝100毫秒)时才能反映有意识的认知活动。由于眼动跟踪系统精度有限，人眼在注视同一个目标时，会产生多个抖动的原始注视点，且部分注视点超出屏幕区域，因此需要对原始注视点进行过滤和聚类，消除视线抖动产生的误差，降低数据规模，提高数据的传输和存储效率。对于产生的注视点数据，本发明按照时间上连续，空间上靠近的方式进行注视点聚类。首先设计大小为N(可以设定，例如N＝6)，步长为L(可以设定，令人L＝1)的滑动窗口进行注视点聚类，将滑动窗口内的N个注视点作为一组待聚类的数据，计算这N个注视点坐标的标准差，当标准差小于阈值SD(可以设定，SD＝15像素)时，将第一个注视点作为聚类结果的注视点。若标准差大于阈值SD，滑动窗口向后滑动L步长，重新连续取产生的N个注视点进行注视点聚类。

(2)眼动跟踪数据传输；

如图3所示，本发明自定义了不同类型的携带指令的数据包与服务器进行交互。主要的数据包的类型和含义如表4-1所示。数据包的标号标识数据包类型，服务器解析数据包可以根据标号确定数据包的类型，从而进行不同的后续操作。心跳包(HEARTBEATPACKET)主要负责周期性的与服务器进行通信，保持与服务器的长连接。注视点数据包(GAZEDATAPACKET)携带一批注视点数据。注视点数据为实时的流式数据，常见的流式数据分批依据是时间阈值和基于数据大小阈值。本发明采用混合阈值的方法，优先按数据大小阈值进行分批传输，如果超过预定时间还未到达该数据大小阈值，则也会被分为一批。离线通知包(OFFLINEPACKET)是在移动设备停止数据传输并通知服务器。离线通知包主要针对主动提出的停止传输请求，例如，当学生放下平板电脑，不再传输注视点时，可以主动通知服务器停止数据传输并断开连接。交互包(CHAINPACKET)是服务器在响应某个类型的数据包之后进行返回，携带被响应的数据包的标号。此外，还有未在表中列出的服务器状态数据包等。

(3)眼动跟踪数据存储；

由于注视点数据是实时流式数据，如果直接采用常见的关系型数据库进行存储和读取，将进行频繁的IO操作，影响系统的吞吐量。如图4所示，本发明采用分级存储策略，将最新被用到的注视点数据存入内存缓存队列中，作为一级存储，MySQL数据库作为二级存储。内存数据的读取和存储速度较快，可加快可视化展示时注视点数据的分析速度。同时设置内存的上限阈值与数据的过期时间，当数据过期时或内存大小达到阈值时，采用最近最少策略将数据持久化到MySQL中。

(4)眼动跟踪数据可视化；

学生在浏览学习课件时所记录的注视点是大量抽象的坐标数据，如果直接将注视点数据呈现给教师，教师很难对其进行准确、直观的分析与理解，也难以从中获知学生对于课件的理解程度。因此本发明对注视点数据进行进一步的分析与转换，按照时间序列转换为注视点轨迹图，按照空间关系转换为热区图，并为教师提供一个可视化交互界面，用于选择想要观察的对象及可视化类型。

对于需要学习的课件，可能存在多个相互关联的知识点，学生在学习过程中，往往会在相互关联的知识点之间进行视线切换。轨迹图是在注视点散点图的基础上，按照时间序列进行连线，能够反映出视线的切换过程，教师可以从学生的轨迹图中了解到学生的学习方法是否合理。单个学生的注视点轨迹图如图5a所示，多个学生叠加的注视点轨迹图如图5b所示。用户一段时间内累积的注视点分布可以用热区图进行表示。传统的热区图通常设置像素权重，绘制彩色的图像。但是一些较深的彩色区域会覆盖住原图，对于文字较多的课件，彩色的热区图不适合教师直观的了解学生的注视点分布。因此本发明使用像素透明度来表达热点区域，不会对原图造成遮挡。单个学生的注视点热区图如图6a所示，多个学生叠加的注视点热区图如图6b所示。

服务器端为教师提供了一个可视化交互界面，教师可以根据需求选择可视化类型和观察对象。例如，教师可以选择展示学生2的注视点轨迹图(图7a)、选择展示学生2注视点热区图(图7b)、选择展示所有学生叠加的注视点轨迹图(图7c)，以及选择展示所有学生叠加的注视点热区图(图7d)。

如图8所示，本发明实例提供的一种移动端眼动跟踪驱动的智慧课堂教学可视分析系统的基本逻辑结构示意图。为了便于说明，仅仅示出了与本发明实例相关的部分。该系统中功能模块/单元可以是硬件模块/单元、软件模块/单元，主要包括依次连接并馈送数据的以下模块:

(1)眼动跟踪数据计算模块，采用移动设备自带的摄像头拍摄人眼图像，计算人眼特征点，通过标定建立特征点与移动设备屏幕之间的映射模型，计算实时注视点；

(2)眼动跟踪数据传输模块，设计数据包格式，实时传输眼动跟踪数据；

(3)眼动跟踪数据存储模块，采用二级存储结构持久化存储眼动跟踪数据。

(4)眼动跟踪数据可视化模块，按照视线切换关系计算形成轨迹图，按照用户一段时间内累积的注视点分布计算热区图，教师可根据需求选择可视化类型和观察对象。

本发明实例中各个模块可以集成于一体，也可以分离部署,或进一步拆分成多个子模块。各个模块可以按照实例描述分布于实例的系统中，也可以进行相应变化位于不同于本发明实例的一个或多个系统中。

本领域的技术人员应该明白，本发明实例可提供成为方法、系统、或计算机程序产品。

本发明实例的各模块或各步骤可以用通用的计算装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。因此，本发明实例不限制于任何特定的硬件和软件结合。

本说明书实例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。