一种基于多层降维的移动应用可用性评估系统及评估方法

技术领域

本发明涉及移动人机交互领域，尤其涉及一种用户体验设计中移动应用可用 性的评估系统和评估方法，尤其涉及一种基于多层降维的移动应用可用性评估 系统及评估方法。

背景技术

随着移动互联网技术的迅猛发展，智能手机和移动应用已经融合到社会生 活中，人们对移动应用的用户体验提出了更高的要求。可用性涉及到应用的使 用效率、效益和满意度，是用户体验的核心，因此提高产品的可用性能极大地 提高产品的用户体验。可用性测试是保证产品质量的重要手段，已经逐渐成为 产品开发、发布和更新过程中的一个必要步骤。

手机等移动设备与PC等设备相比具有屏幕尺寸小、内存小、处理器能力弱、 电池供电等限制，此外，移动应用还存在交互方式多样、使用场合不定等特点， 这些对移动应用的可用性提出了新的要求。在人机交互领域，可用性的研究也 延续了多年，但大多集中在传统PC或者Web网站等，而涉及移动应用的可用 性研究，相比之下非常少。

现有的软件产品可用性评估系统是将以下两个流程进行标准化实现：1)设 计一系列任务由用户完成，考察用户完成时间和任务完成率；2)采用标准的调 查问卷考察产品满意度。这种评估方法一定程度上可以获得产品可用性的某些 属性，但是存在以下缺陷：1)难以选择合适的任务来全面反映产品功能，因此 较难实施；2)不能获得灵活性、一致性、可见性等产品可用性的内在特征；3)忽 略了各项评估结果的相对重要性；4)没有考虑到移动应用产品本身所具有的不 同于传统软件或者Web系统的特点。

发明内容

针对上述技术问题，本发明提出一种基于多层降维的移动应用可用性评估系 统及评估方法。

为了解决上述技术缺陷，本发明的技术方案如下：

一种基于多层降维的移动应用可用性评估系统，所述的评估系统包括计算 模型，指标生成器，数据采集模块，数据存储模块，反馈系统模块和用户界面； 所述计算模型包括指标层、维度层、属性层和目标层；

所述的指标生成器包括主观指标生成器、客观指标生成器，所述的客观指标生 成器根据客观测量数据计算，所述的主观指标生成器根据主观测量数据计算；

所述的指标生成器包含一个指标计算规则子模块，指标计算规则子模块以文本 文件形式存在，规则内容为计算公式、可扩展标记语言、自定义形式化语言中 的一种或者多种，指标计算规则明确了指标的主客观分类属性；所述的指标生 成器解析指标计算规则，分别得到主观指标和客观指标，并下发到主观指标生 成器和客观指标生成器处理，主观指标生成器和客观指标生成器输入为数据采 集模块采集的主观测量数据和客观测量数据，输出为各测量指标值；

所述的数据采集模块采用插件式设计，每一个插件负责一项所述的测量指标所 需的原始数据的采集，插件名称与数据变量同名，使指标生成器可以理解，所 述的数据采集模块包含一个常用数据插件库和插件管理器，系统启动时插件管 理器通过解析所述的指标计算规则子模块得到需要加载的插件库中的数据采集 插件，同时运行过程中插件管理器对插件进行动态管理以合理分配资源；

所述的数据存储模块包括历史数据模块和计算数据模块，所述的计算数据模块 存储指标生成模块输出指标值，计算数据根据用户选择存入历史数据模块；

所述的反馈系统模块作用在于调整计算模型和指标计算规则使得评估结果更准 确，反馈系统根据应用分类、历史数据和用户参数综合判断来确定调整目标以 及调整参数；

所述的用户界面包含分析对比子模块和编辑控制子模块，所述的分析对比子模 块可以分析某一应用和其他一个或多个应用的各指标值并给出优劣判断，所述 的各指标包括计算模型模块中各层元素中的一个或多个，所述的编辑控制模块 具有编辑和控制两个功能模块，编辑功能包括编辑数据采集模块元素数据、指 标生成器输出数据、指标计算规则和反馈系统用户参数，所述的控制功能模块 是控制系统数据采集、指标生成、反馈调整和降维计算中的一步或多步运行动 作。

进一步的，所述的指标层包括25个元素，编号分别记为F1～F25，如表1 所示：

表1指标

所述的指标层指标取值范围0～100，数值越大代表可用性的该项指标表现越 好。

进一步的，所述的维度层包括“交互质量”、“关键状态可见性”、“简洁直 观性”、“一致性”、“亲和性”、“低耗性”六个维度，分别记为D1～D6；

所述的属性层包括“效益”、“效率”、“满意度”三个属性，分别记为A1～A3；

所述的目标层包含“可用性”一个元素，极为U；

所述的交互质量D1包含F1、F2、F3、F4、F5五个指标，D1由F1～F5使用 如下公式计算获得，

D1＝0.213*F1+0.2025*F2+0.173*F3+0.198*F4+0.2135*F5；

所述的关键状态可见性D2包含F6、F7、F8、F9四个指标，D2由F6～F9 使用如下公式计算获得，

D2＝0.2817*F6+0.24*F7+0.2325*F8+0.2458*F9；

所述的简洁直观性D3包含F10、F11、F12、F13、F14五个指标，D3由F10～F14 使用如下公式计算获得，

D3＝0.2025*F10+0.222*F11+0.22*F12+0.1787*F13+0.1768*F14；

所述的一致性D4包含F15、F16、F17、F18四个指标，D4由F15～F18使用 如下公式计算获得，

D4＝0.2463*F15+0.2454*F16+0.2483*F17+0.26*F18；

所述的亲和性D5包含F19、F20、F21、F22四个指标，D5由F19～F22使用 如下公式计算获得，

D5＝0.2583*F19+0.2412*F20+0.2313*F21+0.2692*F22；

所述的低耗性D6包含F23、F24、F25三个指标，D6由F23～F25使用如下 公式计算获得，

D6＝0.3158*F23+0.3625*F24+0.3217*F25；

所述的效益A1使用如下的公式计算获得，

A1＝0.17*D1+0.1923*D2+0.1678*D3+0.1778*D4+0.1462*D5+0.1458*D6；

所述的效率A2使用如下的公式计算获得，

A2＝0.1807*D1+0.1747*D2+0.1807*D3+0.1683*D4+0.1458*D5+0.149*D6；

所述的满意度使用如下的公式计算获得，

A3＝0.1757*D1+0.1572*D2+0.1678*D3+0.1603*D4+0.182*D5+0.157*D6

所述的可用性包含A1、A2、A3三个属性，使用如下的公式计算获得，

U＝0.38*A1+0.325*A2+0.295*A3。

一种基于多层降维的移动应用可用性评估方法，

41)规则拟定：根据所述的F1至F25的测量指标由使用者确定所述测量指 标的主客观属性并拟定所述的测量指标计算规则，在不同的移动操作系统下可 以采用不同的计算方法；

42)数据采集：根据所述测量指标计算规则采集主客观数据，主观数据采集 采用用户研究的方法，包括问卷调查、深度访谈、卡片分类、情景调查中的一 种或两种以上的方法组合，客观数据采集使用移动操作系统开放接口进行二次 开发从而获得应用运行时数据，

43)指标生成：依据拟定的计算规则和采集的数据计算所述的F1至F25的 测量指标的值，

44)反馈调整：所述的反馈系统根据应用分类、历史数据和用户参数调整模 型参数；

45)降维计算：多层可用性计算模型通过所述的指标层、维度层、属性层、 目标层逐层降维计算，可用性计算因变量由25个逐步降低到6个和3个；

所述的F1至F25的测量指标如表1所示：

表1指标

所述的指标层指标取值范围0～100，数值越大代表可用性的该项指标表现越 好；

所述的维度层包括“交互质量”、“关键状态可见性”、“简洁直观性”、“一致性”、 “亲和性”、“低耗性”六个维度，分别记为D1～D6；

所述的属性层包括“效益”、“效率”、“满意度”三个属性，分别记为A1～A3；

所述的目标层包含“可用性”一个元素，极为U；

所述的交互质量D1包含F1、F2、F3、F4、F5五个指标，D1由F1～F5使用 如下公式计算获得，

D1＝0.213*F1+0.2025*F2+0.173*F3+0.198*F4+0.2135*F5；

所述的关键状态可见性D2包含F6、F7、F8、F9四个指标，D2由F6～F9 使用如下公式计算获得，

D2＝0.2817*F6+0.24*F7+0.2325*F8+0.2458*F9；

所述的简洁直观性D3包含F10、F11、F12、F13、F14五个指标，D3由F10～F14 使用如下公式计算获得，

D3＝0.2025*F10+0.222*F11+0.22*F12+0.1787*F13+0.1768*F14；

所述的一致性D4包含F15、F16、F17、F18四个指标，D4由F15～F18使用 如下公式计算获得，

D4＝0.2463*F15+0.2454*F16+0.2483*F17+0.26*F18；

所述的亲和性D5包含F19、F20、F21、F22四个指标，D5由F19～F22使用 如下公式计算获得，

D5＝0.2583*F19+0.2412*F20+0.2313*F21+0.2692*F22；

所述的低耗性D6包含F23、F24、F25三个指标，D6由F23～F25使用如下 公式计算获得，

D6＝0.3158*F23+0.3625*F24+0.3217*F25；

所述的效益A1使用如下的公式计算获得，

A1＝0.17*D1+0.1923*D2+0.1678*D3+0.1778*D4+0.1462*D5+0.1458*D6；

所述的效率A2使用如下的公式计算获得，

A2＝0.1807*D1+0.1747*D2+0.1807*D3+0.1683*D4+0.1458*D5+0.149*D6；

所述的满意度使用如下的公式计算获得，

A3＝0.1757*D1+0.1572*D2+0.1678*D3+0.1603*D4+0.182*D5+0.157*D6

所述的可用性包含A1、A2、A3三个属性，使用如下的公式计算获得，

U＝0.38*A1+0.325*A2+0.295*A3。

本发明的有益效果在于：本发明的基于多层降维度的移动应用可用性评估系 统为计算移动应用可用性评估带来便捷：

(1)通过25个指标全面地考察移动应用可用性的重要组成部分，明确了移 动应用可用性的考察度量，丰富了移动可用性工程的内涵。

(2)对移动应用可用性进行多层次的分解，降低了移动应用可用性模型的 复杂度，同时为单独考察维度层交互质量、关键状态可见性、简洁直观性、一 致性、亲和性和低耗性以及维度层的效率、效益和满意度提供了一种解决方法。

同时，本发明的基于多层降维的移动应用可用性评估系统具有很好的普适性 和灵活性：

(1)多层可用性计算模型是在大量用户调研和实验数据的基础上构建，模 型结构和模型参数对移动应用可用性具计算具有一般性。

(2)本发明的测量指标子模块、数据采集模块插件式设计和反馈系统为计 算模型提供了多种模型调整方式，使得系统能很好地适用不同类型的移动应用

附图说明

图1基于多层降维的移动可用性评估系统；

图2多层可用性计算模型；

图3基于多层降维的移动可用性评估方法步骤；

图4采集模块公共库结构。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

一种基于多层降维的移动应用可用性评估系统，所述的评估系统包括计算模 型，数据采集模块，指标生成器，数据存储模块，反馈系统模块和用户界面， 系统结构如1所示，其中：

所述的指标生成器包括主观指标生成器、客观指标生成器，所述的客观指标 生成器根据客观测量数据计算，所述的主观指标生成器根据主观测量数据计算。

所述的指标生成器包含一个指标计算规则子模块，指标计算规则子模块以文 本文件形式存在。规则内容为计算公式、可扩展标记语言、自定义形式化语言 中的一种或者多种，指标计算规则明确了指标的主客观分类属性。

所述的数据采集模块采用插件式设计，每一个插件负责一项所述的测量指标 所需的原始数据的采集，插件名称与数据变量同名，使指标生成器可以理解， 所述的数据采集模块包含一个常用数据插件库和插件管理器，系统启动时插件 管理器通过解析所述的指标计算规则子模块得到需要加载的插件库中的数据采 集插件。同时运行过程中插件管理器对插件进行动态管理以合理分配资源。

所述的指标生成器解析指标计算规则，分别得到主观指标和客观指标，并下 发到主观指标生成器和客观指标生成器处理，主观指标生成器和客观指标生成 器输入为数据采集模块采集的主观测量数据和客观测量数据，输出为各测量指 标值。

所述的数据存储模块包括历史数据模块和计算数据模块。所述的计算数据模 块存储指标生成模块输出的F1～F25的指标值，计算数据根据用户选择存入历史 数据模块。

所述的反馈系统模块作用在于调整计算模型和指标计算规则使得评估结果 更准确。反馈系统根据应用分类、历史数据和用户参数综合判断来确定调整目 标以及调整参数。

所述的用户界面包含分析对比子模块和编辑控制子模块，所述的分析对比子 模块可以分析某一应用和其他一个或多个应用的各指标值并给出优劣判断，优 劣判断包括非常优秀、优秀、一般、有待改进、差五个等级，所述的各指标包 括计算模型模块中各层元素中的一个或多个。所述的编辑控制模块具有编辑和 控制两个功能模块，编辑功能包括编辑数据采集模块元素数据、指标生成器输 出数据、指标计算规则和反馈系统用户参数，所述的控制功能模块是控制系统 数据采集、指标生成、反馈调整和降维计算中的一步或多步运行动作，包括但 不限于单步运行、组合运行、停止运行、暂停运行、恢复运行、重新运行等。

所述的计算模型结构如图2所示。计算模型一共包括指标层、维度层、属性 层和目标层。

所述的指标层包括25个元素，编号分别记为F1～F25，如表1所示：

表1指标

所述的指标层指标取值范围0～100，数值越大代表可用性的该项指标表现越 好。

所述的维度层包括“交互质量”、“关键状态可见性”、“简洁直观性”、“一致 性”、“亲和性”、“低耗性”六个维度，分别记为D1～D6。

所述的属性层包括“效益”、“效率”、“满意度”三个属性，分别记为A1～A3。

所述的目标层包含“可用性”一个元素，极为U。

所述的交互质量D1包含F1、F2、F3、F4、F5五个指标，D1由F1～F5使用 如下公式计算获得，

D1＝0.213*F1+0.2025*F2+0.173*F3+0.198*F4+0.2135*F5。

所述的关键状态可见性D2包含F6、F7、F8、F9四个指标，D2由F6～F9 使用如下公式计算获得，

D2＝0.2817*F6+0.24*F7+0.2325*F8+0.2458*F9。

所述的简洁直观性D3包含F10、F11、F12、F13、F14五个指标，D3由F10～F14 使用如下公式计算获得，

D3＝0.2025*F10+0.222*F11+0.22*F12+0.1787*F13+0.1768*F14。

所述的一致性D4包含F15、F16、F17、F18四个指标，D4由F15～F18使用 如下公式计算获得，

D4＝0.2463*F15+0.2454*F16+0.2483*F17+0.26*F18。

所述的亲和性D5包含F19、F20、F21、F22四个指标，D5由F19～F22使用 如下公式计算获得，

D5＝0.2583*F19+0.2412*F20+0.2313*F21+0.2692*F22。

所述的低耗性D6包含F23、F24、F25三个指标，D6由F23～F25使用如下 公式计算获得，

D6＝0.3158*F23+0.3625*F24+0.3217*F25。

所述的效益A1使用如下的公式计算获得，

A1＝0.17*D1+0.1923*D2+0.1678*D3+0.1778*D4+0.1462*D5+0.1458*D6。

所述的效率A2使用如下的公式计算获得，

A2＝0.1807*D1+0.1747*D2+0.1807*D3+0.1683*D4+0.1458*D5+0.149*D6。

所述的满意度使用如下的公式计算获得，

A3＝0.1757*D1+0.1572*D2+0.1678*D3+0.1603*D4+0.182*D5+0.157*D6

所述的可用性包含A1、A2、A3三个属性，使用如下的公式计算获得，

U＝0.38*A1+0.325*A2+0.295*A3。

针对由计算模型，数据采集模块，指标生成器，数据存储模块，反馈系统模 块和用户界面组成的基于多层降维的移动应用可用性评估系统，本发明提供一 种基于多层降维的移动应用可用性评估方法，如图3，包括以下步骤：

步骤1：规则拟定，根据所述的F1至F25的测量指标由使用者确定所述测 量指标的主客观属性并拟定所述的测量指标计算规则。在不同的移动操作系统 下可以采用不同的计算方法。

步骤2：数据采集，根据所述测量指标计算规则采集主客观数据。主观数据 采集采用用户研究的方法，包括但不限于问卷调查、深度访谈、卡片分类、情 景调查中的一种或两种以上的方法组合。客观数据采集使用移动操作系统开放 接口进行二次开发从而获得应用运行时数据。

步骤3，指标生成，依据拟定的计算规则和采集的数据计算所述的F1至F25 的测量指标的值。用户可以自主选择是否存入历史数据库。

步骤4，反馈调整：所述的反馈系统根据应用分类、历史数据和用户参数调 整模型参数。

步骤5，降维计算：所述的多层可用性计算模型通过所述的指标层、维度层、 属性层、目标层逐层降维计算，可用性计算因变量由25个逐步降低到6个、和 3个。

下面以本发明在Windows桌面操作系统中，使用Java语言，对安卓操作系 统上的移动应用进行评估的一种实现方式为例，结合附图对本发明作进一步的 描述：

主客观评定和拟定测量指标计算规则：

主观测量指标选择F3、F10、F11、F13、F14、F15、F19、F20、F21和F22 十个测量指标。这些主观测量指标由多个用户或者专业设计开发人员进行直接 评定并进行加权平均计算获得。

测量指标选择F1、F2、F4、F5、F6、F7、F8、F9、F12、F16、F17、F18、 F23、F24、F25十五个测量指标。其中，用户等待时间表现F1采用平均Activity 跳转时间来计算，计算公式为：

$\left(\begin{array}{cc}{S}_{F1}=-0.044T_a+104& a<0.1\\ S_{F1}=100& a\ge 0.1\end{array}\right)$

应用流畅性F2根据虚拟机垃圾回收表现来计算，具体地说，虚拟机的垃圾 回收大体上分为三种：GC_EXPLICIT，GC_CONCURRENT， GC_FOR_MALLOC，前两者虚拟机暂停工作时间较短，最后一种暂停工作时间 长，会导致界面出现卡顿现象。根据垃圾回收时间长短的计算公式为：

SF2＝＝100*(NEXPLICIT_GC+NCONCURRENT_GC)/NTOTAL_GC

其中，NEXPLICIT_GC为一定时间内GC_EXPLICIT的次数； NCONCURRENT_GC为GC_CONCURRENT的次数；NTOTAL_GC为三种GC 的次数。

应用不易导致操作出错性F4和应用易从错误操作中恢复性F5根据应用相应 功能点的表现来确定。对于严重影响使用的错误，比如刷新等待的提示对话框 无法关闭这种错误，以及每一处错误以及处理不当的地方，使用如下的公式计 算：

SF(4,5)＝100-N*5

对不可逆操作提供确认提示表现F6，这样的功能点数量N，计算公式为：

SF6＝100-N*5

考虑两种不可用资源情况：一是资源没有使用权限，如不允许访问联系人列 表；二是资源有使用权限，但是资源内容无法使用，比如关闭WIFI和2G、3G 数据，从而无法使用网络，对于任意不可用资源没有进行提示的项的数目N， 则不可用资源状态的提示表现F7计算公式为：

SF7＝100-N*5

对错误操作的提示表现F8，比如文本编辑框为空、业务逻辑错误等，相应 功能点数目N，计算公式为：

SF8＝100-N*5

加载、等待状态的提示表现F9根据SF9＝100-N*5进行计算，N为相应的功 能点数量。

符合一般应用的操作习惯表现F12通过两点进行考察：一是应用是否提供一 般应用中被用户认可的功能，二是功能的操作是否与其他应用的功能操作一致。 对于不符合这两点的功能点使用SF12＝100-N*5进行计算。

对于相似界面元素的操作方式一致性F16，相似界面元素的显示效果一致性 F17、界面元素的操作符合用户预期表现F18也采用类似公式进行计算：

SF(16，17，18)＝100-N*5

应用占用内存表现F23、应用耗电量表现F24、应用耗费流量表现F25采用 与相似应用的平均表现对比进行计算，考察应用平均内存表现MAPP，计算公式：

$S_{F23}=-100*\frac{M_{\mathrm{APP}}}{M_{\mathrm{AVG}}}+200$

考察应用单位时间内后台平均流量耗费DAPP，计算公式：

$S_{F24}=-100*\frac{D_{\mathrm{APP}}}{D_{\mathrm{AVG}}}+200$

考察应用单位时间内耗电量PAPP，计算公式：

$S_{F25}=-100*\frac{P_{\mathrm{APP}}}{P_{\mathrm{AVG}}}+200$

数据采集模块：数据采集模块只负责采集工作，而不管数据的解析工作。采 用插件式设计，采用PF4J进行插件管理。插件接口至少包含load，unload，start， stop四个函数用于插件的加载、卸载、启动和停止以及capture函数用于采集数 据。为了便于插件迅速开发，本实现方案的数据采集模块提供一个与手机交互 的公共库，插件可以基于此库进行敏捷开发，也可以不基于此库。公共库的设 计如图4所示，最低层使用本地库，尤其的，包含AdbWinApi.dll和AdbWinApi.dll 两个与移动端Adb Server通信的库。公共库通过Jni调用本地库，此外还集成其 它Java库。

数据存储模块：数据存储模块使用MySQL进行管理。计算数据模块和历史 数据模块各包含一张表，分别为computing_data和history_data。两个表的字段相 同，都至少包含时间time，应用类型appType，指标计算值f1至f25和指标计算 规则r1至r25。

反馈系统模块：反馈系统根据应用类型对模型进行调整。模型类别包括社交、 新闻资讯、地图导航、查询工具、网购支付、生活消费、拍摄美化、图书阅读、 浏览器、信息通讯10类，对应每一类应用反馈系统模块有一个模型调整策略。

多层可用性计算模型：模型用一个类Model来表示，该类提供get函数获取 各层各元素的计算结果。Model类应当实现一个Adjust接口，该接口只有一个 adjust函数，具体根据反馈模块的调整方法进行实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通 技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些 改进和润饰也应视为本发明保护范围内。