使用警报再生的针对警报咨询的警报设置的优化

技术领域

本申请总体涉及患者监测。其特别结合警报设置的优化而应用，并且将具体参考其而被描述。然而，应当理解，其也应用于其他使用场景并且不必限于前述的应用。

背景技术

患者监测器通过在出现指示患者恶化的异常生命体征时发出警报而有助于患者安全。贯穿20世纪下半叶，几种模态己被引入到常规重症监护室(ICU)，从而得到了现今存在的丰富监测图景。这些模态包括心电图(ECG)、外围毛细血管氧饱和度(SpO2)、血压、以及呼吸率监测。随着有更多的监测模态可用，随着而来的挑战是用于降低误警报和临床无意义的警报同时保持具有临床重要性的警报(尤其是与临床事件和发作性症状相关联的警报)的正确的警报配置。这适用于单参数警报和更加先进的多参数警报两者。

1994年，研究发现儿科ICU中超过94％的警报发声可能不具有临床重要性。此后贯穿数年，不同研究发现了类似的结果。例如，ECRI研究所(ECRI Institute)在2011年将警报危害排列为第二大健康技术危害，在2012年和2013年将其排列为最大的健康技术危害。作为对这一广泛经历的危害的响应，联合委员会(The Joint Commission)已经于2014年发起了关于警报管理的患者安全目标，要求医院改善其警报管理。

所提出的一种用于改善警报管理的方法包括采用多参数警报算法。传统的警报算法是单参数的。多参数警报算法将提供更高的灵敏度和特异性。一个多径警报算法的例子是基于早期预警评分(EWS)系统或其变型之一的警报算法。所提出的另一种改善警报管理的方法包括执行大型患者试验，以确定适当的默认设置。然而，所提出的这一方法遭受知识缺口，因为没有关于针对警报阈值的适当设置的研究。所提出的另一种改善警报管理的方法包括针对警报策略的本地优化的场所特异的介入试验。

给定在医院、医院病房和医院的紧急护理单元之间，患者群体、护士与患者的比例以及监测装备的质量和数量方面都存在大的变化，预期针对警报策略的本地优化的场所特异的介入试验仍将保持其重要性，因为提出的其他方法也被实施。这是因为患者群体及其生命体征特点跨越各科室存在显著变化。介入试验通常被组织为三个阶段：介入前、介入中和介入后。在介入前阶段内，记录针对一组患者的警报，识别出最频繁的警报，并且定义推荐的警报策略(例如，警报阈值、警报严重性等)。在介入阶段，将推荐的警报策略应用于新的一组患者。在介入后阶段记录针对新的一组患者的警报。之后对介入后和介入前警报数据集进行比较，从而得出关于所推荐的警报策略的有效性和安全性的结论。

执行场所特异的介入试验的一个挑战在于没有针对推荐警报策略对警报负荷、工作流程及患者安全的影响的准确预测。这样所推荐的新警报策略的质量的受限的。此外，缺少关于患者安全的预测还会在介入后阶段期间对患者安全造成风险。

执行场所特异的介入试验的另一项挑战是介入后阶段通常很长。所推荐的警报策略被应用于新的一组患者，这在估计警报负荷的降低时引入变化的显著来源。因此，需要相对较长的介入后阶段得出在统计上具有显著意义的结论。

执行场所特异的介入试验的另一项挑战是费用。介入后阶段价格昂贵，因为需要管理部门批复、人员培训以及进度和安全监测。同样，对推荐警报策略的定义在第一介入阶段内也是昂贵的，因为其需要医生花费数小时来对新的设置达成一致。但是，相对于介入后阶段而言，介入前阶段还不算贵，而且对工作流程没有影响。

本申请提供了克服这些问题和其他问题的新的改进的系统和方法。

发明内容

根据一个方面，提供了一种用于优化临床警报算法的警报设置的系统。所述系统包括采集模块，所述采集模块被配置为在用户定义的时间段内采集被临床警报算法采用的临床监测数据(CMD)。所述系统还包括再生模块，所述再生模块被配置为确定针对所述临床警报算法的一个或多个参数的推荐设置并且利用所述推荐设置来向所采集的CMD应用所述临床监测算法以确定再生结果，所述再生结果预测针对所述推荐设置的不同组合的警报负荷。

根据另一方面，提供了一种用于优化临床警报算法的警报设置的方法。所述方法包括：在用户定义的时间段内采集被临床警报算法采用的临床监测数据(CMD)，确定针对所述临床警报算法的一个或多个参数的推荐设置，并且利用所述推荐设置向所采集的CMD应用所述临床监测算法以确定再生结果，所述再生结果预测针对所述推荐设置的不同组合的警报负荷。

根据另一方面，提供了一种用于优化临床警报算法的警报设置的系统。所述系统包括用于在用户定义的时间段内接收被临床警报算法采用的临床监测数据(CMD)的单元；用于确定针对所述临床警报算法的一个或多个参数的推荐设置的单元；以及利用所述推荐设置向所采集的CMD应用所述临床监测算法以确定再生结果，所述再生结果预测针对所述推荐设置的不同组合的警报负荷的单元。

一个优点在于准确预测推荐警报策略的影响。

另一个优点在于提高了患者安全性。

另一个优点在于与常规试验相比降低了费用和持续时间。

本领域的普通技术人员在阅读和理解以下详细说明之后将认识到本发明的再其他优点。

附图说明

本发明可以采取各种部件和各部件布置以及各种步骤和各步骤的安排的形式。附图仅出于图示优选的实施例的目的并且不应被理解为对本发明的限制。

图1图示了医学机构的信息技术(IT)基础设施以及警报生成系统。

图2图示了作为遭遇分数的函数的警报计数的图表。

图3图示了作为警报阈值的函数的以每天每床位的警报数表示的警报负荷的图表。

图4图示了依赖于针对各种警报阈值的延迟的持续时间长于延迟的警报所占百分比的曲线图。

图5图示了累积直方图，其描述了针对多个心率分箱(bin)中的每者个的跨患者群体的满足警报阈值的时间占比。

图6图示了具有早期预警评分(EWS)系统的警报再生的流程图。

图7图示了用于使用警报再生来优化警报设置的方法。

具体实施方式

本申请公开了用于优化警报设置的方案。根据所述方案，在一定的时间段内记录生命体征和背景数据。之后，针对几种推荐警报设置基于所记录的数据来再生警报。所述再生允许针对所记录的数据的具体患者群体准确地预测出警报负荷及相关参数，例如，工作负荷影响和检测性能(即，灵敏度和特异性)。

参考图1，医学机构的信息技术(IT)基础设施10包括一个或多个通过通信网络18连接的临床检测数据(CMD)的源12、14、16。通信网络18通常是局域网(LAN)，但是预期其它类型的通信网络。CMD是由临床监测算法(CMA)使用以响应于检测到患者恶化而生成警报的任何数据。CMD源12、14、16的例子包括但不限于患者监测器12、护士站、移动通信装置、患者信息系统14、临床决策支持系统16等等。

CMD源12、14、16存储或生成针对相应患者的CMD。针对患者的CMD包括指示患者的生理状态的数据。指示患者的生理状态的数据包括指示生命体征(例如，心率、心电图(ECG)、血压、外围毛细血管氧饱和度(SpO2)等)的数据、实验室测试(例如，肌酸、血液尿素氮(BUN)、丙氨酸转氨酶(ALT)等)、生理评分(例如，早期预警评分(EWS)、生命体征不稳定指数(VIX))、简化急性生理评分(SAPS)‐I等)、流体、人口统计学数据(例如，年龄、性别等)、警报以及与患者的生理状态有关的其他变量(例如，诊断、重病监护室(ICU)类型等)。

生成CMD的CMD源12、16是CMD产生器12、16。CMD产生器12、16通常连续地生成或者在发生事件(例如，记时事件、用户输入事件等)时生成CMD。此外，CMD产生器12、16自动或人工生成CMD。CMD产生器12、16能够自动生成CMD，例如，通过利用传感器20测量指示患者生理状态的变量或者利用处理器22计算指示患者的生理状态的值。CMD产生器12、16能够人工生成CMD，例如，通过利用用户输入装置24接收来自临床医生的指示患者生理状态的用户输入。CMD产生器12、16的例子包括但不限于患者监测器12和临床决策支持系统16。

存储CMD的CMD源14是CMD存储器14。CMD源可以既是CMD产生器12、16，又是CMD存储器14。CMD存储器14将CMD本地存储到数据库26中。可以对所存储的CMD进行本地接收或远程接收。例如，可以从其他CMD源12、16远程接收CMD，或者可以利用用户输入装置28从用户本地接收CMD。CMD存储器14的例子包括但不限于电子医学记录(EMR)系统14、科室系统等。

CMD源12、14、16以及警报模块32、34中的每者是软件、硬件或两者组合之一。在CMD源12、14、16或警报模块32、34包括软件或者是软件的情况下，CMD源12、14、16或警报模块32、34通常分别包括至少一个处理器22和至少一个程序存储器或者与之相关。所述至少一个处理器22执行所述至少一个程序存储器上的处理器可执行指令，以实施CMD源12、14、16或警报模块的功能。类似地，在CMD源12、14、16或警报模块32、34接收用户输入或显示数据的情况下，CMD源12、14、16通常分别包括用户输入装置24、28或显示装置30或者与之相关联。

通常，CMD源12、14、16包括至少一个警报数据的CMD产生器12、16。警报数据的CMD产生器12、16与一个或多个患者相关联并且包括在警报模块32、34中实施的临床监测算法。所述临床监测算法基于接收到的CMD来监测患者的患者恶化。临床监测算法响应于检测到患者恶化而生成警报。临床监测算法本地(例如，通过用户输入装置24)或远程地(例如，从另一CMD源12、14、16)接收CMD。警报数据的CMD产生器12、16的例子包括患者监测器12、临床决策支持系统16等。

可以根据临床监测算法的配置方式来对所述算法进行分类。根据该脉络，至少存在三种不同种类的临床监测算法：可调谐警报算法、开启/关闭警报算法以及阈值警报算法。可调谐警报算法在非生命的指征(例如，睡眠呼吸暂停持续时间)超过了用户定义的阈值时触发警报。开/关警报算法在双态生理参数(例如，室性早搏(PVC))指示“开启”状态时触发警报。这样的开/关警报算法可以具有或者可以不具有用户可调节参数。阈值警报算法在生命体征(例如，心率)超过用户定义的阈值时触发警报。

阈值警报算法可以包括过滤机制，以降低警报率。一种这样的过滤机制是延迟机制，其中，如果触发的警报的持续时间短于用户定义的秒数则其被抑制。另一种这样的过滤机制是禁止机制，其中，如果在上一个用户定义秒数内有相同类型的触发警报，则禁止该触发警报。

继续参考图1，IT基础设施10还包括警报再生系统38。警报再生系统38针对医学机构的用户定义的患者群体对临床监测算法的警报设置进行优化。通过警报再生系统38的警报模块40实施所述临床监测算法。警报设置是指临床监测算法或相关算法(例如，向临床监测算法提供输入的算法，例如，EWS算法)的用户定义的参数的值。阈值警报算法的用户定义的参数包括(例如)阈值、延迟和禁止时段。例如，用户定义的患者群体可以是医学机构内的由用户定义的一个或多个医学室或病房的集合。可以在IT基础设施10的CMD源12、14、16内的或者警报再生系统38内实施所述临床监测算法。

警报再生系统38在用户定义的时间周期(例如，两个星期或六个月)内从CMD源12、14、16采集并存储包括生命体征和背景数据在内的CMD，其是由临床监测算法针对用户定义的患者群体所需要的。之后，通过警报再生优化所述临床监测算法的警报设置。更具体而言，通过采用几种不同的警报设置向所存储的CMD应用所述临床监测算法而再生警报。之后，对再生结果进行评估，从而准确地预测对用户定义的患者群体而言不同的警报设置对警报负荷及相关参数(例如，工作负荷影响和检测性能(即，灵敏度和特异性))产生的影响。为了执行前述操作，警报再生系统38包括多个模块：采集模块42；再生模块44；以及结果分析模块46。

采集模块42在用户定义的时间段内通过通信网络18从CMD源12、14、16采集CMD，并将所采集的数据存储到移动数据库48内。CMD包括用户定义的患者群体的生命体征，以及临床监测算法所需要的另外的背景数据。例如，背景数据包括描述实验室结果和患者诊断的数据。CMD还可以包括下述数据中的一者或多者：描述触发警报的数据；关于患者恶化的数据，例如，所记录的关于患者恶化(例如，与恶化相关的介入)或者患者护理水平提高的临床事件；以及关于所记录或估计的每次警报触发介入的工作量的数据。采集模块42以足够的采样率针对所述临床监测算法采集CMD，例如，所述采样率为针对生命体征的一秒采样率。

通常，将采集模块42和移动数据库48包含到警报再生系统38的移动数据记录器50内。在开始采集CMD之前，将移动数据记录器50安装到医学机构处。例如，将移动数据记录器直接连接至通信网络18，或者通过其他装置或系统间接连接至通信网络18。一旦安装完成，就可以通过采集模块42在用户定义的周期内采集CMD并将其存储到移动数据库48内。

在采集结束之时，将移动数据记录器50从医学机构拆卸下来，并且物理地运输至警报生成系统38的中央数据处理系统52。中央数据处理系统52通常远离医学机构定位。在去除受到保护的健康信息之后，中央数据处理系统52然后将数据下载至中央数据库54，并利用其他模块44、46对中央数据库54内的数据进行本地处理，如下文所讨论的。作为采用中央数据处理系统52的替代方案，移动数据记录器50可以采用其他模块44、46对移动数据库48内的数据进行本地处理，如下文所讨论的。

不管在何处对采集模块42采集的数据进行处理，再生模块44接下来与警报模块40协同工作，从而通过针对一组推荐警报设置中的每一设置向针对用户定义的患者群体采集的CMD应用所述临床监测算法而再生警报。其允许准确地预测作为推荐警报设置的函数的警报负荷及相关参数。通常，在不考虑临床医生在采集过程中对对应的警报设置参数做出的修改的情况下应用所推荐的警报设置。不过，在一些实施例中，仅在采集过程中未向对应的警报设置参数做出任何此类修改的范围内采用所述推荐警报设置。

推荐警报设置通常是对整个用户定义的患者群体通用的，并且是在再生之前确定的。但是，作为替代，推荐警报设置可以取决于CMD，并且是在再生过程中确定的。例如，可以基于关于患者的CMD(例如，诊断、年龄或实验室结果)根据每一患者确定推荐警报设置。作为另一范例，可以基于患者的当前生命体征值来针对患者的每一生命体征样本确定推荐警报设置。

可以人工、自动或者既人工又自动地为临床监测算法或相关算法的警报设置参数定义推荐警报设置。就推荐警报设置的人工定义而言，可以采用(例如)用户输入装置56、58来人工定义推荐警报设置。这一点对由临床医师或临床医生小组确定推荐警报设置的方案是有利的。就推荐警报设置的自动定义而言，例如，可以对临床监测算法的用户定义的参数的每者的参数空间进行均匀采样。或者，算法可以基于CMD或者来自结果分析模块46的反馈来确定推荐警报设置。

尽管所述采集被配置为采集生命体征和背景数据，但是可能出现只有警报数据可用的情况。在这样的情况下，可以执行适当的警报再生。更具体而言，可以通过将推荐警报阈值应用于警报的极值而执行适当的警报再生。这一技术的特征在于，结果示出了在采集过程中生命体征值与警报设置的组合效果。已知在临床监测算法是纯粹的阈值警报算法(即，没有任何过滤机制的阈值警报算法)时这种近似能够发挥很好的作用。

结果分析模块46从再生模块44接收再生结果并且利用显示装置60、62将所述再生结果图形显示给临床医生以供评估。可以通过图解形式对所述再生结果加以显示，图示根据每一警报类型显示的预测警报；并且可以通过不同方式对所述再生结果进行汇总，例如，根据警报严重程度、模态、轮班等。此外，可以通过图解方式对所述再生结果进行显示，图示依赖于一个或多个警报装置参数的预测警报负荷或相关参数(例如，工作负荷或警报率)。

除了显示所述再生结果之外，结果分析模块46能够采用至少一个处理器64来对所述再生结果进行自动评估，并采用显示装置60、62显示评估结果。例如，可以对真假警报率进行评估，并在采集到患者恶化数据时显示结果。类似地，可以基于再生的警报对工作负荷或警报率进行估算和显示。在一些实施例中，结果分析模块46基于评估结果向再生模块44提供反馈，直到完成一组的一个或多个目标为止。在提供反馈的过程中，对推荐警报设置进行连续修改或调谐，直到完成该组目标为止。例如，该组目标可以包括目标工作负荷或警报率。

在所采集的CMD包括警报的一些实施例中，结果分析模块46针对推荐警报设置对记录警报率和再生警报率进行估计。之后，可以对估计进行图形显示，以实施定量比较。备选地，可以自动地对记录警报的估计结果和对再生警报的估计结果进行比较，并且可以显示警报率的降低超过了用户定义阈值的警报设置。

警报率r被定义为根据单个患者生成的警报计数c除以时间间隔t的期望值：

$>r=E\left[\frac{c}{t}\right],---\left(1\right)$>

其中，r是通过每天每患者的计数值给出的。为了达到临床医生经历的警报率，使警报率r乘以临床医生管护的患者的数量。在将时间间隔t划分成N次患者遭遇时，每一i具有遭遇警报率r_i、遭遇警报计数c和遭遇持续时间(即，停留时长)d_i，那么可以将警报率r改写为：

$>r=E\left[\frac{{\mathrm{\Sigma c}}_i}{{\mathrm{\Sigma d}}_i}\right]=E\left[\frac{\frac{1}{N}{\mathrm{\Sigma d}}_t{r}_i}{\frac{1}{N}{\mathrm{\Sigma d}}_i}\right].---\left(2\right)$>

对警报率r的最为直接的表达是关于警报计数c_i给出的(即，未归一化为警报率)。为了关于遭遇警报率r_i来表示警报率r，采用遭遇持续时间d_i来对遭遇警报率r_i进行比例加权。实际暗含的是，利用高警报率与长停留时长的组合降低患者的误警报率，造成警报疲劳的最大化的降低。

通过使总警报计数除以遭遇持续时间之和而估算出警报率：

$>\hat{r}=\frac{{\mathrm{\Sigma c}}_i}{{\mathrm{\Sigma d}}_i}.---\left(3\right)$>

这可以根据公式(2)导出。假设警报率估计具有高斯分布，那么通过给出这一估计的95％的置信区间，其中，是估算出的标准偏差，这里其被取作所估算出的方差的平方根。

方差估算器的起始点是样本方差，如下文所定义的。在时间轴上将所有的遭遇连结起来。将时间轴划分成各个具有长度t_σ的相等区段。将区段k内的警报率估值表示为区段数量为M。通过下式给出通过下式给出了样本方差

$>{\hat{V}}_S=\frac{1}{M}{\Sigma }_k{(r_{t_{\sigma },k}-\hat{r})}^2,---\left(4\right)$>

由其得到了方差估值

$>{\hat{V}}^{*}=\frac{1}{M^2}{\Sigma }_k{(r_{t_{\sigma },k}-\hat{r})}^2.---\left(5\right)$>

区段边界不与遭遇边界对准。这使得的计算复杂化，而且还引入了样本之间的相关性。因此，采用每一遭遇作为样本，并且根据遭遇持续时间对其贡献进行加权，从而得到下述方差估值

$>\hat{V}=\frac{1}{N^2}{\Sigma }_k{(r_{t_{\sigma },k}-\hat{r})}^2---\left(6\right)$>

此外，在一些实施例中，结果分析模块46根据遭遇确定并显示警报率的分布。如上文所讨论的，每一警报与遭遇相关联。一种显示所述分布的有用方案包括将警报率绘制为遭遇的函数，其中，按照遭遇率从高到低对遭遇进行排序。在通过基本的统计函数表达时，下式为逆残存函数s^inv：

s^inv(p)＝X:P(x＞X)＝p,(7)

其中，p是遭遇占比，P(x＞X)是针对警报率X的残存函数(即，x＞X的概率)。所述残存函数是累积直方图的互补：P(x＞X)＝1-P(x≤X)。

图2图示了根据遭遇的警报计数的逆残存函数的图表。相对于患者的警报计数分布可以以引起总警报中的给定分数的遭遇的分数来表征。如图所示，警报中的50％是由12％的具有最高警报计数的遭遇引起的。这一统计数据表明可以通过处理警报最为频繁的患者的情况而实现潜在的警报率降低。

再生结果描述了用户定义的患者群体的预测警报负荷。结果分析模块46可以对再生结果进行扩展，以预测未来患者群体的警报负荷。更具体而言，可以对CMD进行分析，以确定用户定义的患者群体内的不同患者类型的分布。此外，可以针对未来的患者定义不同患者类型的分布。之后，可以对所述分布进行比较，并且可以对再生结果进行重新加权。在重新加权的再生结果当中对在未来分布当中更占主导的患者类型给予的加权比在用户定义的分布中更占主导的患者类型的加权要高。例如，如果用户定义的患者群体包含比平均患者群体更加年老的患者，那么可以减少年老患者的警报，以估算平均患者群体的再生结果。

有利地，利用警报再生，能够在向新患者应用新的警报设置之前对新的警报策略的影响进行定量表示。更具体而言，由于向同一患者群体应用了各种设置，因而能够以高准确度计算出警报负荷的降低。与使用记录警报或警报阈值的方法不同，所述再生结果独立于在数据收集过程中有效的警报设置。

如上文所讨论的，所述再生系统38包括多个模块40、42、44、46。模块40、42、44、46中的每个是软件、硬件或两者的组合之一。在模块40、42、44、46包括或者是软件的情况下，模块40、42、44、46通常分别包括至少一个处理器64和至少一个程序存储器66或者与其相关联。所述至少一个处理器64执行所述至少一个程序存储器66上的处理器可执行指令，以实施模块40、42、44、46的功能。类似地，在模块40、42、44、46接收用户输入或者显示数据的情况下，模块40、42、44、46通常分别包括用户输入装置56、58或显示装置60、62或者与其相关联。

而且，如上文所讨论的，所述再生系统38还包括至少一个数据库48、54。所述至少一个数据库48、54中的每个是软件、硬件或两者的组合之一。在数据库48、54包括或者是软件的情况下，数据库48、54通常分别包括至少一个存储数据库48、54的数据的存储设备存储器68。

尽管警报再生系统36被示为包括移动数据记录器50和中央数据处理系统38，但是应当认识到可以使中央数据处理系统38的部件与移动数据记录器50集成。这些部件包括警报模块40、再生模块44和结果分析模块46，并且在一些实施例中，还包括至少一个处理器64以及程序存储器66和存储设备存储器68。有利地，通过使中央数据处理系统38的部件与移动数据记录器50集成，能够现场优化医学机构的警报设置。

为了说明再生系统38的操作，本申请人将在下文当中描述两个说明性的实施例。根据第一例示性实施例，设想临床监测算法是具有延迟及禁止过滤机制的阈值警报算法。例如，可以通过IT基础设施10的患者监测器12使用所述阈值警报算法。在将警报再生系统38应用于第一实施例时，采用采集模块42将用户定义的患者群体的生命体征记录到移动数据库48内。按照一定的速率对生命体征采样，从而允许采用所述阈值警报算法进行准确的再生。

在采集之后，采用再生模块44通过利用推荐警报设置向所记录的生命体征应用所述阈值警报算法而执行警报负荷预测。通常，所述推荐警报设置对于整个用户定义患者群体是通用的。由于所述阈值警报算法包括延迟及禁止过滤机制，因而存在三个能够对其设置进行优化的警报设置参数：阈值Th、延迟D以及禁止周期I。如上文所讨论的，延迟过滤机制在触发警报的持续时间短于延迟D的情况下抑制该触发警报，假设触发警报与刚好在前的禁止周期I内存在的警报是相同的类型的，那么禁止过滤机制将抑制该触发警报。

为了在具有延迟和禁止过滤的阈值警报算法上执行再生，有利的做法是在各个单独的阶段内执行警报再生，而不是针对每种不同的设置重复完整的再生。根据第一阶段，对阈值Th的推荐警报设置进行评估。其包括针对该阈值的每一推荐警报设置确定在用户定义的周期内生命体征超过推荐警报设置的时间间隔。这些时间间隔表示再生的警报并且被存储以供后续使用。

在完成了第一阶段的情况下，第二和第三阶段通过对再生的警报进行过滤而分别推导出不同延迟和禁止周期的警报负荷，其中，无需重新分析整个用户定义周期内的生命体征。有利地，这显著加快了所述再生。根据第二阶段，对于针对所述延迟的每一推荐警报设置而言，去除结束时间–发布时间)＜D的再生警报。根据第三阶段，对于针对禁止周期的每一推荐警报设置去除其余的满足结束时间_n＜结束时间_n+1+T的再生警报。

在再生结束时，结果分析模块46接收前述结果并将所述结果显示给临床医生。图3‐5提供了在将阈值警报算法应用于心率时的示范性结果显示。警报阈值是以每分钟心搏数(BPM)表示的。

参考图3，图示了作为警报阈值的函数的关于每天每床位的警报数的警报负荷的曲线图。虚线表示中位数。从阈值135到阈值140的提高是因为140以及更高的警报阈值被处理为危险水平警报(通过带竖条的圆表示)，其不存在禁止。相反，较低水平的紧急警报(通过带有横条的圆表示)具有三分钟的默认禁止周期，其降低了警报负荷。

假设将警报阈值从120提高到130，从而将较低水平紧急警报阈值提高到130。此外，假设危险水平警报阈值与较低水平紧急警报阈值之间保持20的差距。在这样的情境下，将危险水平警报阈值从140进一步提高到150。这些变化导致了以下警报负荷降低：较低水平紧急警报从22.8降低至10.1(即，55％的下降)；危险水平警报从22.5降低至18.7(即，17％的下降)。

参考图4，图示了作为各种警报阈值的延迟的函数的持续时间长于延迟的警报所占百分比的曲线图。设想延迟从零提高到五秒，假设具有警报阈值130。这将导致下述警报负荷降低：较低水平的紧急警报从100％下降至24.3％((即，75.7％的下降)；危险水平警报从100％下降至29.9％(即，70.1％的下降)。可以在120的默认警报阈值上实现类似的下降。

参考图5，该图图示的折叠累积直方图描述了针对多个心率分箱中的每个跨患者群体满足警报阈值的时间占比。为了促进对所述分布的直观评估，对于大于中位数的值采用残存函数代替直方图。例如，可以确定在0.87％的时间内或者每小时当中有31秒的时间内HR大于140。就没有过滤机制的临界警报而言，这一占比等于警报音时间的占比，并且因而其给出了这一警报导致的警报噪音水平的指示。

重新参考图1，根据第二说明性实施例，设想所述临床监测算法是采用EWS系统的阈值警报算法。EWS系统通常是各普通病房种的临床监测算法所共用的。EWS系统根据EWS模型对几个关键生理参数的贡献进行计数，从而实时地计算EWS。在EWS越过多个警报阈值中的一个时，可以触发警报并且可能要求特定临床小组对此作出响应，具体取决于所越过的警报阈值。

在向第二实施例应用警报再生系统38时，采用采集模块42来记录EWS系统采用的生理参数(例如，意识水平)。例如，可以通过通信网络18从EMR系统14取得所述生理数据。此外，生理数据可以(例如)包括指示下述内容中的任何内容的数据：生命体征；恶化(例如，不良事件、转到更高护理水平等)；人口统计学数据；实验室结果；用药；以及由EWS系统采集的任何其他数据。所记录的数据优选来自多个年份，因而可以考虑在季节乃至年份之间存在的变化。然而，如果这样的数据是有限的，那么来自每一季节的一块数据就够了(例如，来自一年的每一季度的够一个月的数据)。如果将EWS系统集成到患者监测器12当中，那么必须以高采样率类似地记录患者监测器测量的高采样率生命体征。

在采集之后，通过采用推荐警报设置向所记录的数据应用所述阈值警报算法和所述EWS系统而采用再生模块44进行警报负荷预测。在警报再生过程中考虑的警报设置参数包括警报阈值以及EWS系统的相关参数，例如，EWS模型以及不同临床小组的职责。所述职责定义了警报阈值和不同临床小组之间的对应关系。考虑不同的EWS模型设置将允许针对不同的患者群体对警报灵敏度和特异性进行适应性调整。此外，所述EWS模型和所述职责一起决定楼层护士应当何时以及以怎样的频率检查患者的生命体征、何时应当呼叫医生或快速反应小组(RRT)、患者是否需要被转移到ICU等等。

接下来，结果分析模块46通常通过根据所述再生结果估算工作负荷而对所述再生结果进行评估。可以对工作负荷估计进行显示，其通常包括统计数据的列表。例如，该列表可以包括护士必须响应的警报的数量(例如，每名护士每天响应的警报的数量)、低阈值警报触发的额外抽查的数量(例如，每名护士每天进行的额外抽查的数量)、高阈值警报触发的RRT呼叫的数量(每天的RRT呼叫的数量)、真正警报的数量、假警报的数量、灵敏度和特异性等。基于所述工作负荷估计和医学机构的运行数据，结果分析模块46可以进一步确定和显示医学机构的运行的成本估计和推荐，例如，对患者群体的季节性波动的估计、人员配备计划或者设备购买或升级计划。可以对所推荐的警报设置进行修改，直到发现适当的警报设置组合为止。

作为对第二实施例的扩展，对推荐警报设置进行连续地细化或调谐直到获得目标工作负荷为止。更具体而言，针对初始的推荐警报设置生成再生结果。通过再生模块44应用这些警报设置，并由结果分析模块46对所述再生结果进行评估，以判断是否满足目标工作负荷。只要不满足目标工作负荷，就向再生模块44提供反馈，从而能够对经修改的推荐警报设置进行评估。继续这一操作直到满足目标工作负荷为止。通过这种方式能够优化警报设置。

参考图6，流程图100对第二实施例进行了总结。可以看出，通过采集模块42采集了来自过去数年的患者数据102。而后，再生模块44在通常来自医学机构的临床医生的用户输入106的基础上确定104初始EWS评分和警报设置。由再生模块44对所述设置执行108警报再生，并通过结果分析模块46根据所述再生结果估算110工作负荷。由所述工作负荷估算做出关于是否实现了目标工作负荷的判断112。只要未实现目标工作负荷，就对EWS评分和警报设置进行修改或调试，并再次执行再生和评估。重复这一过程直到实现目标工作负荷为止。一旦实现了目标工作负荷，就通过向医学机构的运行数据118应用所述工作负荷估计而自动确定116建议114。之后将所述建议114显示给临床医生。

参考图7，提供了一种用于优化临床警报算法的警报设置的方法150。通过警报再生系统38的模块40、42、44、46执行方法150。根据方法150，在用户定义的时间段内从IT基础设施10采集152临床警报算法采用的CMD。所述CMD是以足够的采样率针对用户定义患者群体的多个患者采集的，以供应用于所述临床警报算法。例如，生命体征数据是在用户定义周期内以一秒采样率针对用户定义患者群体采集的。

除了采集CMD之外，为临床警报算法和/或相关算法的可配置参数确定154推荐警报设置。例如，相关算法是临床警报算法采用的评分系统算法。可以自动、人工或者既自动又人工确定推荐警报设置。例如，可以通过对参数空间采样来自动确定推荐警报设置，之后可以通过用户输入来修改所述自动确定的设置。就所确定的推荐警报设置和所采集的CMD而言，采用所述推荐警报设置向所述CMD应用156所述临床警报算法，以针对推荐设置的不同组合预测警报负荷和相关参数。

在临床警报算法是阈值警报算法时，可配置参数的参数可以包括阈值、延迟和禁止周期。通过针对阈值的每一推荐设置确定用户定义的时段内的所采集的CMD超过推荐设置的一组间隔，来利用针对阈值的设置应用156临床警报算法。这些间隔对应于警报。通过针对延迟时段或禁止时段的每一推荐设置来基于所述设置对所述一组间隔进行过滤，利用针对延迟时段或禁止时段的设置来应用所述临床警报算法。

在所述临床警报算法是采用评分系统的阈值警报算法的情况下，可配置参数的参数可以包括与评分系统相关的参数。例如，所述评分系统可以是EWS系统。此外，与评分系统相关的参数可以包括(例如)评分模型。利用针对与所述与评分系统有关的参数的推荐设置向CMD应用156所述临床警报算法。

在执行再生之后，对再生结果进行显示158或评估160。例如，所述评估可以包括判断估算是否达到了目标，例如，目标工作负荷。之后，可以显示162评估结果。或者，基于评估结果，可以对推荐警报设置进行修改或调谐，并且可以采用修改或调谐的警报设置再次执行上述操作。之后执行这一操作直到获得目标为止。在获得了目标的情况下，可以显示再生结果。

在一些实施例中，图7中图示的构成块152、154、156、158、160、162中的每个是用于执行对应功能的单元。用于执行块152、154、156、158、160、162中的每个的对应功能的机构包括以下之一：被编程为执行所述功能的至少一个处理器；被配置为执行所述功能的应用专属设备；以及通过相互协作而执行所述功能的至少一个处理器和应用专属设备的组合。

本文中使用的存储器包括任何存储数据的装置或系统，例如，随机存取存储器(RAM)或只读存储器(ROM)。此外，如本文中所采用的，处理器包括任何对输入数据进行处理以生成输出数据的装置或系统，例如，微处理器、微控制器、图形处理单元(GPU)、专用集成电路(ASIC)、FPGA等；控制器包括控制另一设备或系统的任何设备或系统，并且通常包括至少一个处理器；用户输入设备包括允许用户输入设备的用户向另一设备或系统提供输入的任何设备，例如鼠标或键盘；显示设备包括用于显示数据的任何设备，例如，液晶显示器(LCD)或发光二极管(LED)显示器。

已经参考优选实施例描述了本发明。他人在阅读和理解以上详细描述之后可以进行修改和变更。目标是，本发明被解释为包括所有这样的修改和变更，只要它们在所附权利要求或其等价方案的范围之内。