使用多模态数据的时间疾病状态比较

背景技术

在重症监护中，异常状况以快速的速率变化，并且非常密切地监测异常状况的趋势是重要的。为了跟踪医疗状况的变化，随着时间的推移拍摄多个图像并且将其与之前的图像进行比较以标识时间趋势，即，状况是否恶化、改善、解决或没有改变。

在当前工作流程中，比较在一时间跨度内拍摄的患者的两个图像(例如，胸部X射线(CXR))可能需要并排放置图像以标识一个或多个医疗状况的时间变化。对于临床医生(诸如重症监护病房(ICU)医生)来说，观察两个图像的变化是不切实际的，尤其是在存在多种疾病和合并症时。当变化不明显时，临床医生需要阅读CXR笔记(由放射科医生编写)并且找到描述变化的部分。这个耗时的过程可能很麻烦，特别是在需要快速干预的ICU中。此外，ICU医生对这两个图像的解释可能与放射科医生的解释不同。在这种情况下，医生可能会下令进行进一步的测试/调查以确保解释的连贯性，从而进一步延迟了诊断和治疗。

发明内容

示例性实施例涉及一种方法，该方法包括分析第一图像以确定第一图像中是否存在异常医疗状况，并且用指示在第一图像的区域中存在异常医疗状况的概率的第一热图来增强第一图像。该方法还包括分析第二图像以确定第二图像中是否存在异常医疗状况，并且用指示在第二图像的区域中存在异常医疗状况的概率的第二热图来增强第二图像。该方法还包括分析与第二图像相对应的基于文本的报告以提取与第二图像相对应的信息和第一图像与第二图像之间异常医疗状况的变化。该方法还包括在单个显示器上显示增强的第一图像、增强的第二图像和提取的信息。

示例性实施例还涉及一种计算机可读存储介质，该计算机可读存储介质包括在由处理器执行时执行上述方法的计算机程序。

示例性实施例还涉及一种系统，该系统包括被配置为存储多个影像检查的存储器，影像检查的至少一部分包括图像和对应的基于文本的图像报告。该系统还包括处理器，该处理器被配置为执行包括以下各项的操作：分析多个影像检查中的第一影像检查的第一图像以确定第一图像中是否存在异常医疗状况，用指示在第一图像的区域中存在异常医疗状况的概率的第一热图来增强第一图像，分析多个影像检查中的第二影像检查的第二图像以确定第二图像中是否存在异常医疗状况，用指示在第二图像的区域中存在异常医疗状况的概率的第二热图来增强第二图像，并且分析第二影像检查的对应的基于文本的报告以提取与第二图像相对应的信息和第一图像与第二图像之间异常医疗状况的变化。该系统还包括被配置为显示增强的第一图像、增强的第二图像和提取的信息的显示器。

附图说明

图1示出了根据本公开的各种示例性实施例的用于对患者数据中的异常状况的时间趋势进行可视化和注释的系统。

图2示出了示例性图像和通过用分类和可视化模块处理图像而生成的增强图像。

图3示出了描述时间疾病提取模块的功能的示例性流程。

图4示出了示例性疾病状态比较，该比较示出了两个增强图像，这两个增强图像表示在不同时间点拍摄的胸部X射线图像并且包括关于时间疾病状态的上下文信息。

图5示出了针对多个状况的示例性疾病状态比较。

图6示出了从在状况出现之前的时间到状况已经解决的时间的状况的示例性时间进展。

图7示出了根据本公开的各种示例性实施例的用于生成时间疾病比较的方法的流程图。

具体实施方式

可以参考以下描述和附图进一步理解示例性实施例，其中相同的元素用相同的附图标记表示。示例性实施例涉及用于可视化和注释患者数据中的异常状况的时间趋势的系统和方法，患者数据包括在时间跨度上进行的多个影像检查。在一个实施例中，时间趋势的紧凑表示在时间线中示出。示例性实施例标识图像中的异常状况并且将该状况可视化。此外，示例性实施例使用自然语言处理(NLP)、机器学习(ML)或深度学习(DP)技术从与图像相关联的放射学报告中提取相关信息，包括指示状况随时间的变化的日期和短语。多模态信息结合在时间疾病状态比较中，用于可视化异常情况的趋势。

此外，结构化信息(例如，日期、状况严重性等)和时间进展可以用于训练另外的诊断模型，诸如疾病进展模型和时间状态变化预测模型。例如，为给定状况而产生的注释信息可以用于调谐疾病进展模型并且生成有关疾病演变的预测信息。

将参考图像是胸部(CXR)图像来描述示例性实施例。然而，应当理解，CXR图像的使用仅仅是示例性的，并且示例性实施例可以应用于任何类型的图像或图像模态。此外，还参考使用基于卷积神经网络(CNN)的类激活映射算法用于可视化图像中的异常情况来描述示例性实施例。再一次，基于CNN的方法的使用仅仅是示例性的，并且关于示例性实施例可以采用任何已知的可视化方法。

图1示出了根据本公开的各种示例性实施例的用于可视化和注释患者数据中的异常状况的时间趋势的系统100。系统100包括处理器102，处理器102用于从影像检查110执行各种数据提取并且生成数据的时间趋势，这将在下面详细描述。系统100还包括存储器104，存储器104用于存储患者数据，具体地是在时间跨度内对患者的至少两个影像检查110。但是，患者数据可以具有任何数目的影像检查110-1至110-n。例如，一些患者可能有数十或数百个影像检查110，所有或部分这些检查与特定状况有关。影像检查110包括至少一个图像112和解释(多个)图像112的随附的放射学报告114。

系统100包括用于将患者状况输入系统100的用户界面106。系统100然后可以针对该状况分析影像检查110以生成时间状态比较并且在显示器108上将该比较呈现给用户，例如临床医生。显示器108被配置为显示增强的图像(例如，增强的X射线图像)以及随附的文本上下文。

处理器102执行由模块实现的三个处理功能，例如构成一个或多个程序的软件组件。每个都是由处理器102执行的应用(例如，程序)的处理功能仅是示例性的。与处理功能相关联的功能也可以表示为单独的并入组件，或者可以是模块化组件，例如，具有或不具有固件的集成电路。例如，集成电路可以包括用于接收信号的输入电路系统以及用于处理信号和其他信息的处理电路系统。处理功能也可以体现为一个应用或单独的应用。此外，针对处理器102而描述的功能可以在两个或更多个处理器之间拆分。示例性实施例可以以这些或其他配置中的任何一个来实现。

由处理器102实现的第一模块是分类和可视化模块116，分类和可视化模块116用于标识图像112中的异常状况并且在增强图像中可视化该状况。分类和可视化模块116通过提供表示图像中的给定区域包括状况的概率的热图来增强图像。分类和可视化模块116还用状况和获取图像的日期来标记增强图像。

分类和可视化模块116首先检测图像112中的异常医疗状况，例如疾病。分类和可视化模块116利用例如基于CNN的类激活映射模型(诸如Grad-CAM)检测图像112中的疾病。分类和可视化模块116可以经由UI 106被提供有状况或一类状况，从而引起处理器102通过CNN处理图像112以获取每个像素的原始得分，该原始得分指示特定像素属于该类的概率，即，状况存在于像素位置的概率。备选地，临床医生可以选择不指定特定状况，从而引起处理器102同时检测和分析与图像112中所示的解剖结构相关的所有状况。

一旦已经基于每个像素属于所分析的一类状况(或属于任何状况)的概率对图像112进行分析和评分，分类和可视化模块116接下来将得分应用于图像112以生成热图。热图通过用不同颜色、颜色深浅和颜色强度覆盖图像112来表示得分。例如，图像112的属于状况的概率较高的区域可以用红色来可视化，而图像112的属于状况的概率较低的区域可以用蓝色来可视化，其间具有不同颜色和颜色深浅以表示具有中间概率的区域。属于状况的概率特别高的区域可以用与具有中等高概率的区域相比具有更大强度的红色变化来可视化，并且属于状况的概率特别低的区域可以用与具有中等低概率的区域相比具有更大强度的蓝色变化来可视化。

除了上述特征之外，分类和可视化模块116还用状况的名称标记图像112并且另外用检查日期标记图像。图2示出了示例性X射线图像200和在图像200用分类和可视化模块116处理之后的增强图像210。图像200已经被分析以标识示出右侧胸腔积液的区域。增强图像210具有热图212，该热图212示出了可以发现右侧胸腔积液的区域，如上所述具有不同颜色、深浅和强度。图像210被标记有状况214(右侧胸腔积液)和检查日期216。当系统100正在分析任何状况并且检测到多个状况时，分类和可视化模块116为每个图像生成在其中检测到状况的增强图像。

分类和可视化模块116可以对任何数目的图像执行上述图像分析。例如，如果临床医生只对当前扫描与最近扫描之间的变化感兴趣，则可以只分析这两个图像检查。然而，如果临床医生对生成疾病的完整时间尺度感兴趣，则可以分析表示疾病不同时间点的多个图像。临床医生还可以为时间分析选择特定时间段。

当需要完整的时间分析时，分类和可视化模块116可以分析被分类为包含与感兴趣区域相关的图像112的影像检查110。例如，如果只需要CXR图像，则分类和可视化模块116将首先使用DICOM标记标识包含CXR图像的影像检查110，然后分析其中的图像112。

由处理器102实现的第二模块是时间疾病提取模块118，时间疾病提取模块118用于从与分析图像相关的放射科医师报告114中提取相关信息，即文本。时间疾病提取模块118利用NLP模型来提取描述当前检查与先前检查之间状况的时间变化的短语，该NLP模型可以是命名实体识别(NER)模型(例如，状况随机场(CRF)或具有CRF层的双向长短期记忆(BI-LSTM)网络(BI-LSTM-CRF模型))。例如，NLP模型可以标识和提取将状况描述为恶化、未改变、改善、解决、新的等的短语。此外，时间疾病提取模块118提取状况本身、当前检查的日期、和与当前检查进行比较以用于时间疾病状态比较的过去检查的日期。

NLP模型可以接收一组训练数据，包括已经手动标记的放射学报告。例如，报告可以具有描述以下各项的单词或短语的手动标签：状况(例如，水肿、心脏肿大、胸腔积液、气胸等)、时间状态(例如，新的、未改变、恶化、改善、解决等)、位置(右侧、左侧、上侧、下侧等)和日期(例如，2168-06-30)。训练数据可以用于训练NER模型(例如，BiLSTM-CNN-CRF模型)以从新的/未见的放射学报告中检测上述概念。此外，可以训练关系提取(RE)模型以标识哪个时间状态或位置单词与哪个状况相关联。

例如，图3示出了描述时间疾病提取模块118的功能的示例性流程。示出了示例性胸部X射线报告310(通常由放射科医师编写)，报告310包括医疗状况、状况的原因、先前的检查日期、发现等。报告310用NLP模型处理以从报告中提取相关概念，诸如320中所示的那些。NER模型可以检测“右侧”是位置单词，“胸腔积液”是状况，“完全解决”是时间状态，RE模型可以检测到“右侧”修饰“胸腔积液”并且时间状态“完全解决”也修饰“胸腔积液”。同样，NER模型可以检测到“左侧”是位置单词，“胸腔积液”是状况，“持续存在”和“程度有所增加”是时间状态。因此，关系提取模型可以检测位置单词“左侧”和时间状态词“持续存在”和“程度有所增加”在同一句子中修饰状况“胸腔积液”。

所提取的与右侧胸腔积液相关的概念330示出为i)过去的检查日期，ii)当前检查日期，iii)状况，以及iv)时间状态，以用于时间疾病状态比较。

由处理器102实现的第三模块是多模态疾病状态比较模块120。比较模块120将从分类和可视化模块116以及时间疾病状态提取模块118中提取的数据融合成状况随时间的变化的紧凑表示。图4示出了示例性疾病状态比较400，疾病状态比较400示出了表示在不同时间点拍摄的胸部X射线图像的两个增强图像410、420，比较400还包括关于自拍摄前一图像以来的时间疾病状态的时间上下文信息430。尽管图4并排示出了增强图像410、420，但在第二实施例中，增强图像410、420可以以嵌套方式显示，即一个图像在另一图像之后。当多于两个增强图像被比较时，可以使用第二实施例，使得图像易于访问但不会使显示器不堪重负。

疾病状态比较400中所示的两个图像410、420已经由分类和可视化模块116生成，并且因此包括热图层、状况信息和检查日期信息，如上所述。第一图像410是图2所示的增强图像210，示出了右侧胸腔积液和检查日期以及严重性热图。稍后拍摄的第二图像420也已经由分类和可视化模块116生成。然而，因为状况已经解决，所以热图层完全示出为蓝色，即增强图像210所基于的x射线图像中没有像素示出了右侧胸腔积液状况。因此，没有状况标签。

时间上下文信息430示出状况已经完全解决。该信息430已经从时间疾病提取模块118中导出，如关于图3所示。

因此，系统100通过在时间跨度内拍摄的图像中的状况的可视化来提供状况中的时间趋势的紧凑表示。临床医生(诸如ICU医生)可以快速标识变化并且确保放射科医生与医生之间的解释一致。如果ICU医生对两个图像的解释与放射科医师的报告不一致，则可能会迅速下令进一步测试以澄清不一致之处。

在另一实施例中，系统100可以分析任何状况，而不是分析由例如临床医生提供的特定状况。图5示出了多个状况的示例性时间进展500，即水肿、心脏肿大和胸腔积液。为图像510-550中的任何一个中所示的每个状况创建单独的时间趋势。例如，图像510将胸腔积液状况示出为“新的”状况。与图像510相比，图像520将胸腔积液状况示出为“恶化”，并且将水肿状况示出为“新的”。与图像520相比，图像530将水肿状况示出为“恶化”。与图像530相比，图像540将水肿状况示出为“改善”，而将心脏肥大状况示出为“新的”。与图像540相比，图550将心脏肥大状况示出为“改善”。注意，由分类和可视化模块116提供的热图从时间进展500中省略，然而，在另一实施例中，它们可以被包括在内。然而，在包括热图的多状况时间分析中，为每个状况生成单独的增强图像，以示出特定状况的热图表示。

时间趋势的第三表示也可以由系统100生成。图6示出了从状况出现之前的时间到状况已经解决的时间的状况的示例性时间进展600。

图像610-650示出了以不同于上述方式的备选方式而增强的X射线图像。在时间进展600中，图像610-650具有基于时间状态而不是仅仅基于图像的存在而着色的部分，如下面将更详细描述的。例如，第二图像620示出了在任何先前图像中都没有出现的肺水肿，而第三图像630示出了恶化的肺水肿(与第二图像620相比)，并且第四图像640示出了改善的肺水肿(相比到第三图像630)。第一图像610和第五图像650示出了正常的肺部，没有肺水肿。

图像610-650都已经由分类和可视化模块116以与上述方式类似的方式分析以标识和评分图像像素中疾病的潜在存在。然而，代替生成如图2所示的热图，图像610-650基于图像之间状况的变化来用颜色进行区分。例如，第二图像620具有例如为粉红色的区域以示出新的状况，而第三图像530具有例如为红色的区域以示出恶化的状况。第四图像640具有例如为橙色的区域以示出改善的状况，第五图像650具有例如为绿色的区域以示出解决的状况，即正常的肺部。在肺水肿出现之前捕获的第一图像610也可以具有为绿色的区域以示出不存在状况。备选地，第一图像610可以不包括任何颜色。

因此，也可以使用针对生成图2的热图而描述的图像分析和评分，然而，图6所示的图像被不同地处理和增强以示出比较的颜色编码。图像610-650可以以与关于图4描述的方式类似的方式来标记/注释。

本文所述的各种图像的显示可以被配置为使得图像和提取的信息以相对于彼此的任何数目的方式或排列来定位，例如，改变窗口的水平、垂直或混合布置，例如。此外，如前所述，可以使用嵌套显示来代替并排显示。

图7示出了根据本公开的各种示例性实施例的用于生成时间疾病比较的方法的流程图700。

在705中，将当前影像检查(例如，影像检查110-1)存储在存储器104上。如前所述，存储器104可以存储患者的任何数目的影像检查110，影像检查110与单个状况或任何数目的状况有关。当前影像检查110-1包括至少一个图像112-1和通常由放射科医师编写的随附的报告114-1。

在710中，处理器102经由时间疾病状态提取模块118分析报告114-1，并且从报告114-1中提取文本概念，该文本概念包括过去的检查日期(当前检查与之比较)、当前检查日期、正在评估的状况和状况的时间状态(例如，改善、恶化等)。

在715中，处理器102从存储器104中取回先前影像检查，例如影像检查110-2。先前影像检查110-2是报告114-1中的过去的检查日期所引用的检查。先前影像检查110-2包括至少一个图像112-2。先前影像检查110-2还可以包括随附的报告114-2，然而，这不是执行当前描述的实施例所必需的。在当前描述的实施例中，仅评估两个影像检查110-1与110-2之间的差异，并且该文本评估可以在当前影像检查110-1的报告114-1中找到。即使先前影像检查110-2的报告114-2包含与甚至更早时间的影像检查相关的时间语言，例如在过去的影像检查110-3中，则这种比较影像检查110-2和110-3的时间评估对于当前描述的实施例将是不重要的。

在720中，处理器102经由分类和可视化模块116分析图像112-1和112-2。如前所述，处理器102可以实现例如基于CNN的类激活映射模型以确定图像(例如，图像112-1和112-2)中是否存在状况，并且用热图增强图像112-1和112-2中的每个，该热图在逐像素的基础上指示图像112-1和112-2中存在状况的概率。此外，分类和可视化模块116用检查的状况和日期标记增强图像，如前所述。

在725中，处理器102将模块116和118的输出组合成时间疾病状态比较，例如图4所示的疾病状态比较400。疾病状态比较400包括图像112-1和112-2的增强版本，例如图4所示的图像410和420。图像410和420包括指示所分析的状况存在的概率的热图、日期标签和状况标签(如果状况存在)。此外，时间疾病状态比较包括从报告114-1中提取的时间语言，时间语言与当前影像检查110-1和先前影像检查110-2之间的状况演变有关。

在730中，处理器102在显示器108上显示时间疾病状态比较，以供临床医生(例如ICU临床医生)快速地紧凑地查看。

上述示例性实施例(包括图像分析和相关联的文本标记)可以用作用于进一步建模的训练数据。例如，神经网络通常需要分析和标签来训练网络。因此，时间状态疾病比较可以用于训练例如疾病进展模型或时间状态变化预测模型。例如，时间状态变化预测模型可以用于例如基于训练数据来预测尚未解决的疾病的演变，包括已经完全解决的疾病的演变。

虽然本发明已经在附图和前述描述中详细说明和描述，但是这样的说明和描述应当被认为是说明性的或示例性的而不是限制性的；本发明不限于所公开的实施例。通过研究附图、公开内容和所附权利要求，本领域技术人员在实践要求保护的发明时可以理解和实现对所公开的实施例的其他变化。在权利要求中，“包括”一词不排除其他元件或步骤，并且不定冠词“一个(a)”或“一个(an)”不排除复数。单个处理器或其他单元可以实现权利要求中列举的若干项的功能。在相互不同的从属权利要求中列举了某些措施这一事实并不表明这些措施的组合不能有利地使用。计算机程序可以存储/分布在合适的介质上，诸如与其他硬件一起提供或作为其一部分而提供的光存储介质或固态介质，但也可以以其他形式分布，诸如经由互联网或其他有线或无线电信系统。权利要求中的任何附图标记都不应当被解释为限制范围。