医学报告生成方法以及相关装置、设备

技术领域

本申请涉及报告生成技术领域，特别是涉及医学报告生成方法以及相关装置、设备。

背景技术

随着深度学习的发展，神经网络给计算机视觉、自然语言处理、语音处理等诸多领域带来了重大的进展。在医学领域有着大量的影像和文本数据，为基于大数据的深度学习提供了良好的研究基础。医学图像报告的撰写需要医生具有专业的医学知识、阅读医学图像以及专业影像报告的撰写能力，涉及到知识工程、计算机视觉和自然语言处理等诸多领域。

近些年来有不少工作聚焦于利用深度学习技术实现从医学图像到医学文本的生成，该类系统对输入的医学图像进行病灶检测与识别、指标一致性检测、自然语言报告生成等步骤，最终生成完整的医学图像报告。

现有的医学图像报告生成系统主要为单张医学图像的报告生成，或者为单一病灶的多视角图像的医学图像报告自动生成，适用范围单一。

发明内容

本申请至少提供医学报告生成方法以及相关装置、设备。

本申请提供了一种医学报告生成方法，包括：获取到目标对象的多张医学图像；分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据；对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据；基于每种指标数据中的目标指标数据，生成医学报告。

因此，通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，最后基于每种指标数据中的目标指标数据生成医学报告，能够对多张医学图像的特征信息进行分析综合，提高医学报告对目标对象分析的多样性和全面性，并通过筛选目标指标数据减少特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

其中，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据的步骤包括：分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据；基于目标对象的类型对多个特征数据进行分类，得到多种指标数据。

因此，分别对各医学图像行特征提取，得到多个特征数据，再基于目标对象的类型对多个特征数据进行分类，得到多种指标数据，能够综合多张医学图像的特征数据进行报告生成，提高医学报告的多样性和全面性。

其中，分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据的步骤包括：通过图像特征提取模型的编码器分别对各医学图像中的目标对象进行特征提取，得到各目标对象的多个特征数据；基于目标对象的类型对多个特征数据进行分类，得到多种指标数据的步骤包括：基于目标对象的类型通过图像特征提取模型的多个分类器分别对多个特征数据进行分类，得到多种指标数据。

因此，通过图像特征提取模型的编码器对各医学图像中的目标对象进行特征提取，再分别通过图像特征提取模型的多个分类器对多个特征数据进行分类，得到多种指标数据，能够通过同一个编码器对医学图像中的目标对象进行特征提取，得到的特征数据提供给多个分类器，以进行多个分类任务，能够使得编码器利用多个分类任务的信息学习到更好的向量表示，进而提高特征提取的准确率和效率，进而提高医学报告生成的可靠性和效率。

其中，对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据的步骤包括：从多种指标数据中筛选出每种指标数据的极值数据；将每种指标数据的极值数据确定为对应指标数据中的目标指标数据。

因此，将极值数据确定为每种指标数据中的目标指标数据，能够减少指标数据信息冗余的同时，提高目标指标数据的有效性和针对性。

其中，基于每种指标数据中的目标指标数据，生成医学报告的步骤包括：利用报告生成模型基于每种指标数据中的目标指标数据生成医学报告。

因此，利用模型自动基于每种指标数据中的目标指标数据生成医学报告，提高医学报告生成的效率和速度。

其中，利用报告生成模型基于每种指标数据中的目标指标数据，生成医学报告的步骤包括：将每种指标数据中的目标指标数据输入到报告生成模型的编码器，通过编码器对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量；将数据向量输入到报告生成模型的解码器，通过解码器对数据向量进行解码，得到医学报告。

因此，利用报告生成模型的编码器和解码器将表格数据转换为通过自然语言进行描述的医学报告，能够自动对表格数据中冗余的信息进行合并描述，减少不必要的信息，提高医学报告对目标对象的生理情况表达的有效性和针对性。

其中，通过编码器对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量的步骤包括：通过编码器中相互级联的多层编码层对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量。

因此，通过编码器中相互级联的多层编码层对每种指标数据中的目标指标数据进行编码，提高对目标指标数据编码解析力度，得到多维数据向量，便于基于多维数据向量进行报告生成。

其中，通过解码器对数据向量进行解码，得到医学报告的步骤包括：获取经编码器编码后的数据向量；分别对经编码器编码后的数据向量进行加权；通过解码器对加权后的数据向量进行解码，得到医学报告。

因此，通过获取经编码器编码后的数据向量避免了解码器获取到未经编码器编码的数据，造成数据紊乱的情况发生，提高解码器解码的准确性。对经编码器编码后的数据向量进行加权，使得编码器编码后的数据向量能够与最后输出的医学报告中的文字进行对应，从而提高医学报告的连贯性和准确性。

其中，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据的步骤包括：对各医学图像进行划分，得到分别包括目标对象的各特征部位的医学子图像；分别对各特征部位对应的医学子图像进行特征提取，得到各特征部位的多种指标数据；对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据的步骤包括：分别对各特征部位的多种指标数据，得到各特征部位的每种指标数据中的目标指标数据；基于每种指标数据中的目标指标数据，生成医学报告的步骤包括：基于各特征部位的每种指标数据中的目标指标数据，生成包括目标对象的各特征部位的医学报告。

因此，对各医学图像中的目标对象进行特征提取时，可以先将各医学图像进行划分，得到目标对象的各个特征部位的医学子图像，再分别对划分后的医学子图像进行特征提取，得到目标对象的各个特征部位的指标数据能够进一步适用于目标对象存在多病灶的情况。当目标对象的不同特征部位存在不同病灶时，通过对目标对象进行划分，能够分别得到不同病灶的指标数据，适用多病灶的目标对象的医学报告生成。

其中，获取到目标对象的多张医学图像的步骤包括：获取到淋巴结的多张淋巴医学图像；分别对各淋巴医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据的步骤包括：分别对各淋巴医学图像中的淋巴结进行特征提取，得到淋巴结的多种指标数据；对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据的步骤包括：对淋巴结的多种指标数据进行筛选，确定每种指标数据中的目标指标数据；基于每种指标数据中的目标指标数据，生成医学报告的步骤包括：基于每种指标数据中的目标指标数据，生成医学报告。

因此，通过获取到多张淋巴医学图像，分别对各淋巴医学图像中的淋巴结进行特征提取，得到淋巴结的多种指标数据，再对淋巴结的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，最后基于每种指标数据中的目标指标数据生成医学报告，能够对多张淋巴医学图像的特征信息进行分析综合，提高淋巴医学报告对淋巴结分析的多样性和全面性，并通过筛选目标指标数据减少特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

本申请还提供了一种医学报告生成装置，包括：获取模块，用于获取到目标对象的多张医学图像；特征提取模块，用于分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据；筛选模块，用于对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据；生成模块，用于基于每种指标数据中的目标指标数据，生成医学报告。

本申请还提供了一种电子设备，包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述医学报告生成方法。

本申请还提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述医学报告生成方法。

上述方案，能够提高医学报告的多样性和全面性，并提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。

图1是本申请医学报告生成方法一实施例的流程示意图；

图2是本申请医学报告生成方法另一实施例的流程示意图；

图3是本申请医学报告生成装置一实施例的框架示意图；

图4是本申请电子设备一实施例的框架示意图；

图5为本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。

请参阅图1，图1是本申请医学报告生成方法一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S11：获取到目标对象的多张医学图像。

获取到目标对象的多张医学图像。本实施例的目标对象为活体对象的身体部位，可以包括人体器官、人体组织、人体肢体、动物肢体、动物器官、动物组织等，例如：肺、肝、头颅、皮肤、淋巴结、骨头等，具体的目标对象可以基于实际需求进行设置，在此不做限定。

其中，当获取到目标对象的多张医学图像时，各医学图像中包含的目标对象为相同类型的目标对象，其数量可以为一个或多个，例如：各医学图像为同一个肝脏的不同部位的医学图像，例如：各医学图像分别包括不同的淋巴结，但各医学图像中的目标对象都为淋巴结。

在一个具体的应用场景中，当目标对象为同一个时，多张医学图像可以分别包括同一目标对象的局部图像或全局图像。在另一个具体的应用场景中，当目标对象为多个相同类型的目标对象时，多张医学图像可以分别包括不同但类型相同的目标对象的局部图像或全局图像。其中，当目标对象为同一个时，目标对象可以指一个活体对象内仅有一个相应的目标对象，例如心、头颅、肝等，当目标对象为多个相同类型的目标对象时，目标对象可以指一个活体对象内有多个相同的目标对象，例如淋巴结、毛囊等。

其中，医学图像的类型可以包括常规RGB图像、B超图像、CT图像或X光图像等，医学图像的具体类型可以基于目标对象的类型进行确定，在此不做限定。

步骤S12：分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据。

分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据。其中，目标对象的多种指标数据可以包括目标对象的大小、类型、边缘、形状、曲度、平滑度等指标类型，具体的指标数据的类型基于目标对象的类型进行确定。例如：当目标对象为淋巴结时，本步骤的特征提取得到的可以为淋巴结的大小、类型、边缘等指标数据；而目标对象为颈椎时，本步骤的特征提取得到的可以为颈椎的形状、曲度等指标数据。

在一个具体的实施方式中，可以通过预先训练好的图像特征提取模型分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据。其中，图像特征提取模型可以以卷积神经网络(CNN)、递归神经网络(RNN)、深信度网络(DBN)、深度自动编码器(AutoEncoder)和生成对抗网络(GAN)等深度神经网络为基础，通过相关训练图像以及训练标签进行训练得到。

在另一个具体的实施方式中，可以接收人工对各医学图像的特征提取，从而得到目标对象的多种指标数据。具体的特征提取方法在此不做限定。

步骤S13：对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据。

获取到目标对象的多种指标数据后，对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据。其中，目标指标数据指的是每种指标数据中能够反映目标对象生理情况的数据。例如：当指标数据的类型为尺寸时，目标指标数据可以包括不在预设尺寸范围内的尺寸数据；当指标数据的类型为曲度时，目标指标数据可以包括曲度最大的曲度数据。其中，预设尺寸范围为目标对象正常生理范围内的尺寸。目标指标数据的具体类型在此不做限定。

在一个具体的实施方式中，可以利用预先训练好的特征筛选模型进行筛选。其中，特征筛选模型可以基于指标数据的类型、指标数据样本以及指标数据标签进行训练得到。

在另一个具体的实施方式中，也可以按照预设规则直接确定每种指标数据中的目标指标数据。其中，预设规则包括基于指标数据的类型筛选指标数据中的极值。例如：当目标对象的指标数据为结节的尺寸，则基于选取最大结节的预设规则，将最大尺寸的结节的尺寸作为目标指标数据。当目标对象的指标数据为皮肤的平滑度，则基于选取最粗糙皮肤的预设规则将平滑度最大的皮肤的平滑度作为目标指标数据。

步骤S14：基于每种指标数据中的目标指标数据，生成学报告。

获取到每种指标数据中的目标指标数据后，基于每种指标数据中的目标指标数据生成医学报告。本实施例的医学报告综合了目标对象对应每种指标数据中的目标指标数据，进而综合目标对象的生理情况，进而便于医生、患者或其他相关人员进行阅读。

通过上述步骤，本实施例的医学报告生成方法通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，最后基于每种指标数据中的目标指标数据生成医学报告，能够对多张医学图像的特征信息进行分析综合，提高医学报告对目标对象分析的多样性和全面性，并通过筛选目标指标数据减少特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

请参阅图2，图2是本申请医学报告生成方法另一实施例的流程示意图。具体而言，可以包括如下步骤：

步骤S21：获取到目标对象的多张医学图像。

本步骤与前述实施例的步骤S11相同，请参阅前文，在此不再赘述。

步骤S22：分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据；基于目标对象的类型对多个特征数据进行分类，得到多种指标数据。

获取到多张医学图像后，分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据，而，特征数据可以包括目标对象的大小、曲度、平滑度、形状等生理特征数据。在此不做限定。

得到目标对象的多个特征数据后，基于目标对象的类型对多个特征数据进行分类，得到多种指标数据。

由于在医学领域，不同类型的目标对象所需要进行分析的医学指标不同，而多个特征数据里可以包括不是目标对象所需的指标数据，因此，在对多个特征数据进行分类时，可以基于不同类型的目标对象分别所需的医学指标数据的类型对多个特征数据的类型进行划分归类，从而得到目标对象所需的多种指标数据。

其中，目标对象的类型是基于医学对活体对象的组成结构的分类进行划分得到的，例如：目标对象的类型可以包括肺、肝、头颅、皮肤、淋巴结、骨头等，每个类型的目标对象表示活体对象的一种组成结构。

其中，本步骤对基于多张医学图像得到的特征数据统一进行分类，得到目标对象的多种指标数据，能够综合多张医学图像的特征信息进行报告生成，避免对医学图像的单一化分析，提高医学报告的信息多样化，适用于多病灶的、多目标对象的医学报告生成场景。

在一个具体的实施方式中，可以通过图像特征提取模型的编码器分别对各医学图像中的目标对象进行特征提取，得到各目标对象的多个特征数据；再基于目标对象的类型通过图像特征提取模型的多个分类器分别对多个特征数据进行分类，得到多种指标数据。其中，图像特征提取模型的分类器的数量可以与多种指标数据的种类数量一一对应。

通过同一个编码器对医学图像中的目标对象进行特征提取，得到的特征数据提供给多个分类器，以进行多个分类任务，能够使得编码器利用多个分类任务的信息学习到更好的向量表示，进而提高特征提取的准确率和效率，进而提高医学报告生成的可靠性和效率。

在一个具体的应用场景中，图像特征提取模型可以是预先基于与目标对象类型相同的训练对象进行训练得到的。图像特征提取模型包括相互级联的编码器和多个分类器。

在一个具体的实施方式中，对各医学图像中的目标对象进行特征提取时，可以先将各医学图像进行划分，得到目标对象的各个特征部位的医学子图像，再分别对划分后的医学子图像进行特征提取，得到目标对象的各个特征部位的指标数据。其中，医学图像的划分依据可以基于目标对象的常见病灶区域或人工经验进行划分。例如：可以按照淋巴结所在的左颈部、右颈部、左锁骨上窝、右锁骨上窝部位对医学图像进行划分；可以按照心脏的左心房、左心室、右心房、右心室位置对医学图像进行划分。

而本步骤得到的多种指标数据也可以基于目标对象的各个特征部位进行对应特征提取。指标数据的分类也可以基于所对应目标对象的各个特征部位的不同进行分类，例如：淋巴结的尺寸指标可以被划分为左颈部的淋巴结尺寸、右颈部的淋巴结尺寸、左锁骨上窝的淋巴结尺寸以及右锁骨上窝的淋巴结尺寸。

本实施例基于目标对象的各特征部位进行对应特征提取能够进一步适用于目标对象存在多病灶的情况。当目标对象的不同各个特征部位存在不同病灶时，通过对目标对象进行划分，能够分别得到不同病灶的指标数据，适用多病灶的目标对象的医学报告生成。

在一个具体的应用场景中，本步骤得到的多种指标数据可以通过表格形式进行展示，从而便于指标数据的内容呈现。

步骤S23：从多种指标数据中筛选出每种指标数据的极值数据；将每种指标数据的极值数据确定为对应指标数据中的目标指标数据。

得到目标对象的多种指标数据后，从多种指标数据中筛选出每种指标数据的极值数据；将每种指标数据的极值数据确定为对应指标数据中的目标指标数据。其中，每种指标数据的极值数据最能够反应目标对象的生理情况，例如：最大尺寸的结节、最弯曲的曲度的脊椎等，因此将每种指标数据的极值数据确定为对应指标数据中的目标指标数据，能够减少指标数据信息冗余的同时，提高目标指标数据的有效性和针对性。

而基于目标对象的类型的不同，极值数据中最能够反应目标对象的生理情况的数据也不同。有时是极大值，而有时则是极小值。因此，本步骤可以基于目标对象的类型选取不同的极值数据作为每种指标数据中的目标指标数据。

在一个具体的应用场景中，可以通过预先基于与目标对象对应的多种指标数据相同的指标数据进行训练得到特征筛选模型，特征筛选模型包括多个抽取器，其中，抽取器的数量与目标对象对应的多种指标数据的类型数量可以对应相同，以便于分别通过抽取器一一对每种指标数据进行筛选。

本步骤中可以通过训练好的特征筛选模型的多个抽取器从多种指标数据中筛选出每种指标数据的极值数据；将每种指标数据的极值数据确定为对应指标数据中的目标指标数据。

在一个具体的应用场景中，本步骤可对表格形式的多种指标数据进行筛选，得到多个目标指标数据，从而缩减表格长度并提高表格内容对目标对象生理情况的针对性。

在一个具体的应用场景中，当多种指标数据是基于目标对象的各特征部位对医学图像进行划分后进行对应特征提取后得到的，本步骤也基于目标对象的各特征部位对多种指标数据中的目标指标数据进行筛选，从而得到各特征部位的每种指标数据中的目标指标数据，进而细化目标对象的目标指标数据，提高后续医学报告的详细程度。例如：淋巴结的尺寸指标包括左颈部的淋巴结尺寸、右颈部的淋巴结尺寸、左锁骨上窝的淋巴结尺寸以及右锁骨上窝的淋巴结尺寸时，筛选出左颈部最大的淋巴结尺寸、右颈部最大的淋巴结尺寸、左锁骨上窝最大的淋巴结尺寸以及右锁骨上窝最大的淋巴结尺寸分别作为对应的目标指标数据。

步骤S24：利用报告生成模型基于每种指标数据中的目标指标数据，生成医学报告。

得到每种指标数据中的目标指标数据后，利用报告生成模型基于每种指标数据中的目标指标数据生成医学报告。

在一个具体的实施方式中，将每种指标数据中的目标指标数据输入到报告生成模型的编码器，通过编码器对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量，再将数据向量输入到报告生成模型的解码器，通过解码器对数据向量进行解码，得到医学报告。其中，编码器可以包括BERT编码器和其他编码器，解码器可以包括BERT解码器和其他解码器。

在一个具体的实施方式中，本步骤的报告生成模型包括相互级联的BERT编码器和BERT解码器。

在一个具体的应用场景中，本实施例的图像特征提取模型、特征筛选模型、报告生成模型可以分别为独立的三个模型，依次对医学图像及其对应的数据进行处理，生成医学报告。在另一个具体的应用场景中，图像特征提取模型、特征筛选模型、报告生成模型可以同为一个网络模型的部分结构，共同构成一整个网络模型，从而通过该网络模型的三个部分依次对医学图像及其对应的数据进行处理，生成医学报告。

具体地，在一个具体的应用场景中，编码时，可以通过BERT编码器中相互级联的多层编码层对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量。其中，将每种指标数据中的目标指标数据输入到第一层编码层中进行编码，得到的输出输入第二层编码层中进行编码，再将得到的输出输入第三层编码层中进行编码，依次类推...直至得到最后一层编码层的输出。编码层的数量和类型在此不做限定。

其中，多层编码层可以包括12层transformer编码层，每层transformer编码层共有12个注意力头。其中，将每种指标数据中的目标指标数据输入到第一层transformer编码层中进行编码，得到的输出输入第二层transformer编码层中进行编码，再将得到的输出输入第三层transformer编码层中进行编码，依次类推...直至得到第十二层transformer编码层的输出。

在一个具体的应用场景中，解码时，获取经BERT编码器编码后的数据向量，分别对经BERT编码器编码后的数据向量进行加权，通过BERT解码器对加权后的数据向量进行解码，得到医学报告。

在一个具体的应用场景中，BERT编码器将表格形式的目标指标数据编码成数据向量，再通过BERT编码器将数据向量解码成文字形式的医学报告。其中，文字形式的医学报告是指基于目标指标数据通过文字的形式描述目标对象的生理情况，语句通顺，便于理解。本步骤通过将表格数据转换为通过自然语言进行描述的医学报告，能够自动对表格数据中冗余的信息进行合并描述，减少不必要的信息，提高医学报告对目标对象的生理情况表达的有效性和针对性。

在一个具体的实施方式中，可以先利用BERT解码器的Mask机制获取经BERT编码器编码后的数据向量，再利用BERT解码器的注意力机制分别对经BERT编码器编码后的数据向量进行加权，最后通过BERT解码器对加权后的数据向量进行解码，得到医学报告。

其中，利用Mask机制遮挡未经BERT编码器编码的数据，从而使得BERT解码器获取经BERT编码器编码后的数据向量，避免了BERT解码器获取到未经BERT编码器编码的数据，造成数据紊乱的情况发生，提高BERT解码器解码的准确性。而利用BERT解码器的注意力机制分别对经BERT编码器编码后的数据向量进行加权，使得BERT编码器编码后的数据向量能够与最后输出的医学报告中的文字进行对应，从而提高医学报告的连贯性和准确性。其中，注意力机制的具体加权规则可以在报告生成模型的训练中，基于训练样本和训练标签进行确定。

在其他实施例中，获取经BERT编码器编码后的数据向量以及分别对经BERT编码器编码后的数据向量进行加权的具体方法也可以采用其他手段进行，在此不做限定。

在一个具体的应用场景中，基于目标对象的各特征部位对医学图像进行划分，从而得到目标对象的不同特征部位对应的目标指标数据，能够对多个病灶目标指标数据进行结构化处理，最后基于不同特征部位的目标对象对应的目标指标数据得到医学报告，能够综合目标对象的多个病灶情况，加强对目标对象的生理情况的分析力度，从而提高医学报告的全面性和可靠性。

在一个具体的实施方式中，当目标对象为淋巴结时，本实施例可以包括获取到淋巴结的多张淋巴医学图像，依次对各淋巴医学图像中的淋巴结进行特征提取，得到各淋巴结的多种指标数据，对各淋巴结的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，基于每种指标数据中的目标指标数据生成医学报告，从而能够对多张淋巴医学图像中各淋巴结的特征信息进行分析综合，提高医学报告对淋巴结分析的多样性和全面性，并通过筛选目标指标数据减少淋巴结的特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告对淋巴结的生理情况展示。

通过上述步骤，本实施例的医学报告生成方法通过基于目标对象的类型分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据，再对多个特征数据进行分类，得到多种指标数据，能够综合多张医学图像的特征信息进行报告生成，避免对医学图像的单一化分析，提高医学报告的信息多样化，适用于多病灶的、多目标对象的医学报告生成场景；本实施例从多种指标数据中筛选出每种指标数据的极值数据；基于目标对象的类型利用极值数据确定每种指标数据中的目标指标数据，最后基于利用报告生成模型基于每种指标数据中的目标指标数据生成医学报告，能够减少指标数据信息冗余的同时，提高目标指标数据的有效性和针对性，提高医学报告对目标对象的生理情况表达的有效性和针对性。

请参阅图3，图3是本申请医学报告生成装置一实施例的框架示意图。医学报告生成装置30包括获取模块31、特征提取模块32、筛选模块33和生成模块34。获取模块31，用于获取到目标对象的多张医学图像；特征提取模块32，用于分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据；筛选模块33，用于对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据；生成模块34，用于基于每种指标数据中的目标指标数据，生成医学报告。

上述方案，通过获取到目标对象的多张医学图像，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据，再对目标对象的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，最后基于每种指标数据中的目标指标数据生成医学报告，能够对多张医学图像的特征信息进行分析综合，提高医学报告对目标对象分析的多样性和全面性，并通过筛选目标指标数据减少特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

在一些公开实施例中，分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据；基于目标对象的类型对多个特征数据进行分类，得到多种指标数据。

区别于前述实施例，基于目标对象的类型分别对各医学图像行特征提取，得到多个特征数据，再基于目标对象的类型对多个特征数据进行分类，得到多种指标数据，能够综合多张医学图像的特征数据进行报告生成，提高医学报告的多样性和全面性。

在一些公开实施例中，分别对各医学图像中的目标对象进行特征提取，得到各医学图像中的目标对象的多个特征数据的步骤包括：通过图像特征提取模型的编码器分别对各医学图像中的目标对象进行特征提取，得到各目标对象的多个特征数据；基于目标对象的类型对多个特征数据进行分类，得到多种指标数据的步骤包括：基于目标对象的类型通过图像特征提取模型的多个分类器分别对多个特征数据进行分类，得到多种指标数据。

区别于前述实施例，通过图像特征提取模型的编码器对各医学图像中的目标对象进行特征提取，再分别通过图像特征提取模型的多个分类器对多个特征数据进行分类，得到多种指标数据，能够通过同一个编码器对医学图像中的目标对象进行特征提取，得到的特征数据提供给多个分类器，以进行多个分类任务，能够使得编码器利用多个分类任务的信息学习到更好的向量表示，进而提高特征提取的准确率和效率，进而提高医学报告生成的可靠性和效率。

在一些公开实施例中，对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据的步骤包括：从多种指标数据中筛选出每种指标数据的极值数据；将每种指标数据的极值数据确定为对应指标数据中的目标指标数据。

区别于前述实施例，将极值数据确定为每种指标数据中的目标指标数据，能够减少指标数据信息冗余的同时，提高目标指标数据的有效性和针对性。

在一些公开实施例中，基于每种指标数据中的目标指标数据生成医学报告的步骤包括：利用报告生成模型基于每种指标数据中的目标指标数据生成医学报告。

区别于前述实施例，利用模型自动基于每种指标数据中的目标指标数据生成医学报告，提高医学报告生成的效率和速度。

在一些公开实施例中，利用报告生成模型基于每种指标数据中的目标指标数据生成医学报告的步骤包括：将每种指标数据中的目标指标数据输入到报告生成模型的编码器，通过编码器对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量；将数据向量输入到报告生成模型的解码器，通过解码器对数据向量进行解码，得到医学报告。

区别于前述实施例，利用报告生成模型的编码器和解码器将表格数据转换为通过自然语言进行描述的医学报告，能够自动对表格数据中冗余的信息进行合并描述，减少不必要的信息，提高医学报告对目标对象的生理情况表达的有效性和针对性。

在一些公开实施例中，通过编码器对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量的步骤包括：通过编码器中相互级联的多层编码层对每种指标数据中的目标指标数据进行编码，得到每种指标数据中的目标指标数据的数据向量。

区别于前述实施例，通过编码器中相互级联的多层编码层对每种指标数据中的目标指标数据进行编码，提高对目标指标数据编码解析力度，得到多维数据向量，便于基于多维数据向量进行报告生成。

在一些公开实施例中，通过解码器对数据向量进行解码，得到医学报告的步骤包括：获取经编码器编码后的数据向量；分别对经编码器编码后的数据向量进行加权；通过解码器对加权后的数据向量进行解码，得到医学报告。

区别于前述实施例，通过获取经编码器编码后的数据向量避免了解码器获取到未经编码器编码的数据，造成数据紊乱的情况发生，提高解码器解码的准确性。对经编码器编码后的数据向量进行加权，使得编码器编码后的数据向量能够与最后输出的医学报告中的文字进行对应，从而提高医学报告的连贯性和准确性。

在一些公开实施例中，分别对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据的步骤包括：对各医学图像进行划分，得到分别包括目标对象的各特征部位的医学子图像；分别对各特征部位对应的医学子图像进行特征提取，得到各特征部位的多种指标数据；对目标对象的多种指标数据进行筛选，得到每种指标数据中的目标指标数据的步骤包括：分别对各特征部位的多种指标数据，得到各特征部位的每种指标数据中的目标指标数据；基于每种指标数据中的目标指标数据，生成医学报告的步骤包括：基于各特征部位的每种指标数据中的目标指标数据，生成包括目标对象的各特征部位的医学报告。

区别于前述实施例，对各医学图像中的目标对象进行特征提取时，可以先将各医学图像进行划分，得到目标对象的各个特征部位的医学子图像，再分别对划分后的医学子图像进行特征提取，得到目标对象的各个特征部位的指标数据能够进一步适用于目标对象存在多病灶的情况。当目标对象的不同特征部位存在不同病灶时，通过对目标对象进行划分，能够分别得到不同病灶的指标数据，适用多病灶的目标对象的医学报告生成。

在一些公开实施例中，获取到多张医学图像，其中，各医学图像中包括目标对象的步骤包括：获取到多张淋巴医学图像，其中，各淋巴医学图像中包括淋巴结；依次对各医学图像中的目标对象进行特征提取，得到目标对象的多种指标数据的步骤包括：依次对各淋巴医学图像中的淋巴结进行特征提取，得到各淋巴结的多种指标数据；对目标对象的多种指标数据进行筛选，确定每种指标数据中的目标指标数据的步骤包括：对各淋巴结的多种指标数据进行筛选，确定每种指标数据中的目标指标数据；基于每种指标数据中的目标指标数据生成医学报告的步骤包括：基于每种指标数据中的目标指标数据生成医学报告。

区别于前述实施例，通过获取到多张淋巴医学图像，分别对各淋巴医学图像中的淋巴结进行特征提取，得到淋巴结的多种指标数据，再对淋巴结的多种指标数据进行筛选，确定每种指标数据中的目标指标数据，最后基于每种指标数据中的目标指标数据生成医学报告，能够对多张淋巴医学图像的特征信息进行分析综合，提高淋巴医学报告对淋巴结分析的多样性和全面性，并通过筛选目标指标数据减少特征信息中的冗余信息，提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

请参阅图4，图4是本申请电子设备一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42，处理器42用于执行存储器41中存储的程序指令，以实现上述任一医学报告生成方法实施例的步骤。在一个具体的实施场景中，电子设备40可以包括但不限于：微型计算机、服务器，此外，电子设备40还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器42用于控制其自身以及存储器41以实现上述任一医学报告生成方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit，中央处理单元)。处理器42可能是一种集成电路芯片，具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器42可以由集成电路芯片共同实现。

上述方案，能够提高医学报告的多样性和全面性，并提高医学报告的针对性和直观性，便于医学报告的生理情况展示。

请参阅图5，图5为本申请计算机可读存储介质一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501，程序指令501用于实现上述任一医学报告生成方法实施例的步骤。

上述方案，能够提高医学报告的多样性和全面性，并提高医学报告的针对性和直观性，便于医学报告的生理情况展示。在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。