首页> 中国专利> 一种基于椭圆轴关系确定细胞粘连方式的方法及系统

一种基于椭圆轴关系确定细胞粘连方式的方法及系统

摘要

本发明公开了一种基于椭圆轴关系确定细胞粘连方式的方法及系统,用以解决现有技术不能准确地确定细胞粘连方式的问题。该方法包括:S1、定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息;S2、通过手动标记方式确定各细胞的主要信息;S3、基于细胞主要信息添加细胞中间信息;S4、基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式;S5、依据粘连方式检测结果,更新所述指示矩阵。本发明基于目标椭圆区域估计与椭圆长短轴关系确定粘连细胞粘连方式,能更细致地有效地分析粘连细胞之间的粘连方式,从而能更准确地反映细胞之间的粘连关系。

著录项

  • 公开/公告号CN107977978A

    专利类型发明专利

  • 公开/公告日2018-05-01

    原文格式PDF

  • 申请/专利权人 浙江农林大学;

    申请/专利号CN201711059423.0

  • 申请日2017-11-01

  • 分类号

  • 代理机构宁波市鄞州盛飞专利代理事务所(普通合伙);

  • 代理人龙洋

  • 地址 311300 浙江省杭州市临安区环城北路88号

  • 入库时间 2023-06-19 05:12:00

法律信息

  • 法律状态公告日

    法律状态信息

    法律状态

  • 2020-08-21

    授权

    授权

  • 2018-05-25

    实质审查的生效 IPC(主分类):G06T7/207 申请日:20171101

    实质审查的生效

  • 2018-05-01

    公开

    公开

说明书

技术领域

本发明涉及医学图像处理技术领域,尤其涉及一种基于椭圆轴关系确定细胞粘连方式的方法及系统。

背景技术

细胞运动的研究一直是细胞学和生物学研究的重要组成部分,但是传统的研究方法在技术日益革新的现在已经渐渐变得不这么适用了,传统的在显微镜下利用细胞计数板用人眼进行染色、分类、计数、跟踪等这类不但需要大量繁琐的人为操作而且容易使得操作者变得疲劳从而影响结果的正确性,且其可重用性比较低。

国内外的医学专家经过长期地实践与研究取得一致共识认为应该在细胞运动研究中引入数字视频技术和数字图像处理技术,从而极大地提高研究效率,减轻研究人员负担。用计算机来跟踪细胞运动,部分代替人类始终盯着显微镜来观察细胞的眼睛,尽量地把人从繁重的重复劳动中解脱出来进行更有创造性的工作。

因此,如何利用计算机图像处理、视频分析等相关技术手段来提高生物研究过程中的自动化程度已成为当前急需解决的非常有意义的难题。

当前,常用的目标检测与识别算法,可以在确定目标大致位置之后,提取区域内部的特征,再采用适当的分类器对检测区域进行识别与分类。多数目标检测与识别算法的实现都是依赖于提取的高维度特征与不同的训练算法。在检测时,这些算法多采用矩形框,且将矩形框覆盖的大致区域作为表征目标的检测结果。虽然,其检测结果可以覆盖目标,但并不是在所有情况下都可以通过外接矩形框的方式定义目标区域。矩形框内目标占整个矩形框区域的比例有时非常小,那么提取的特征就不是非常准确,不利于应用目标识别与分类等后续算法。

公开号为CN103559724A的专利提供了一种高粘连度细胞环境下的多细胞同步跟踪方法。细胞图像中,多细胞的分割和同步跟踪是一个尚未解决的难题,尤其在高粘连度情况下多细胞检测与分割,更加迫切需要解决。该发明首先提出了一种改进的基于分水岭和多特征匹配的分割算法实现细胞分割,然后,建立适用于卡尔曼滤波的运动模型并加入多特征匹配实现细胞的预测和跟踪。该发明不能很好地处理细胞核粘连情况与独立情况的分析。

发明内容

本发明要解决的技术问题目的在于提供一种基于椭圆轴关系确定细胞粘连方式的方法及系统,用以解决现有技术不能准确地确定粘连细胞粘连方式的问题。

为了实现上述目的,本发明采用的技术方案为:

一种基于椭圆轴关系确定细胞粘连方式的方法,包括步骤:

S1、定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息;

S2、通过手动标记方式确定各细胞的主要信息;

S3、基于细胞主要信息添加细胞中间信息;

S4、基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式;

S5、依据粘连方式检测结果,更新所述指示矩阵。

进一步地,步骤S1具体包括:

通过相差显微镜成像系统,获取所述相差显微镜细胞图像;

采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及背景区域;

定义深暗区域为细胞主要信息,高亮区域为细胞次要信息,高亮区域内部的封闭区域为细胞中间信息。

进一步地,步骤S2具体包括:

将细胞主要信息独立区域块分组并包含于各独立封闭区域内;

根据所述各独立封闭区域生成其对应的二值标记图;

标号标色二值标记图并与细胞主要信息相关联,使得属于各集合内部的区域块具有相同的伪彩色与标号值。

进一步地,步骤S3具体包括:

基于细胞主要信息,采用本地覆盖检测对所述细胞中间信息进行检测;

判断所述细胞主要信息是否具有可扩展的中间信息,若无,保持所述细胞主要信息不变;否则,有序地进行扩展。

进一步地,步骤S4具体包括:

基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并通过指示矩阵表示细胞之间各自独立与相互粘连的关系;

具体的,通过形态学膨胀扩大已检测到的细胞主要信息或细胞中间信息的凸集近似估计区域;

若扩大后的凸集近似估计区域与细胞次要信息局部区域块相互覆盖,则在细胞次要信息局部区域块计数图中将所述细胞次要信息局部区域块的数值加1,并且在细胞次要信息局部区域块访问图中将所述细胞次要信息局部区域块的数值加上所述细胞的索引号;

假设当前图像中的细胞个数为N,建立二值指示矩阵,且其大小为N×N;若一个细胞次要信息局部区域块同时被不同索引号的细胞访问,则在所述指示矩阵中的相应位置标记为1;

将所述二值指示矩阵中的各指示点进行归纳及划分得到标号标色指示矩阵;

剔除所述标号标色指示矩阵的所有下三角指示值并保留主对角线指示值,得到简化标号标色指示矩阵,其内部包含细胞独立指示信息与细胞粘连指示信息;

针对标号标色指示矩阵,若指示值分布在主对角线上且从属于每一个标记标色值的点仅有一个,则表示这些细胞各自独立,且相应地形成独立指示矩阵;若从属于某标记标色值的点都大于一个,则表示具有此同一颜色标记所对应的细胞之间存在相互粘连关系,且相应地形成粘连指示矩阵。

基于已检测到的细胞信息,构建椭圆近似区域,将所述椭圆的长轴定义为细胞延伸的主方向,将所述椭圆的短轴定义为细胞收缩的主方向;

通过形态学椭圆估计方法,确定所述椭圆的长轴及短轴的长度以及所述长轴及所述短轴之间的角度;

根据所述细胞主要信息的中心点坐标,获得离散域上以及连续域上的椭圆覆盖区域;

通过所述椭圆覆盖区域确定细胞的生物形态,并通过分析椭圆长轴与短轴延长线交点位置判断粘连细胞之间的粘连方式。

一种基于椭圆轴关系确定细胞粘连方式的系统,包括:

定义模块,用于定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息;

标记模块,用于通过手动标记方式确定各细胞的主要信息;

添加模块,用于基于细胞主要信息添加细胞中间信息;

检测模块,用于基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式;

更新模块,依据粘连方式检测结果,更新所述指示矩阵。

进一步地,所述定义模块具体包括:

图像获取单元,用于通过相差显微镜成像系统,获取所述相差显微镜细胞图像;

区域划分单元,用于采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及背景区域;

信息分类单元,用于定义深暗区域为细胞主要信息,高亮区域为细胞次要信息,高亮区域内部的封闭区域为细胞中间信息。

进一步地,所述标记模块具体包括:

区块分组单元,用于利用辅助软件工具将细胞主要信息独立区域块分组并包含于各独立封闭区域内;

二值标记单元,用于根据所述各独立封闭区域生成其对应的二值标记图;

标号标色单元,用于标号标色二值标记图并与细胞主要信息相关联,使得属于各集合内部的区域块具有相同的伪彩色与标号值。

进一步地,所述添加模块具体包括:

覆盖检测单元,用于基于细胞主要信息,采用本地覆盖检测对所述细胞中间信息进行检测;

判断单元,用于判断所述细胞主要信息是否具有可扩展的中间信息,若无,保持所述细胞主要信息不变;否则,有序地进行扩展。

进一步地,所述检测模块具体包括:

初检单元,用于基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并通过指示矩阵表示细胞之间各自独立与相互粘连的关系;

具体的,通过形态学膨胀扩大已检测到的细胞主要信息或细胞中间信息的凸集近似估计区域;

若扩大后的凸集近似估计区域与细胞次要信息局部区域块相互覆盖,则在细胞次要信息局部区域块计数图中将所述细胞次要信息局部区域块的数值加1,并且在细胞次要信息局部区域块访问图中将所述细胞次要信息局部区域块的数值加上所述细胞的索引号;

假设当前图像中的细胞个数为N,建立二值指示矩阵,且其大小为N×N;若一个细胞次要信息局部区域块同时被不同索引号的细胞访问,则在所述指示矩阵中的相应位置标记为1;

将所述二值指示矩阵中的各指示点进行归纳及划分得到标号标色指示矩阵;

剔除所述标号标色指示矩阵的所有下三角指示值并保留主对角线指示值,得到简化标号标色指示矩阵,其内部包含细胞独立指示信息与细胞粘连指示信息;

针对标号标色指示矩阵,若指示值分布在主对角线上且从属于每一个标记标色值的点仅有一个,则表示这些细胞各自独立,且相应地形成独立指示矩阵;若从属于某标记标色值的点都大于一个,则表示具有此同一颜色标记所对应的细胞之间存在相互粘连关系,且相应地形成粘连指示矩阵。

构建单元,用于基于已检测到的细胞信息,构建椭圆近似区域,将所述椭圆的长轴定义为细胞延伸的主方向,将所述椭圆的短轴定义为细胞收缩的主方向;

确定单元,用于通过形态学椭圆估计方法,确定所述椭圆的长轴及短轴的长度以及所述长轴及所述短轴之间的角度;

覆盖单元,用于根据所述细胞主要信息的中心点坐标,获得离散域上以及连续域上的椭圆覆盖区域;

分析单元,用于通过所述椭圆覆盖区域确定细胞的生物形态,并通过分析椭圆长轴与短轴延长线交点位置判断粘连细胞之间的粘连方式。本发明与传统的技术相比,有如下优点:

本发明基于目标椭圆区域估计与椭圆长短轴关系确定粘连细胞粘连方式,能更细致地有效地分析粘连细胞之间的粘连方式,从而能更准确地反映细胞之间的粘连关系。

附图说明

图1是实施例一提供的一种基于层级结构信息确定细胞粘连情况的方法流程图;

图2是实施例一提供的PCM_0001原图及其灰度分布信息图;

图3是实施例一提供的关于PCM_0001的具有不同重要性的层级结构信息;

图4是实施例一提供的关于PCM_0001主要信息初始化的相关图片;

图5是实施例一提供的关于PCM_0001添加中间信息前后的检测结果图;

图6是实施例一提供的基于细胞主要信息直接添加中间信息的实例;

图7是实施例一提供的细胞中间信息粘连情况分离与分组过程图;

图8是实施例一提供的关于PCM_0001的指示矩阵构建过程图;

图9是实施例一提供的关于PCM_0001的细胞独立与粘连指示矩阵图;

图10是实施例一提供的次要信息局部区域块计数图与访问图;

图11是实施例一提供的具有不同访问次数的次要信息局部区域块的二值区域集合;

图12是实施例一提供的细胞椭圆近似区域估计结果;

图13是实施例一提供的两个细胞粘连情况椭圆轴关系实例图;

图14是实施例一提供的更新后的粘连指示矩阵标号标色图;

图15是实施例二提供的一种基于椭圆轴关系确定细胞粘连方式的系统结构图。

具体实施方式

以下是本发明的具体实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。

实施例一

本实施例提供了一种基于椭圆轴关系确定细胞粘连方式的方法,如图1所示,包括步骤:

S11:定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息;

S12:通过手动标记方式确定各细胞的主要信息;

S13:基于细胞主要信息添加细胞中间信息;

S14:基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式;

S15:依据粘连方式检测结果,更新所述指示矩阵。

本实施例首先先定义相差显微镜细胞图像的具有不同重要性的灰度层级结构信息,即细胞主要信息、细胞中间信息及细胞次要信息。接着通过手动标记或者帧间关联的方式确定当前帧的细胞主要信息。然后,基于已检测到的细胞主要信息合理地添加融合细胞中间信息。最后,基于已检测到的细胞信息,将细胞次要信息作为指示信息,用于检测细胞之间的独立与粘连关系。

本实施例中,步骤S11为定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息。

其中,步骤S11具体包括步骤:

通过相差显微镜成像系统,获取所述相差显微镜细胞图像;

采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及背景区域;

定义深暗区域为细胞主要信息,高亮区域为细胞次要信息,高亮区域内部的封闭区域为细胞中间信息。

具体的,基于目标灰度层级结构信息概念,相差显微镜细胞图像中的所有细胞都存在三个结构信息层次,分别是主要信息、中间信息以及次要信息。此概念也指出目标的不同层级结构信息对定义目标本身具有不同的重要性,且最为重要的信息可以单独地用于表示目标。所以,通过细胞主要信息可以定义相差显微镜细胞图像中的大多数细胞。

图2是原图与其相关信息图。其中:

图2(a)是PCM_0001原图,图2(b)是最大类间方差算法结果图,图2(c)是灰度直方图。由于多类别最大类间方差算法中的核心算法在初始化阈值的时候,将其平均地分配在整个灰度区间中,所以相比于深暗部分,算法输出结果在高亮部分存在更多的灰度层级结构信息。

图2(c)中,给出了PCM_0001的灰度直方图。此灰度分布图可以大致分为三个区域,即深暗部分、背景部分以及高亮部分。在此图中,这三个部分分别位于峰值的左侧区域、峰值近邻区域以及峰值的右侧区域。相差显微镜细胞图像仅有灰度信息。不同成分的灰度区间能够表示相差显微镜中不同的区域与结构含义。那么背景部分包含了未被细胞覆盖的培养液区域以及细胞内部的一些区域。深暗部分包含了细胞的主要信息,即灰度值较小的部分,以及相差显微镜产生的阴影效应。高亮部分包含了细胞的次要信息,即灰度值较大的部分,以及相差显微镜产生的光晕效应。背景部分所占的灰度范围窄,但所占的像素个数却较多。而深暗部分与高亮部分所占的像素个数却很少。

图3是具有不同重要性的细胞图像灰度层级结构信息示意图

本实施例中,步骤S12为通过手动标记方式确定各细胞的主要信息。

其中,步骤S12具体包括步骤:

将细胞主要信息独立区域块分组并包含于各独立封闭区域内;

根据所述各独立封闭区域生成其对应的二值标记图;

标号标色二值标记图并与细胞主要信息相关联,使得属于各集合内部的区域块具有相同的伪彩色与标号值。

具体的,为了能够有效地图片中目标的主要信息,将利用辅助软件工具,手动地将主要信息局部区块分组成为不同目标。在现有目标跟踪检测算法中,存在着一些不同的目标初始化的方式,比如标记矩形框确定目标的初始大致位置或者直接标记出目标准确的分割区域。手动标记主要信息局部区块时,需要仔细地参照原图。

图4中,给出了标记PCM_0001主要信息的流程。图4(a)中展示了运用辅助软件工具标记的区域轮廓。如果图片中细胞个数较多,手动标记时需要更加仔细地鉴别目标与目标之间的关系以及目标与背景之间的关系。图4(b)展示了图4(a)对应的二值标记图。图4(c)展示了图4(b)对应的标号标色图,其中每个区域都有一个标号,也是其对应局部区域块所具有的数值。图4(d)中展示了PCM_0001的目标主要信息。其中的每个目标都是由多个主要信息局部区域块确定。且对于具体的一个目标,其所有的主要信息局部块具有同样的标号与颜色。图4(d)将作为PCM_0001的目标主要信息初始化标准结果,用于帧间主要信息关联操作。

本实施例中,步骤S13为基于细胞主要信息添加细胞中间信息。

其中,步骤S13具体包括:

采用本地覆盖检测对所述细胞主要信息进行检测;

判断所述细胞主要信息是否具有可扩展的中间信息,若无,保持所述细胞主要信息不变;否则,有序地进行扩展。

具体的,为了解决细胞中间信息粘连情况,采用目标对分离与分组算法。相应地,会生成局部区域块计数结果、局部区域块访问结果、不同的分离位置以及分组结果。添加了中间信息之后,其构建的区域,能更加清晰地表征目标。

在图5中,展示了关于PCM_0001的添加中间信息前后的检测结果。图5(a)是添加中间信息前的中间信息局部区域块计数图,其中存在一个被两个目标同时访问的局部区域块,并在此伪彩色图中显示为深红色。图5(b)是添加中间信息前的本地覆盖检测到的中间信息局部区域块访问图。图5(c)为合理添加中间信息后的目标中间信息。

在添加中间信息扩展主要信息的过程中,统筹考虑了主要信息与中间信息这两个结构信息层次。如果某些细胞的主要信息没有可扩展的中间信息,则保持主要信息不变。如果细胞主要信息具有可扩展的中间信息,则进行有序地扩展。对于细胞中间信息粘连情况,利用目标对分离与分组算法进行处理。

图6中,给出了来自于PCM_0001的三个可以直接基于细胞主要信息添加中间信息的实例。此时,假设x={a,b,c}。那么图6(x1)是从图2(b)中截取的多类别最大类间方差算法结果。图6(x2)是已检测到的细胞主要信息,截取于图4(d)。图6(x3)是基于细胞主要信息直接添加中间信息后的结果,截取于图5(c),即细胞中间信息结果。相比较图6(x2)与图6(x3),细胞中间信息能更加完整清楚地表示细胞区域。因为图中有些细胞信息局部区块的标色相似,所以在图6(a2)和图6(a3)中分别标记了31号细胞与32号细胞的标号。其中,仅32号细胞能直接添加中间信息,而31号细胞无直接可添加的中间信息。

图7中,给出了来自于PCM_0001的一个中间信息粘连情况的实例。其中,图7(a)是截取于图2(b)的多类别最大类间方差算法结果。图7(b)是已检测到的细胞主要信息。图7(c)是带分离的中间信息粘连区域块。图7(d)给出了目标对分离与分组算法确定的最佳分离位置。图7(e)是展示了修正后的目标中间信息。

通过一系列实验结果与分析,基于细胞主要信息添加中间信息的方法能够得到更能表征细胞区域的结果。如果图像中存在其他类似于主要信息或者中间信息的层级结构信息,也能够通过此种方法,不断地扩展细胞检测区域范围。

本实施例中,步骤S14为基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式。

其中,步骤S14包括:

基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并通过指示矩阵表示细胞之间各自独立与相互粘连的关系;

具体的,通过形态学膨胀扩大已检测到的细胞主要信息或细胞中间信息的凸集近似估计区域;

若扩大后的凸集近似估计区域与细胞次要信息局部区域块相互覆盖,则在细胞次要信息局部区域块计数图中将所述细胞次要信息局部区域块的数值加1,并且在细胞次要信息局部区域块访问图中将所述细胞次要信息局部区域块的数值加上所述细胞的索引号;

假设当前图像中的细胞个数为N,建立二值指示矩阵,且其大小为N×N;若一个细胞次要信息局部区域块同时被不同索引号的细胞访问,则在所述指示矩阵中的相应位置标记为1;

将所述二值指示矩阵中的各指示点进行归纳及划分得到标号标色指示矩阵;

剔除所述标号标色指示矩阵的所有下三角指示值并保留主对角线指示值,得到简化标号标色指示矩阵,其内部包含细胞独立指示信息与细胞粘连指示信息;

针对标号标色指示矩阵,若指示值分布在主对角线上且从属于每一个标记标色值的点仅有一个,则表示这些细胞各自独立,且相应地形成独立指示矩阵;若从属于某标记标色值的点都大于一个,则表示具有此同一颜色标记所对应的细胞之间存在相互粘连关系,且相应地形成粘连指示矩阵。

基于已检测到的细胞信息,构建椭圆近似区域,将所述椭圆的长轴定义为细胞延伸的主方向,将所述椭圆的短轴定义为细胞收缩的主方向;

通过形态学椭圆估计方法,确定所述椭圆的长轴及短轴的长度以及所述长轴及所述短轴之间的角度;

根据所述细胞主要信息的中心点坐标,获得离散域上以及连续域上的椭圆覆盖区域;

通过所述椭圆覆盖区域确定细胞的生物形态,并通过分析椭圆长轴与短轴延长线交点位置判断粘连细胞之间的粘连方式。

更具体的,将基于细胞主要信息构建其近似的椭圆形区域。椭圆中存在长轴与短轴,那么将长轴方向看作是细胞延伸的主方向,而将短轴方向看成是细胞收缩的主方向。

基于细胞主要信息,通过形态学椭圆估计方法,可以确定椭圆的长轴与短轴的长度,以及两者之间的角度。已知细胞主要信息的中心点坐标,便可画出离散域上以及连续域上的椭圆形状覆盖区域。

图8中,给出了针对PCM_0001的目标独立与粘连指示矩阵。矩阵中的每个数值元素都对应图中的每一个小方格区域。其中,图8(a)是二值指示矩阵,标识了细胞之间的独立与粘连关系,且其主对角线上的值也都是1,表明其自身与自身是绝对粘连的。如果非主对角线上的位置也为1,那么说明其对应索引号的两个细胞包含于同一个细胞粘连情况。在二值指示矩阵中,对于当前数值元素,仅仅与其纵向和横向的数值元素有关。所以可以通过深度搜索算法,将二值指示矩阵中的区域进行合理地归纳和划分。从而,可以得到如图8(b)中所示的标号标色指示矩阵。鉴于上三角的指示值分布与下三角的指示值分布是沿主对角线相互对称的,所以直接剔除下三角的所有指示值,但是保留主对角线元素。删除冗余指示信息之后,其结果如图8(c)所示。

图9中,给出了关于PCM_0001的独立与粘连指示矩阵。独立与粘连指示矩阵都是从图8(c)中分解出来的。独立指示矩阵(图9(a))中存在10个独立的指示点,那么此图像中存在10个各自独立的细胞。在独立指示矩阵伪彩色图像中,除了中间较为清晰的八个标号标色点之外,矩阵最左上角与最右下角分别有两个数值点,分别标色为深蓝与深红。图9(b)中给出了粘连指示矩阵。在此伪彩色图像中,存在10个数值,那么其指示原图中存在10个细胞粘连情况。

图10中,给出了关于PCM_0001的次要信息区域块计数图与访问图。图10(a)展示了次要信息区域块计数图,表示每个次要信息局部区域块被几个不同的细胞所访问的次数。此图中包含了被访问了1次、2次以及3次的局部区域块。此伪彩色图中,除了深蓝色的背景之外,被不同次数访问的局部区域块分别标色为淡蓝色(1次)、黄色(2次)以及深红色(3次)。图10(b)给出了次要信息区域块访问图,其中每一个局部区域块的数值是所有访问细胞索引值的累加和

图11中,给出了关于PCM_0001的具有不同计数数值的次要信息二值区域块集合。其中,图11(a)为计数次数为1次的二值区域块集合。图11(b)为计数次数为2次的二值区域块集合。图11(c)为计数次数为3次的二值区域块集合。

图12中,给出了PCM_0001基于细胞主要信息的椭圆区域近似估计结果。此时,假设x={a,b}。那么图12(a)是在离散域上的椭圆蒙板。虽然目标之间的主要信息是不存在相交情况,但是在椭圆区域近似估计之后,某些位置会出现像素相交情况。所以在伪彩色图10(a)中,有些局部区域呈现为深红色(相互覆盖区域),而大部分区域是显示为绿色(无覆盖区域)。图12(b)将椭圆蒙板的梯度信息覆盖在原图上,此时椭圆区域近似估计结果能更准确地反映细胞的生物形态。

椭圆近似估计结果不仅能表征细胞的生物形态,而且其还有另外一个用途,就是确定粘连细胞的粘连方式。虽然独立细胞与粘连细胞情况检测方法可以确定哪些细胞是粘连在一起,哪些细胞是独立的,但是并没有回答粘连细胞是如何粘连的问题。

在图13中,给出了用于确定细胞粘连方式的椭圆长轴延长线交点检测的两个实例。图13(a)与图13(b)是来自于PCM_0001的两个细胞粘连情况,分别记为PCM1_A与PCM1_B。从图中可以看到,每条直线或者线段都对应于每个椭圆区域的长轴,且长轴延长线通过椭圆区域的中心点。中心点都标为黑色实心点。而且线段之间存在着一些交点,这些交点也分别用黑色和白色实心点标记出来。在此图中,不同颜色的标记点仅用于同时表示椭圆区域中心点与线段之间的交点,而不区分其他具体的含义。

本实施例中,步骤S15为依据粘连方式检测结果,更新所述指示矩阵。

具体的,通过分析椭圆近似估计区域的中心点与各椭圆轴线段交点,可以知道虽然这些多个细胞处于一个细胞粘连情况,但是在某些细胞粘连情况内部,并不是两两细胞都是粘连的。由此便可以更新其所对应的粘连指示矩阵,即剔除那些虽然处于一个粘连情况但是实际上并不粘连的细胞对指示值。图13中给出了来自于PCM_0001的两个椭圆轴关系检测实例。

通过确定粘连细胞之间的粘连方式,能够从先前的粘连指示矩阵中剔除一些错误的细胞粘连指示信息,从而得到更新后的粘连指示矩阵,如图14所示。相比较图14与图9b,减少一小部分的粘连指示点。

实施例二

本实施例提供了一种基于椭圆轴关系确定细胞粘连方式的系统,如图15所示,包括:

定义模块21,用于定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息;

标记模块22,用于通过手动标记方式确定各细胞的主要信息;

添加模块23,用于基于细胞主要信息添加细胞中间信息;

检测模块24,用于基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式;

更新模块25,用于依据粘连方式检测结果,更新所述指示矩阵。

本实施例首先定义模块21定义相差显微镜细胞图像的具有不同重要性的层级结构信息,即细胞主要信息、细胞中间信息及细胞次要信息。接着标记模块22通过手动标记或者帧间关联的方式确定当前帧的细胞主要信息。然后,添加模块23基于已检测到的细胞主要信息合理地添加融合细胞中间信息。检测模块24基于已检测到的细胞信息,估计其对应的椭圆近似区域,再通过长轴关系分析粘连细胞之间的粘连方式。更新模块25更新指示矩阵以确定细胞粘连方式并修正所述指示矩阵。

本实施例中,定义模块21用于定义相差显微镜细胞图像中具有不同重要性的灰度层级结构信息。

其中,定义模块21具体包括:

图像获取单元,用于通过相差显微镜成像系统,获取所述相差显微镜细胞图像;

区域划分单元,用于采用多类别最大类间方差算法将所述相差显微镜细胞图像划分为深暗区域、高亮区域及背景区域;

信息分类单元,用于定义深暗区域为细胞主要信息,高亮区域为细胞次要信息,高亮区域内部的封闭区域为细胞中间信息。

具体的,基于目标灰度层级结构信息概念,相差显微镜细胞图像中的所有细胞都存在三个结构信息层次,分别是主要信息、中间信息以及次要信息。此概念也指出目标的不同层级结构信息对定义目标本身具有不同的重要性,且最为重要的信息可以单独地用于表示目标。所以,通过细胞主要信息可以定义相差显微镜细胞图像中的大多数细胞。

图2是原图与其相关信息图。其中:

图2(a)是PCM_0001原图,图2(b)是最大类间方差算法结果图,图2(c)是灰度直方图。由于多类别最大类间方差算法中的核心算法在初始化阈值的时候,将其平均地分配在整个灰度区间中,所以相比于深暗部分,算法输出结果在高亮部分存在更多的灰度层级结构信息。

图2(c)中,给出了PCM_0001的灰度直方图。此灰度分布图可以大致分为三个区域,即深暗部分、背景部分以及高亮部分。在此图中,这三个部分分别位于峰值的左侧区域、峰值近邻区域以及峰值的右侧区域。相差显微镜细胞图像仅有灰度信息。不同成分的灰度区间能够表示相差显微镜中不同的区域与结构含义。那么背景部分包含了未被细胞覆盖的培养液区域以及细胞内部的一些区域。深暗部分包含了细胞的主要信息,即灰度值较小的部分,以及相差显微镜产生的阴影效应。高亮部分包含了细胞的次要信息,即灰度值较大的部分,以及相差显微镜产生的光晕效应。背景部分所占的灰度范围窄,但所占的像素个数却较多。而深暗部分与高亮部分所占的像素个数却很少。

图3是具有不同重要性的细胞图像灰度层级结构信息示意图。

本实施例中,标记模块22用于通过手动标记方式确定各细胞的主要信息。

其中,标记模块22具体包括:

区块分组单元,用于利用辅助软件工具将细胞主要信息独立区域块分组并包含于各独立封闭区域内;

二值标记单元,用于根据所述各独立封闭区域生成其对应的二值标记图;

标号标色单元,用于标号标色二值标记图并与细胞主要信息相关联,使得属于各集合内部的区域块具有相同的伪彩色与标号值。

具体的,为了能够有效地图片中目标的主要信息,将利用辅助软件工具,手动地将主要信息局部区块分组成为不同目标。在现有目标跟踪检测算法中,存在着一些不同的目标初始化的方式,比如标记矩形框确定目标的初始大致位置或者直接标记出目标准确的分割区域。手动标记主要信息局部区块时,需要仔细地参照原图。

具体的,虽然定义了PCM_0001的主要信息,但是目前没有任何自动算法可以将这些主要信息局部区块合理地分组成不同目标。为了能够有效地初始化序列第一帧图片中的目标主要信息,将利用ImageJ软件工具,手动地将主要信息局部区块分组成为不同目标。在现有目标跟踪检测算法中,存在着一些不同的目标初始化的方式,比如标记矩形框确定目标的初始大致位置或者直接标记出目标准确的分割区域。手动标记主要信息局部区块时,需要仔细地参照原图。

图4中,给出了标记PCM_0001主要信息的流程。图4(a)中展示了运用辅助软件工具标记的区域轮廓。如果图片中细胞个数较多,手动标记时需要更加仔细地鉴别目标与目标之间的关系以及目标与背景之间的关系。图4(b)展示了图4(a)对应的二值标记图。图4(c)展示了图4(b)对应的标号标色图,其中每个区域都有一个标号,也是其对应局部区域块所具有的数值。图4(d)中展示了PCM_0001的目标主要信息。其中的每个目标都是由多个主要信息局部区域块确定。且对于具体的一个目标,其所有的主要信息局部块具有同样的标号与颜色。图4(d)将作为PCM_0001的目标主要信息初始化标准结果,用于帧间主要信息关联操作。

本实施例中,添加模块23用于基于细胞主要信息添加细胞中间信息。

其中,添加模块23具体包括:

覆盖检测单元,用于基于细胞主要信息,采用本地覆盖检测对所述细胞中间信息进行检测;

判断单元,用于判断所述细胞主要信息是否具有可扩展的中间信息,若无,保持所述细胞主要信息不变;否则,有序地进行扩展。

具体的,为了解决细胞中间信息粘连情况,采用目标对分离与分组算法。相应地,会生成局部区域块计数结果、局部区域块访问结果、不同的分离位置以及分组结果。添加了中间信息之后,其构建的区域,能更加清晰地表征目标。

在图5中,展示了关于PCM_0001的添加中间信息前后的检测结果。图5(a)是添加中间信息前的中间信息局部区域块计数图,其中存在一个被两个目标同时访问的局部区域块,并在此伪彩色图中显示为深红色。图5(b)是添加中间信息前的本地覆盖检测到的中间信息局部区域块访问图。图5(c)为合理添加中间信息后的目标中间信息。

在添加中间信息扩展主要信息的过程中,统筹考虑了主要信息与中间信息这两个结构信息层次。如果某些细胞的主要信息没有可扩展的中间信息,则保持主要信息不变。如果细胞主要信息具有可扩展的中间信息,则进行有序地扩展。对于细胞中间信息粘连情况,利用目标对分离与分组算法进行处理。

图6中,给出了来自于PCM_0001的三个可以直接基于细胞主要信息添加中间信息的实例。此时,假设x={a,b,c}。那么图6(x1)是从图2(b)中截取的多类别最大类间方差算法结果。图6(x2)是已检测到的细胞主要信息,截取于图4(d)。图6(x3)是基于细胞主要信息直接添加中间信息后的结果,截取于图5(c),即细胞中间信息结果。相比较图6(x2)与图6(x3),细胞中间信息能更加完整清楚地表示细胞区域。因为图中有些细胞信息局部区块的标色相似,所以在图6(a2)和图6(a3)中分别标记了31号细胞与32号细胞的标号。其中,仅32号细胞能直接添加中间信息,而31号细胞无直接可添加的中间信息。

图7中,给出了来自于PCM_0001的一个中间信息粘连情况的实例。其中,图7(a)是截取于图2(b)的多类别最大类间方差算法结果。图7(b)是已检测到的细胞主要信息。图7(c)是带分离的中间信息粘连区域块。图7(d)给出了目标对分离与分组算法确定的最佳分离位置。图7(e)是展示了修正后的目标中间信息。

通过一系列实验结果与分析,基于细胞主要信息添加中间信息的方法能够得到更能表征细胞区域的结果。如果图像中存在其他类似于主要信息或者中间信息的层级结构信息,也能够通过此种方法,不断地扩展细胞检测区域范围。

本实施例中,检测模块24用于基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并估计细胞椭圆区域,通过椭圆长短轴关系分析粘连细胞之间的粘连方式。

其中,检测模块24包括:

初检单元,用于基于已检测到的细胞信息,将细胞次要信息作为指示信息以检测细胞间的粘连情况,并通过指示矩阵表示细胞之间各自独立与相互粘连的关系;

具体的,通过形态学膨胀扩大已检测到的细胞主要信息或细胞中间信息的凸集近似估计区域;

若扩大后的凸集近似估计区域与细胞次要信息局部区域块相互覆盖,则在细胞次要信息局部区域块计数图中将所述细胞次要信息局部区域块的数值加1,并且在细胞次要信息局部区域块访问图中将所述细胞次要信息局部区域块的数值加上所述细胞的索引号;

假设当前图像中的细胞个数为N,建立二值指示矩阵,且其大小为N×N;若一个细胞次要信息局部区域块同时被不同索引号的细胞访问,则在所述指示矩阵中的相应位置标记为1;

将所述二值指示矩阵中的各指示点进行归纳及划分得到标号标色指示矩阵;

剔除所述标号标色指示矩阵的所有下三角指示值并保留主对角线指示值,得到简化标号标色指示矩阵,其内部包含细胞独立指示信息与细胞粘连指示信息;

针对标号标色指示矩阵,若指示值分布在主对角线上且从属于每一个标记标色值的点仅有一个,则表示这些细胞各自独立,且相应地形成独立指示矩阵;若从属于某标记标色值的点都大于一个,则表示具有此同一颜色标记所对应的细胞之间存在相互粘连关系,且相应地形成粘连指示矩阵。

构建单元,用于基于已检测到的细胞信息,构建椭圆近似区域,将所述椭圆的长轴定义为细胞延伸的主方向,将所述椭圆的短轴定义为细胞收缩的主方向;

确定单元,用于通过形态学椭圆估计方法,确定所述椭圆的长轴及短轴的长度以及所述长轴及所述短轴之间的角度;

覆盖单元,用于根据所述细胞主要信息的中心点坐标,获得离散域上以及连续域上的椭圆覆盖区域;

分析单元,用于通过所述椭圆覆盖区域确定细胞的生物形态,并通过分析椭圆长轴与短轴延长线交点位置判断粘连细胞之间的粘连方式。

更具体的,将基于细胞主要信息构建其近似的椭圆形区域。椭圆中存在长轴与短轴,那么将长轴方向看作是细胞延伸的主方向,而将短轴方向看成是细胞收缩的主方向。

基于细胞主要信息,通过形态学椭圆估计方法,可以确定椭圆的长轴与短轴的长度,以及两者之间的角度。已知细胞主要信息的中心点坐标,便可画出离散域上以及连续域上的椭圆形状覆盖区域。

图8中,给出了针对PCM_0001的目标独立与粘连指示矩阵。矩阵中的每个数值元素都对应图中的每一个小方格区域。其中,图8(a)是二值指示矩阵,标识了细胞之间的独立与粘连关系,且其主对角线上的值也都是1,表明其自身与自身是绝对粘连的。如果非主对角线上的位置也为1,那么说明其对应索引号的两个细胞包含于同一个细胞粘连情况。在二值指示矩阵中,对于当前数值元素,仅仅与其纵向和横向的数值元素有关。所以可以通过深度搜索算法,将二值指示矩阵中的区域进行合理地归纳和划分。从而,可以得到如图8(b)中所示的标号标色指示矩阵。鉴于上三角的指示值分布与下三角的指示值分布是沿主对角线相互对称的,所以直接剔除下三角的所有指示值,但是保留主对角线元素。删除冗余指示信息之后,其结果如图8(c)所示。

图9中,给出了关于PCM_0001的独立与粘连指示矩阵。独立与粘连指示矩阵都是从图8(c)中分解出来的。独立指示矩阵(图9(a))中存在10个独立的指示点,那么此图像中存在10个各自独立的细胞。在独立指示矩阵伪彩色图像中,除了中间较为清晰的八个标号标色点之外,矩阵最左上角与最右下角分别有两个数值点,分别标色为深蓝与深红。图9(b)中给出了粘连指示矩阵。在此伪彩色图像中,存在10个数值,那么其指示原图中存在10个细胞粘连情况。

图10中,给出了关于PCM_0001的次要信息区域块计数图与访问图。图10(a)展示了次要信息区域块计数图,表示每个次要信息局部区域块被几个不同的细胞所访问的次数。此图中包含了被访问了1次、2次以及3次的局部区域块。此伪彩色图中,除了深蓝色的背景之外,被不同次数访问的局部区域块分别标色为淡蓝色(1次)、黄色(2次)以及深红色(3次)。图10(b)给出了次要信息区域块访问图,其中每一个局部区域块的数值是所有访问细胞索引值的累加和

图11中,给出了关于PCM_0001的具有不同计数数值的次要信息二值区域块集合。其中,图11(a)为计数次数为1次的二值区域块集合。图11(b)为计数次数为2次的二值区域块集合。图11(c)为计数次数为3次的二值区域块集合。

图12中,给出了PCM_0001基于细胞主要信息的椭圆区域近似估计结果。此时,假设x={a,b}。那么图12(a)是在离散域上的椭圆蒙板。虽然目标之间的主要信息是不存在相交情况,但是在椭圆区域近似估计之后,某些位置会出现像素相交情况。所以在伪彩色图10(a)中,有些局部区域呈现为深红色(相互覆盖区域),而大部分区域是显示为绿色(无覆盖区域)。图12(b)将椭圆蒙板的梯度信息覆盖在原图上,此时椭圆区域近似估计结果能更准确地反映细胞的生物形态。

椭圆近似估计结果不仅能表征细胞的生物形态,而且其还有另外一个用途,就是确定粘连细胞的粘连方式。虽然独立细胞与粘连细胞情况检测方法可以确定哪些细胞是粘连在一起,哪些细胞是独立的,但是并没有回答粘连细胞是如何粘连的问题。

在图13中,给出了用于确定细胞粘连方式的椭圆长轴延长线交点检测的两个实例。图13(a)与图13(b)是来自于PCM_0001的两个细胞粘连情况,分别记为PCM1_A与PCM1_B。从图中可以看到,每条直线或者线段都对应于每个椭圆区域的长轴,且长轴延长线通过椭圆区域的中心点。中心点都标为黑色实心点。而且线段之间存在着一些交点,这些交点也分别用黑色和白色实心点标记出来。在此图中,不同颜色的标记点仅用于同时表示椭圆区域中心点与线段之间的交点,而不区分其他具体的含义。

本实施例中,更新模块25用于依据粘连方式检测结果,更新所述指示矩阵。

具体的,通过分析椭圆近似估计区域的中心点与各椭圆轴线段交点,可以知道虽然这些多个细胞处于一个细胞粘连情况,但是在某些细胞粘连情况内部,并不是两两细胞都是粘连的。由此便可以更新其所对应的粘连指示矩阵,即剔除那些虽然处于一个粘连情况但是实际上并不粘连的细胞对指示值。图13中给出了来自于PCM_0001的两个椭圆轴关系检测实例。

通过确定粘连细胞之间的粘连方式,能够从先前的粘连指示矩阵中剔除一些错误的细胞粘连指示信息,从而得到更新后的粘连指示矩阵,如图14所示。相比较图14与图9b,减少一小部分的粘连指示点。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

去获取专利,查看全文>

相似文献

  • 专利
  • 中文文献
  • 外文文献
获取专利

客服邮箱:kefu@zhangqiaokeyan.com

京公网安备:11010802029741号 ICP备案号:京ICP备15016152号-6 六维联合信息科技 (北京) 有限公司©版权所有
  • 客服微信

  • 服务号