基于三维医学图像而生成立体视图的技术

具体实施方式

在下文中，对采用根据本发明的实施方案的立体视图生成仪器的医学图像诊断系统进行描述。

图1为医学图像诊断系统的硬件配置图，该图示出了其硬件配置的大致情况。如图1所示，该系统包括通过成像设备1、图像存储服务器2、影像报告服务器3、图像处理工作站4和打印机5，这些设备经由网络9可通信地彼此连接。

成像设备1包括这样的设备，该设备对被检体的检查目标区域进行成像，以生成表示该区域的三维医学图像的图像数据，并通过附加上在DICOM(医学数字成像和通信)标准中所定义的辅助信息来输出图像数据以作为图像信息。该设备的具体例子包括，例如，CT、MRI等。

图像存储服务器2为这样的计算机，其用于将由成像设备1获得的医学图像数据以及通过在图像处理工作站4中进行图像处理生成的医学图像的图像数据存储在数据库中、并对这些图像数据进行管理，图像存储服务器2包括大容量的外部存储单元以及数据库管理软件(例如，关系型数据库(ORDB))。另外，响应于来自图像处理工作站4的检索请求，图像储存服务器2搜索数据库，并将检索到的图像数据发送到发出请求的图像处理工作站4。

影像报告服务器3为这样的计算机，其用于将由图像处理工作站4生成的影像报告数据存储到数据库中，并且对这些数据进行管理。另外，响应于来自图像处理工作站4、其它工作站等(图中未示出)的检索请求，影像报告服务器3搜索数据库，并将检索到的图像数据发送到发出请求的图像处理工作站4。注意，影像报告包括影像读取者对影像读取目标图像及附属图像作出的查找结果，所述附属图像包括显示查找结果的图像、参考图像等。

图像处理工作站4为配备有已知的硬件设备的计算机，所述硬件设备例如为CPU、主存储单元、辅助存储单元、输入/输出界面、通信界面、输入设备(指示设备、键盘等)、数据总线等。具体地，在本实施方案中，工作站4包括立体可视化支持显示单元4a。图像处理工作站4具有已知的操作系统和安装在其上的应用软件。在本实施方案中，可以安装以下软件作为应用软件：用于与已知命令系统协作从图像储存服务器2获取医学图像数据的图像检索和获取应用软件、进行各种图像处理的图像处理应用软件、用于生成/编辑影像报告并从影像报告服务器3获得影像报告的影像报告应用软件、用于进行本发明的立体视图生成的应用软件。应用软件可以由记录介质(如CD-ROM等)安装，或者可从存储服务器下载并安装。通过执行这些应用软件，在图像处理工作站4中进行上述各种类型的处理。

在本实施方案中，使用能够对立体化显示和非立体化显示进行混合显示的显示单元作为立体可视化支持显示单元4a(其详细信息参见文献S.Uehara和K.Shigemura的“High Quality 2D/3D Display”，NEC Technical Journal，NEC公司，日本，2009年4月，62卷，第2期，48-52页，互联网(检索日：2010年1月14日)，URL：http://www.nec.co.jp/techrep/ja/journal/g09/n02/090210.pdf)。具体而言，如图4示意性所示，立体可视化支持显示单元4a的一个显示像素PX包括设置在左侧的右眼像素PX_R和设置在右侧的左眼像素PX_L。像素PX_R和PX_L被彩色滤波器分别划分为在横向方向上条带状的红色显示区域PX_RR和PX_LR、绿色显示区域PX_RG和PX_LG、以及蓝色显示区域PX_RB和PX_LB。立体化显示支持显示单4a具有像素PX的矩阵和光学元件(如透镜镜头、视差光栅等)的组合结构。右眼的视差图像显示在右眼像素PX_R的矩阵上，左眼的视差图像显示在左眼像素PX_L的矩阵上，从而实现了用户的裸眼可视的立体化显示。此外，立体可视化支持显示单元4a能够通过在右眼像素PX_R的矩阵和左眼像素PX_L的矩阵上显示相同的图像，进行非立体化显示。因此，可以通过以下方式实现对立体化显示和非立体化显示的混合显示：在显示画面的一部分中的各眼用像素上显示视差图像，同时在显示画面的另一部分中的各眼用像素上显示相同的图像。

图像数据的存储形式以及系统的各部件之间的通信基于DICOM协议等。

图2是示出图像处理工作站4中与根据本发明第一实施方案的立体视图生成处理有关的功能部分的框图。如图2所示，根据本发明第一实施方案的立体视图生成处理通过以下单元实现：立体视图生成单元11、非立体视图生成单元12以及选择性输出单元13。在图2中，三维医学图像V、左眼视点位置VP_L、右眼视点位置VP_R、左眼视差图像I_L、右眼视差图像I_R、非立体视图I_M、以及输出图像选择条件表SC均为通过上述的各处理单元写入图像处理工作站4的预定存储区域内、并从中读取的数据。

图3为示出在执行本发明第一实施方案的立体视图生成软件时进行用户操作、计算处理、显示处理等流程的流程图。

首先，图像处理工作站4通过已知的图像检索系统或已知的命令系统的图像检索和获取处理从图像储存服务器2获得处理目标三维医学图像V的图像数据(#1)。

然后，立体视图生成单元11基于三维医学图像V、左眼视点位置VP_L和右眼视点位置VP_R，生成用于实现立体化输出的左眼视差图像I_L和右眼视差图像I_R(#2)，并且非立体视图生成单元12由左眼视点位置VP_L和右眼视点位置VP_R确定一个等价于立体化输出的视点，并且基于三维医学图像V，生成用于实现等价于立体化输出的非立体化输出的非立体视图I_M(#3)。

选择性输出单元13参考输出图像选择条件表SC，并且获得指示图像处理工作站4的显示单元(其为目标显示单元)是否支持立体可视化的信息(#4)。如在本实施方案中那样，如果目标单元支持立体可视化(#4：支持立体可视化)，则选择性输出单元13将左眼视差图像I_L和右眼视差图像I_R输出到目标显示单元，并且显示单元基于左眼视差图像I_L和右眼视差图像I_R进行立体化显示(#5)。如果目标显示单元不支持立体化显示(#4：不支持立体可视化)，则选择性输出单元13将非立体视图I_M输出到目标显示单元，并且显示单元显示非立体视图I_M(#6)。

在观测显示在图像处理工作站4的显示单元上的图像后，如果用户指定了用于输出(储存、打印)所观测图像的目标(#7)，则选择性输出单元13参考输出图像选择条件表SC，并确定是输出用于立体可视化的左眼视差图像I_L和右眼视差图像I_R的对、或是输出非立体视图I_M，或是将这两者都输出至图像输出目标(#8)。如果在输出图像选择条件表SC中将立体视图设定为输出目标图像(#8：仅有立体视图)，则选择性输出单元13将左眼视差图像I_L和右眼视差图像I_R输出至输出目标(#9)。如果在表中将非立体视图设定为输出目标图像(#8：仅有非立体视图)，则选择性输出单元13将非立体视图I_M输出至输出目标(#10)，而如果立体视图和非立体视图这两者均被设置在表中(#8：二者均有)，则选择性输出单元13将左眼视差图像I_L、右眼视差图像I_R和非立体视图I_M输出至输出目标(#11)。

现在对每个处理单元执行的处理进行详细描述。

立体视图生成单元11基于三维医学图像V、左眼视点位置VP_L和右眼视点位置VP_R，生成左眼视差图像I_L和右眼视差图像I_R。图5示意性示出三维医学图像中的被检体和左右眼视点之间的位置关系。如图5所示，立体视图生成单元11借助于体积绘制方法生成左眼视差图像I_L和右眼视差图像I_R，其中所述左眼视差图像I_L是通过将连接左眼视点位置VP_L与被检体SBJ的每个视线上的像素进行投影生成的，并且所述右眼视差图像I_R是通过将连接右眼视点位置VP_L与被检体SBJ的每个视线上的像素进行投影生成的。此处，左眼视点位置VP_L和右眼视点位置VP_R可被预设为程序的起始参数，或者可提供用于设定各视点位置VP_L、VP_R的用户界面(例如，如图5所示的设定画面)，从而允许用户手动设定每个视点位置VP_L、VP_R，或者允许对预设的视点位置进行校正，以补偿个体之间的左右视差中的差别。图5示出从每个视点位置VP_L、VP_R进行的中心投影，但是可通过在连接每个视点位置VP_L、VP_R与被检体SBJ中心的视线方向上进行平行投影，来生成每个视差图像I_L、I_R，假设每个视点在各视线方向上距离被检体SBJ无限远。

基于左眼视点位置VP_L和右眼视点位置VP_L，非立体视图生成单元12首先确定一个视点位置(等价视点位置)，该视点位置等价于这样的情况：其中通过将左右眼各自定位到各眼视点位置而观看被检体。具体而言，如图5所示，连接左眼视点位置VP_L与右眼视点位置VP_R的线段中点被确定为非立体视图的等价视点位置VP_M。此处，等价视点位置VP_M可以为与左右视点位置均等距的其它位置，或者为左眼视点位置VP_L和右眼视点位置VP_R间的加权平均位置，即，考虑到个体间的左/右视差中的差别、以预定比例(如3∶2)将连接左右视点的线段进行内分的位置。此外，例如，等价视点位置VP_M可在以被检体SBJ的重心为中心、并通过左右视点位置的弧上确定，而非在连接左右视点的线段上确定。

接着，非立体视图生成单元12借助于体积绘制、通过将连接等价视点位置VP_M与被检体SBJ的每个视线上的像素进行投影，生成非立体视图I_M。对于非立体视图生成单元12中使用的具体投影方法(中心投影或平行投影)，可以使用在立体视图生成单元11中使用的相同方法。

此处，可采用这样的布置，其中将在立体视图生成单元11和非立体视图生成单元12中进行的处理(用于借助于体积绘制，通过将连接预设的视点位置与被检体的各视线上的像素进行投影，生成图像)配置为通用模块，并且分离地提供用于确定等价视点位置VP_M和视线方向的处理模块。然后，借助于通用模块、通过根据生成目标图像接收视点位置信息作为处理参数，生成用于立体可视化的视差图像I_L、I_R的对，或非立体视图I_M。

选择性输出单元13选择性地输出左右眼视差图像I_L、I_R，或非立体视图I_M。

图6示出输出图像选择条件表SC的结构和内容的例子。如图6所示，输出图像选择条件表SC针对各输出目标设备定义了是否输出(Y：输出，N：不输出)立体视图(左右眼视差图像I_L、I_R)和非立体视图。即，在图5中，选择性输出单元13被设定为：将左右眼视差图像I_L、I_R输出至立体可视化支持显示单元4a，只将非立体视图I_M输出至立体可视化不支持显示单元、影像报告服务器3和打印机5，并且将左右眼视差图像I_L、I_R和非立体视图I_M输出至图像储存服务器2。选择性输出单元13基于给定作为启动参数的输出目标设备信息或者通过用户指定，参考输出图像选择条件表SC，来确认要被输出到输出目标设备的图像的类型，并且输出所确认的一个或多个图像。

当通过选择性输出单元13将左右眼视差图像I_L、I_R输出至立体可视化支持显示单元4a时，在立体可视化支持显示单元4a中，左眼视差图像I_L显示在左眼像素PX_L的矩阵上，而右眼视差图像I_R显示在右眼像素PX_R的矩阵上。

如上所述，在本发明的第一实施方案中，由选择性输出单元13基于输出图像选择条件表SC，选择性输出由立体视图生成单元11通过使用三维图像V作为输入生成的视差图像I_L、I_R，以及由非立体视图生成单元12通过使用三维图像V作为输入生成的非立体视图I_M。这使得立体视图或非立体视图能够根据预期用途被灵活、适当地输出。

具体而言，输出图像选择条件表SC被设定为使得立体视图被输出到能够显示立体图像的立体可视化支持显示单元4a，并且使得非立体视图被输出到不能显示立体图像的立体可视化不支持显示单元。这允许根据连接到图像处理工作站4的显示单元的类型来输出适当的图像。另外，当输出图像选择条件表SC被设定为根据以下方面由影像报告服务器3输出非立体可视化的附加图像时，影像报告可以被常规的显示单元引用，而不需使用特定的显示单元(如立体可视化支持显示单元4a)，其中所述方面为：影像报告不仅被与立体可视化支持显示单元4a相连的图像处理工作站4引用，而且也被其它的工作站引用。同样，如果在通过打印机5将影像报告以硬拷贝形式输出到纸或胶片上时不采用立体可视化方式，则可以通过设定输出图像选择条件表SC使得通过打印机5输出非立体可视化用图像，从而由打印机5输出适宜于观测的图像。同时，如果输出图像选择条件表SC被设定为使得由图像储存服务器2输出视差图像I_L、I_R和非立体视图I_M，则可以根据来自不同类型工作站的每个检索请求来提供适当的图像。上述的输出图像选择条件表SC的设定只是一个例子，并且表SC可根据图像的预期用途、系统配置等适当地进行设定，例如，使得图像储存服务器2只输出非立体视图I_M。

此外，三维图像V被用作输入，使得能够容易、灵活地生成等价于立体视图的非立体视图I_M，而不需要重新捕捉图像。

另外，非立体视图I_M是由等价于从左眼视点位置和右眼视点位置观看被检体的情况的单个视点观看的被检体图像，因而可以消除由于基于左右眼视差图像I_L、I_R的立体化输出与基于非立体视图I_M的非立体化输出之间的视线实质差异而导致的不适感觉。

在上述的实施方案中，生成了用于立体可视化的左右眼视差图像I_L、I_R，以及非立体视图I_M，但是它们也可也在输出时根据需要来生成，如图7A、7B的流程图所示的那样。

也就是说，在在图像处理工作站4中获得处理目标三维医学图像V的图像数据(#21)后，选择性输出单元13参考输出图像选择条件表SC，并获得指示图像处理工作站4的显示单元是否支持立体可视化的信息。如果目标单元支持立体可视化(#22：支持立体可视化)，则使立体视图生成单元11生成左眼视差图像I_L和右眼视差图像I_R(#23)，而如果目标单元不支持立体可视化(#22：不支持立体可视化)，则使非立体视图生成单元12生成非立体视图I_M(#24)，并且输出生成的图像并显示在显示单元上(#25)。

在观测显示的图像后，如果用户指定了用于输出(储存、打印)所观测图像的目标(#26)，则选择性输出单元13参考输出图像选择条件表SC，并确认要被输出到指定输出目标设备的图像类型(#27)。如果在输出图像选择条件表SC中将立体视图设定为输出目标图像(#27：只有立体视图)，并且尚未生成左眼视差图像I_L和右眼视差图像I_R(#28：否)，则选择性输出单元13使立体视图生成单元11生成左眼视差图像I_L和右眼视差图像I_R(#29)，并且将在步骤#23(在#28的情况下：是)或在步骤#29中生成的左眼视差图像I_L和右眼视差图像I_R输出到输出目标设备(#30)。如果在输出图像选择条件表SC中将非立体视图设定为输出目标图像(#27：只有非立体视图)，并且尚未生成非立体视图I_M(#31：否)，则选择性输出单元13使非立体视图生成单元12生成非立体视图I_M(#32)，并将在步骤#24(在#31的情况下：是)或在步骤#32中生成的非立体视图I_M输出到输出目标设备(#33)。如果立体视图和非立体视图两者均被设定为输出目标图像(#27：二者均有)，并且尚未生成左眼视差图像I_L和右眼视差图像I_R(#34：否)，则选择性输出单元13使立体视图生成单元11生成左眼视差图像I_L和右眼视差图像I_R(#35)。此外，如果尚未生成非立体视图I_M(#36：否)，则选择性输出单元13使非立体视图生成单元12生成非立体视图I_M(#37)，并将在步骤#23(在#34的情况下：是)或在步骤#35中生成的左眼视差图像I_L和右眼视差图像I_R以及在步骤#24(在#36的情况下：是)或在步骤#37中生成的非立体视图I_M输出到输出目标设备(#38)。

如上所述，如果使得通过选择性输出单元13根据需要生成立体视图和/或非立体视图，则图像处理工作站4的处理效率得到提高。这在以下情况时尤其有效：允许在步骤#25中为显示在图像处理工作站4的显示单元上的图像进行视点位置的改变等操作，根据该操作通过立体视图生成单元11或非立体视图生成单元12再生成显示目标图像，并且对显示单元上显示的图像进行更新。也就是说，在图3所示的流程图中，例如，如果对步骤#5中立体化显示的图像改变视点位置，那么不仅再生成用于立体可视化的视差图像I_L、I_R，而且还会同时再生成在步骤#3中已经生成的非立体视图I_M，由此使得步骤#3中生成的非立体视图I_M浪费。与此形成对比的是，在图7A、7B的流程图中，即使是在步骤#25的时间点重复视点位置的改变操作，在#26的时间点也可以只生成一次用于立体可视化的视差图像I_L、I_R以及非立体视图I_M，从而使得处理效率得到提高。

接着，将以下实施方案作为本发明的第二实施方案进行描述：在与图1所示的医学图像诊断系统中的图像处理工作站4相连的立体可视化支持显示单元4a上，进行立体化显示和非立体化显示之间的切换。

图8是图像处理工作站4与根据本发明的第二实施方案的立体视图生成处理相关的功能部分的框图。如图8所示，通过以下单元实现本发明的第二实施方案的立体视图生成处理：立体视图生成单元11、非立体视图生成单元12、断面图像生成单元14和显示控制单元15。在图8中，三维医学图像V、左眼视点位置VP_L、右眼视点位置VP_R、左眼视差图像I_L、右眼视差图像I_R、非立体视图I_M、轴向断面图像I_A、冠状断面图像I_C、径向断面图像I_S(在下文中除非特别需要进行任何区分，否则将这三个断面图像统称为三个正交断面图像)、左眼显示画面SC_L和右眼显示画面SC_R均为通过上述的各处理单元写入图像处理工作站4的预定存储区域内、并从中读取的数据。

图9为在执行根据本发明第二实施方案的立体视图生成软件时进行的用户操作、计算处理、显示处理等流程的流程图。

首先，图像处理工作站4通过已知的图像检索系统或已知的命令系统的图像检索和获取处理从图像储存服务器2获得处理目标三维医学图像V的图像数据(#41)。

然后，立体视图生成单元11基于三维医学图像V、左眼视点位置VP_L和右眼视点位置VP_R，生成用于实现立体化输出的左眼视差图像I_L和右眼视差图像I_R(#42)，并且非立体视图生成单元12由左眼视点位置VP_L和右眼视点位置VP_R确定一个等价于立体化输出的视点，并且基于三维医学图像V，生成用于实现等价于立体化输出的非立体化输出的非立体视图I_M(#43)。另外，断面图像生成单元14生成用于非立体化观看三个断面(轴向、冠状和径向断面)的三个正交断面图像I_A、I_C、I_S，其中所述三个断面在被检体的给定点以直角相交(#44)。

显示控制单元15基于预定的显示协议(初始显示条件)，生成包括左眼视差图像I_L和三个正交断面图像I_A、I_C、I_S的左眼显示画面SC_L，以及包括右眼视差图像I_R和三个正交断面图像I_A、I_C、I_S的右眼显示画面SC_R，并将左眼和右眼显示画面SC_L、SC_R输出到立体可视化支持显示单元4a。这使得立体可视化支持显示单元4a对基于左眼视差图像I_L和右眼视差图像I_R的立体化显示和三个正交断面图像的非立体化显示进行混合显示(#45，图11A到11C)。

此处，如果用户给出指令以在立体化显示和非立体化之间进行切换或者通过操作图像处理工作站4的键盘或指示设备进行图像切换(#46)，则显示控制单元15根据操作内容重建左眼和右眼显示画面SC_L、SC_R，并将重建的显示画面SC_L、SC_R输出到立体可视化支持显示单元4a，从而对立体可视化支持显示单元4a上的显示进行更新(#47)。

现在对各处理单元执行的处理进行详细描述。立体视图生成单元11和非立体视图生成单元12执行的处理与第一实施方案相同。

基于三维医学图像V和被检体的给定点的位置信息，断面图像生成单元14利用已知的MPR技术，生成通过给定点的轴向、冠状和径向的三个正交断面的断面图像I_A、I_C、I_S。可以将被检体中作为断面位置基础的点预设为程序的起始参数等，或者可以提供用户界面以用于设定断面位置，从而允许用户手动设定位置，或允许对预定位置进行校正。

显示控制单元15根据给定的显示条件适当地从左右眼视差图像I_L、I_R和三个正交断面图像I_A、I_C、I_S中选择显示目标图像，以生成左眼和右眼显示画面SC_L、SC_R，并将生成的显示画面SC_L、SC_R输出到立体可视化支持显示单元4a。即，显示控制单元15是本发明的选择性输出装置的一个实施例，并且显示条件对应于输出图像选择条件。可以将显示条件提供作为程序的起始参数，或者通过用户在用户界面(图10中的用户界面区域22)的手动操作提供显示条件，这将在以下进行描述。

图10以例子的方式示意性示出对于显示画面SC_L、SC_R通用的显示画面的结构。如图10所示，左眼和右眼显示画面SC_L、SC_R包括图像显示区域21和用户界面区域22。图像显示区域21包括分配各图像的子区域21a、21b、21c、21d，由此以2×2矩阵来布置可以被显示的四个图像。同时，用户界面区域22包括用于进行显示图像切换、图像编辑等的用户界面。具体而言，作为用于选择/切换显示图像的用户界面，复选框22a被提供用于选择显示或不显示三个正交断面图像I_A、I_C、I_S和体积绘制图像，即用于立体可视化的左右眼视差图像I_L、I_R以及非立体视图I_M。此外，还提供了：用于选择是否立体化观察体积绘制图像的复选框22b，用于改变图像显示区域21的布局的单选按钮22c，用于插入箭头、标记和评述的标注按钮22d，以及用于编辑图像(如在视线方向上剪切，放大关注区域等)的图像编辑按钮22e。

图11A、11B分别示出左眼显示画面SC_L和右眼显示画面SC_R的设置的例子，该设置用于对基于左右眼视差图像I_L、I_R的立体化显示以及基于三个正交断面图像I_A、I_C、I_S的非立体化显示的混合显示。图11C示意性示出基于显示画面SC_L、SC_R而显示在立体可视化支持显示单元4a上的画面。该显示画面对应于基于图9流程图中步骤#45的初始显示条件显示的画面，或者对应于当如图10所示的显示画面20的用户界面区域22内的用于三个正交断面图像和体积绘制图像的复选框22a、以及用于立体观察的复选框22b均被勾选时显示的画面。

如图11A、11B所示，轴向断面图像I_A、冠状断面图像I_C和径向断面图像I_S被分别布置在左眼显示画面SC_L和右眼显示画面SC_R的子区域21a、21b、21c内。因此，在立体可视化支持显示单元4a的对应于各子区域21a、21b、21c的各个显示像素中，在各个显示像素内的左眼像素和右眼像素上基于相同的像素值进行显示。结果如图11C所示，三个正交断面图像I_A、I_C、I_S非立体化地显示在立体可视化支持显示单元4a上。同时，左眼视差图像I_L被布置在左眼显示画面SC_L的子区域21d内，并且右眼视差图像I_R被布置在右眼显示画面SC_R的子区域21d内。因此，在立体可视化支持显示单元4a的对应于子区域21d的各个显示像素内，在各个显示像素内的左眼像素上基于左眼视差图像I_L的像素值进行显示，而在各个显示像素内的右眼像素上基于右眼视差图像I_R的像素值进行显示。结果如图11C所示，基于左眼视差图像I_L和右眼视差图像I_R的体积绘制图像立体化地显示在立体可视化支持显示单元4a上。

图12A示出左眼显示画面SC_L和右眼显示画面SC_R的设置例子，该设置用于对基于非立体视图I_M的体积绘制图像的非立体化显示和基于三个正交断面图像I_A、I_C、I_S的非立体化显示，而不进行立体化显示。图12B示意性示出基于显示画面SC_L、SC_R在立体可视化支持显示单元4a上显示的画面。该显示画面对应于在以下情况时显示的画面：在如图10所示的显示画面20的用户界面区域22内，用于三个正交断面图像和体积绘制图像的复选框22a被勾选，而用于立体化观察的复选框22b不被勾选。

如图12A所示，轴向断面图像I_A、冠状断面图像I_C和径向断面图像I_S被布置在子区域21a、21b、21c内，并且非立体视图I_M被布置在左眼显示画面SC_L和右眼显示画面SC_R各自的子区域21d内。因此，在立体可视化支持显示单元4a的对应于各子区域21a、21b、21c的各个显示像素中，在各个显示像素内的左眼像素和右眼像素上基于相同的像素值进行显示。结果，如图12B所示，三个正交断面图像I_A、I_C、I_S和非立体视图I_M非立体化地显示在立体可视化支持显示单元4a上。如第一实施方案所述，非立体视图I_M的显示为等价于基于左眼视差图像I_L和右眼视差图像I_R的体积绘制图像的立体化显示的非立体化显示。

图13A示出左眼显示画面SC_L和右眼显示画面SC_R的设置例子，该设置用于仅基于三个正交断面图像I_A、I_C、I_S进行非立体化显示，而不进行立体化显示。图13B示意性示出基于显示画面SC_L、SC_R在立体可视化支持显示单元4a显示的画面。该显示画面对应于在以下情况时显示的画面：在图10所示的显示画面20的用户界面区域22内，用于三个正交断面图像(上边)的复选框22a被勾选，而用于体积绘制图像的复选框22a和用于立体化观看的复选框22b不被勾选。

如图13A所示，轴向断面图像I_A、冠状断面图像I_C和径向断面图像I_S被布置在左眼显示画面SC_L和右眼显示画面SC_R各自的子区域21a、21b、21c内。因此，在立体可视化支持显示单元4a的对应于各子区域21a、21b、21c的各个显示像素中，在各个显示像素内的左眼像素和右眼像素上基于相同的像素值进行显示。

图14A到14C示出以下情况：其中在与图10所示的显示画面20的用户界面区域22中相同的设置状态下，对用于选择图像显示区域21的布局的单选按钮22c的选择从左侧所示的布局改变为中间所示的布局。如图14A、14B所示，其中显示区域被等分为成2×2矩阵形式的布局被改变为其中显示区域被划分成4个区域的布局，该布局包括左半部分的三个等分区域和余下的右半部分。在左眼显示画面SC_L和右眼显示画面SC_R中，三个正交断面图像I_A、I_C、I_S被布置在图像显示区域左半部分的三个子区域内。此外，左眼视差图像I_L被布置在左眼显示画面SC_L的右半区域，而右眼视差图像I_R被布置在右眼显示画面SC_R的右半区域。这会导致以下情况：在立体可视化支持显示单元4a的对应于图像显示区域21的左半部分的各个显示像素中，在各个显示像素内的左眼像素和右眼像素上基于相同的像素值进行显示，从而如图14C所示，三个正交断面图像I_A、I_C、I_S非立体化地显示在立体可视化支持显示单元4a上。同时，左眼视差图像I_L被布置在左眼显示画面SC_L的右半部分，并且右眼视差图像I_R被布置在右眼显示画面SC_R的右半部分，因此，在立体可视化支持显示单元4a的对应于图像显示区域21的右半部分的各个显示像素内，在各个显示像素内的左眼像素上基于左眼视差图像I_L的像素值进行显示，而在各个显示像素内的右眼像素上基于右眼视差图像I_R的像素值进行显示。结果如图14C所示，基于左眼视差图像I_L和右眼视差图像I_R的体积绘制图像立体化地显示在立体可视化支持显示单元4a上。

图15示出在按下用于在视线方向上对立体化显示的图像进行剪切的图像编辑按钮22e(左边)时显示的例子。如图15所示，当用户使用指示设备等按下用于在视线方向上对立体化显示的图像进行剪切的图像编辑按钮22e(左边)时，显示由基于左右眼视差图像I_L、I_R的立体化显示和基于三个正交断面图像I_A、I_C、I_S的非立体化显示的混合显示(如图11C所示)切换到非立体视图I_M和三个正交断面图像I_A、I_C、I_S的非立体化显示(如图12B所示)。用户可以使用指示设备等在子区域21d内的非立体化显示的非立体视图I_M中设置剪切面CL。断面图像生成单元14生成如下断面的断面图像，所述断面通过所确定的剪切面CL，并平行于非立体视图I_M的视线方向(图5中的VL_M)，并且显示控制单元15，例如，生成与图10所示窗口不同的新的图像显示窗口，并使得基于剪切面CL生成的断面图像显示在该窗口中。

图16示出在按下用于进行关注区域的放大显示的图像编辑按钮22e(右边)时显示的例子。如图16所示，当用户使用指示设备等按下用于进行关注区域的放大显示的图像编辑按钮22e(右边)时，显示也由基于左右眼视差图像I_L、I_R的立体化显示和基于三个正交断面图像I_A、I_C、I_S的非立体化显示的混合显示(如图11C所示)切换到非立体视图I_M和三个正交断面图像I_A、I_C、I_S的非立体化显示(如图12B所示)。用户可以使用指示设备等在子区域21d内的非立体化显示的非立体视图I_M中指定关注区域ZR。使用三维医学图像V中对应于所指定的关注区域ZR的三维区域作为输入，图像处理工作站的立体视图生成单元11生成各眼的放大的视差图像，该视差图像的分辨率高于之前基于左眼视点位置VP_L和右眼视点位置VP_R显示的左眼视差图像I_L和右眼视差图像I_R的分辨率。然后，显示控制单元15，例如，生成与图10所示窗口不同的新的图像显示窗口，并基于所生成的各眼的视差图像使得对应于关注区域ZR的区域以放大的形式立体化地显示在该窗口中。

如上所述，显示控制单元15可以使得立体可视化支持显示单元4a响应于图10所示的用户界面区域22上提供的各种类型界面的用户操作，通过改变显示图像的类型、显示方法(立体化显示或非立体化显示)和显示布局，从而进行显示。例如，可以按照如下方式执行显示模式的切换。即，当由立体可视化支持显示单元4a的指示设备操作的指针移至立体化显示图像的区域(图11A到11C的例子中的子区域21d)时，左眼显示画面SC_L和右眼显示画面SC_R的立体化显示区域中的左右眼视差图像I_L、I_R改变为非立体视图I_M，从而使该区域内的图像显示从立体化显示切换到非立体化显示。相反，当指针移出显示非立体视图I_M的区域(图12A、12B的子区域21d)时，左眼显示画面SC_L和右眼显示画面SC_R的区域中的非立体视图I_M分别改变为对应于非立体视图I_M的左右眼视差图像I_L、I_R，从而使该区域内的图像显示从非立体化显示切换到立体化显示。

如上所述，在本发明第二实施方案中，显示控制单元15基于初始显示条件和由用户操作设置的其它显示条件，选择性输出由立体视图生成单元11生成的左右眼视差图像I_L、I_R以及由非立体视图生成单元12生成的非立体视图I_M。这允许根据预期用途而灵活、适当地输出立体视图或非立体视图。

具体而言，如果在对立体化显示的图像设置用于在视线方向上剪切的剪切面或用于局部放大显示的关注区域时显示非立体视图I_M，则可以对等价于立体化图像的非立体视图I_M进行设置操作。结果，当进行上述操作时，消除了由于观察立体图像用的视线之间的实质差异而导致的不适感觉(如输出视差图像I_L、I_R之一以进行操作的情况)，或者避免了其中在上述操作中指定了与用户期望位置不同的位置的情况，由此提高了可操作性。

注意，如第一实施方案那样，在第二实施方案中可以使得通过显示控制单元15根据需要生成用于立体观看的左右眼视差图像I_L、I_R和非立体视图I_M。

此外，在第二实施方案中，步骤#45中的初始显示条件不仅限于图11A到11C所示的用于进行显示的条件，而是初始显示条件可以为以下条件：图12A、12B所示的用于进行显示的条件、图13A、13B所示的用于进行显示的条件、或图14A到14C所示的用于进行显示的条件。

在上述的第二实施方案中，当如图15所示在视线方向上进行剪切以及如图16所示对关注区域进行放大时，子区域21d的显示从基于左右眼视差图像I_L、I_R的立体化显示切换到基于非立体视图I_M的非立体化显示。然而，可以将图12A所示的使用非立体视图I_M的显示画面信息存储在预定存储区域内以便指示设备的位置控制，并且当基于左右眼视差图像I_L、I_R继续在子区域21d内进行立体化显示时，可以在指示设备的指针的移动操作以及剪切面CL和关注区域ZR的设置操作中、通过用于指示设备的位置控制的显示画面信息，内部地识别剪切面CL和关注区域ZR的位置。

具体而言，在用于位置控制的显示画面信息的非立体视图I_M上检测到指示设备的指针位置，在三维医学图像V的坐标空间内对非立体视图I_M投影而获得的投影面上识别对应于所检测位置的位置，然后在连接投影面上的对应点与等价视点位置VP_M的视线上从等价视点位置VP_M向三维医学图像V进行搜索，并且可以将基于射线造型法处理(ray casting process)的不透明度的积分值超过预定的阈值的点确定为指针在三维医学图像V的坐标空间内的位置(三维位置)。此处，当进行搜索时，可以检测到不透明度值或像素值变化得比预定的阈值更快的点或者不透明度值或像素值超过预定的阈值的点，并将其确定为指针的三维位置。另外，当通过MIP方法生成非立体视图I_M时，可以将像素值变为最大值的点确定为指针的三维位置。如果确认了对穿过指针的三维位置和左眼视点位置VP_L的视线上的像素进行投影而获得的投影面上的点，并且使指针(箭头标记等)显示在左眼视差图像I_L中对应于所确认位置的位置上，那么类似地，确认对穿过指针的三维位置和右眼视点位置VP_R的视线上的像素进行投影而获得的投影面上的点，并且使指针(箭头标记等)显示在右眼视差图像I_R上对应于所确认位置的位置上，从而指针可以立体化地显示在子区域21d上。在确定指针的三维位置的方法中，不透明度值或像素值可能在三维医学图像V的不存在被检体的区域中不满足上述的阈值条件。在这种情况下，指针可能不被显示，或者指针可能基于非立体视图I_M中的用于位置控制的指针位置，被非立体化显示。在这种情况下，指针的显示模式(如色彩或形状)可以在立体化显示和非立体化显示之间改变。

这样，当基于左右眼视差图像I_L、I_R继续在子区域21d内进行立体化显示时，如果在指示设备的指针的移动操作以及剪切面CL和关注区域ZR的设置操作中、通过用于指示设备的位置控制的显示画面信息的非立体视图I_M内部地识别指针的位置、剪切面CL、或关注区域ZR，并且还立体化低显示指针的位置等，那么可以通过立体化显示而精确地识别被检体内部深度方向上的结构的位置关系，并且可在该深度方向上进行指示设备的各种操作。这可以避免不期望的用户操作(如没有指定位于后面的期望血管，而是错误地指定前面的不期望结构)，从而使得可操作性得到提高。

指示设备的指针可以基于非立体视图I_M中的用于位置控制的指针位置而总是非立体化显示的。在这种情况下，指针的显示模式可以在存在被检体的区域和非立体视图I_M的其它区域之间发生改变。

例如，当用户使用如图10所示的标注按钮22d在画面显示(包括立体化显示，如图11C所示)上对任一个非立体化显示的图像进行添加标注的操作时，显示控制单元15可以为这样的单元：其确认三维医学图像V中添加标注的位置，并向其它断面图像和立体化显示的图像的相应位置上添加并显示同样的标注。图17示出这样的显示例子：其中响应于向轴向断面图像I_A添加箭头状标注M_A的操作，箭头状标注M_C、M_X被分别添加到冠状断面图像I_C和立体化显示的图像的相应位置。此处，标注M_X被添加到用于立体化显示的初始左右眼视差图像I_L、I_R上的相应位置，因此标注M_X是立体化显示的。

上述实施方案仅供示意之用，并且许多实施方案不应解释为限制本发明的技术范围。

应当认识到，在不偏离本发明的精神的条件下，可对上述实施方案中的系统配置、硬件配置、处理流程、模块结构、用户界面、具体的处理内容等进行多种修改和变化，所有这些修改和变化均在本发明范围内。

例如，对于系统配置，已经对其中通过单独的图像处理工作站4进行如图2和图8所示的各种类型的处理的情况进行了说明；然而系统可被配置为使得各种类型的处理被分配到多台工作站中，并且彼此协调地执行这些处理。

对于硬件配置，立体化显示方法不仅限于上述的方法，并且可以使用具有特定光学特性的玻璃(如在日本未审查专利申请公开No.62(1987)-16741中所述的立体观察仪)的方法，或使用三维显示像素阵列的方法。此外，对左右眼的每一个可以使用一个视差图像来进行立体化显示，但是可以在左右每一侧都显示多个视差图像，如文献“Research & Development of Stereoscopic Display”，Takaki Lab.，Tokyo University of Agriculture and Technology，Faculty of Technology，Department of Electrical Engineering，URL：http://www.tuat.ac.jp/～e-takaki/display/display.html所述的那样。

此外，可以按照上述的第二实施方案中那样，在软件中通过用户界面的操作进行立体化显示和非立体化显示之间的切换，或者利用硬件通过显示单元上的开关等进行上述切换。

对于处理流程，图3的流程图的步骤#2和#3中的图像生成处理，与步骤#42到#44的图像生成处理可以在每个流程中并行执行，或者依次执行，并且可以改变处理顺序。

对于模块结构，可以将第一和第二实施方案组合，以便既在立体可视化支持显示单元4a上实现立体化显示和非立体化显示之间的切换(第二实施方案)，又在各输出目标设备的立体化显示和非立体化显示之间实现切换(第一实施方案)。

对于具体处理内容，立体视图生成单元11和非立体视图生成单元12可以通过体积绘制方法之外的其它方法生成图像，所述其它方法例如为MIP法、MinIP法、MPR方法等。即，生成的图像可以为具有深度方向信息的伪三维图像，或二维图像。可以在用于立体可视化的左右眼视差图像I_L、I_R中提供用于立体可视化的区域和非立体可视化用的区域。例如，如果通过以下方法生成左右眼视差图像I_L、I_R，则可以在表示整个心脏的图像中实现冠状动脉的立体化显示，以及冠状动脉以外的心脏部分的非立体化显示，所述方法为：基于表示被检体心脏的三维医学图像V，通过已知方法提取出立体可视化目标冠状动脉；生成只用于提取出的冠状动脉的左右眼视点VP_L、VP_R的视差图像；生成从等价视点位置VP_M观看的图像，作为用于冠状动脉以外的心脏部分的左右视差图像；并且将视差图像与表示心脏部分的图像分别彼此叠加。

此外，如果将在不同时间阶段获得的三维医学图像V用作输入，则基于该输入，针对各时间阶段生成左右眼视差图像I_L、I_R和非立体视图I_M，并且将每个生成的图像以时间顺序方式进行切换和显示，从而可以实现类似动画的显示。特别是，当通过将左右眼视差图像I_L、I_R同步来进行切换显示时，则可以实现类似立体动画的显示。

另外，当进行立体化显示时，显示控制单元15可以被配置为不仅立体化显示表示被检体的图像，而且还立体化显示，例如，以下方面：如图18所示，当图像处理工作站4的指示设备在立体化显示的图像上被右击时显示的子菜单，或如图19所示，指示被检体的方向的图标(H指头侧，A指前侧，并且R指右侧)。