专利名称：虚拟显微镜系统的制作方法
技术领域：
本发明涉及用于估算通过拍摄染色样品(stained sample)获得的染色样品图像 的光谱的虚拟显微镜系统。
背景技术：
光谱透射率光谱(spectral transmittance spectrum)是代表成像目标特有的 物理性能的物理量之一。光谱透射率是代表各个波长的透射光与入射光的比率的物理量， 并且与取决于照射光的变化的诸如RGB值等色彩信息不同，光谱透射率是目标的特有的信 息，其值不随外界的影响而变化。因此，光谱透射率作为再现目标自身色彩的信息被用在各 种领域。例如，在使用人体组织样品尤其是病理标本的病理学诊断的领域中，光谱透射率作 为光谱特性值的示例被用于分析通过拍摄样品而获得的图像。下面将具体说明光谱透射率 用于病理学诊断的使用示例。作为病理学诊断用的一种病理检查，已知利用显微镜观察取自病变部位的组织用 于诊断疾病或病变的扩散程度的组织诊断。该组织诊断也被称为“活组织检查”，其将通过 摘取器官获得的大块样品或通过穿刺活检获得的病理标本切成几微米厚，并且利用显微镜 进行放大以获得各种发现，该诊断已经被广泛使用。因为设备和材料相对便宜并且易于操 作，因此使用光学显微镜的透射观察是最普通的观察方法之一，并且该方法已经使用多年。 在透射观察的情形中，切片样品几乎不吸收和散射光，并且几乎是透明和无色的。因此，通 常在观察之前通过染色剂(dye)给样品染色。已经提出了多种染色方法，并且总共已经提出了上百种染色方法。特别地，对于病 理标本，采用蓝紫色的苏木精和红色的曙红作为颜料的苏木精-曙红染色法(下文中称为 “HE染色法”)已被用作标准染色方法。苏木精是从植物中提取的自然物质，并且本身不具有可染性。但是，作为苏木精的 氧化产物的血色素是嗜碱性染色剂并且结合到带负电荷的物质。包含在细胞核中的脱氧核 糖核酸(DNA)通过作为组分包含的磷酸基团而带负电，因此当脱氧核糖核酸与血色素结合 时被染成蓝紫色。如上所述，具有可染性的物质是苏木精的氧化产物血色素，而不是苏木 精。但是，普遍地用苏木精作为染色剂的名称，并且这也适用于后面的说明。另一方面，曙红是嗜酸性染色剂并且结合到带正电的物质。氨基酸和蛋白质根据 它们的PH环境而带负电或带正电，并且在酸性环境下具有很强的带正电的趋势。因此，在 一些情况下乙酸被加入到曙红溶液中。包含在细胞质中的蛋白质当与曙红结合时被染成红 色或浅红色。被HE染色后(染色样品)，样品中的细胞核、骨组织等被染成蓝紫色，并且细胞质、结缔组织、血细胞等被染成红色，这提供了可见性。于是观察者获知诸如细胞核等构成组织 的元素的大小和位置关系等，由此能够使观察者从形态上确定样品的状态。除了通过观察者目视检查外，还可以通过显示在外部装置的显示屏上的多谱带 (multiband)成像观察染色样品。在图像被显示在屏幕上的情况下，进行用于从所获得的多 谱带图像估算样品各点处的光谱透射率的处理和用于基于所估算的光谱透射率而估算给 样品染色的染色剂的量的处理，等等，并且组成将显示的图像，该图像是样品的用于显示的 RGB图像。从样品的多谱带图像估算样品各点处的光谱透射率的方法包括，例如，主成分分 析、维纳估算法(wiener estimation method)等。维纳估算法被熟知为一种用于从所观察 的混有噪声的信号估算原始信号的线性过滤方法，并且维纳估算法是用于使所观察的目标 和噪声(观察的噪声)的统计特性方面的误差最小化的方法。来自照相机的信号包含某些 种类的噪声。因此维纳估算法是用于估算原始信号的非常有用的方法。下面说明通过从样品的多谱带图像组成显示图像而制作虚拟切片(virtual slide)的方法。虚拟切片是通过拼接(patch)由显微镜装置拍摄的一个或多个多谱带图像 而制作的图像，例如是通过拼接由高倍显微镜物镜拍摄的染色样品的各部分的多个高分辨 率图像而制作的图像。虚拟切片是指染色样品的整个视图的广视野且高清晰度的多谱带图 像。首先，在转动滤波器轮以切换16件带通滤波器的同时，例如，基于帧顺序法 (frame sequential method)拍摄样品的多谱带图像。通过这种方式，能够在样品的各点处 获得具有16条谱带的像素值的多谱带图像。虽然染色剂初始被三维地分布到待观察的样 品中，但是因为是使用普通的透射观察系统，所以染色剂不能作为三维图像被拍摄，并且通 过样品的照射光作为投射在照相机的成像元件上的二维图像被观察。因此，这里所说的各 点是指样品的与投射到成像元件的各像素对应的点。对于所拍摄的多谱带图像的任意点(像素)x，基于照相机的响应系统在谱带b中 的像素值g(x，b)和样品的对应点处的光谱透射率t(x，λ)之间建立由下面的式(1)表示 的关系g(x,b) =/ Af(b, A)s(A)e(A)t(x, λ ) d λ+η (b) · · · (1)在式(1)中，λ表示波长，f(b，λ)表示第b滤波器的光谱透射率，s( λ)表示照 相机的光谱灵敏度特性，β(λ)表示照射光的光谱发光特性，并且η (b)表示谱带b中的观 察噪声。b表示用于区分谱带的序号，并且是满足Kb <16的整数。在实际计算中，使用 通过将式(1)沿波长方向离散而获得的下面的式O)。G (χ) = FSET (x) +N ... (2)在式O)中，当沿波长方向的样品点的数量被表示为D并且谱带的数量被表示为 Β(在该情形下，B = 16)时，G(X)表示与点χ处的像素值g(x，b)对应的B行1列的矩阵。 以同样的方式，T(X)表示与t(x，λ)对应的D行1列的矩阵，而F表示与f(b，λ)对应的 B行D列的矩阵。另一方面，S表示D行D列的对角矩阵，并且对角元素与8(λ)对应。以 同样的方式，E表示D行D列的对角矩阵，并且对角元素与e(X)对应。N表示与n(b)对应 的B行1列的矩阵。在式O)中，因为利用矩阵将多个谱带的等式放在一起，所以不表述代 表谱带的变量b。另外，波长λ的积分被矩阵的乘积代替。
为了简化说明，引入由式(3)限定的矩阵H。矩阵H也被称为系统矩阵。H = FSE ... (3)于是，式⑵可被下面的式(4)代替。G (χ) = HT (χ) +N …(4)接着，使用维纳估算法从所拍摄的多谱带图像估算样品的各点处的光谱透射率。 可通过下面的式( 计算光谱透射率的估算值(光谱透射率数据) (χ)。f表示代表估算 值的“~(尖号)”位于T的上面。T(x) = WG(X) ... ( 5 )W由下面的式(6)表示，并且被称为“维纳估算矩阵”或者“用于维纳估算的估算
算子”。W = RssHt (RssH^Rnn) ―1 ... (6)这里，Ot 转置矩阵，和(Γ1 逆矩阵。在式(6)中，Rss是D行D列的矩阵并且代表样品的光谱透射率的自相关矩阵，和 Rnn是B行B列的矩阵并且代表用于拍摄的照相机的噪声的自相关矩阵。为了计算估算算子W，通过该估算算子能够适当地估算诸如细胞核、细胞质、血细 胞、空腔(cavum)等各主要元素，事先需要诸如细胞核、细胞质、血细胞、空腔等各主要元素 的光谱。因此，在移动测量位置时，使用者需要利用分光仪事先测量样品的各主要元素的光 谱，这将是麻烦的。为了解决上述问题，例如，日本未审查的专利申请No. 2009-014354公开了图像处 理装置，其中，自动地计算适当的估算算子W。在该图像处理装置中，当移动估算位置时，利 用分光仪自动地测量样品的各主要元素的光谱，并且从所测量的光谱计算估算算子W。然后 评价该估算算子W，如果其不适当，则再次测量样品的各主要元素的光谱，因此自动地计算 适当的估算算子W。根据上述文件中公开的图像处理装置，自动地计算适当的估算算子W，由此减轻使 用者的负担。但是，本发明的发明人认为在上述的图像处理装置中，在移动测量位置时，需 要利用分光仪事先测量样品的多种元素的光谱。因此，该处理需要大量的时间，结果，样品 的光谱的估算将是费时的。

发明内容
针对上述问题，本发明的目的是提供一种虚拟显微镜系统，通过该虚拟显微镜系 统能够通过拍摄染色样品而获得染色样品图像并且能够在短时间内获得光谱的统计数据。实现上述目的的本发明的第一方面是一种虚拟显微镜系统，其用于拍摄染色样 品，以估算光谱，所述虚拟显微镜系统包括图像获取单元，其用于获取所述染色样品的一个以上谱带的染色样品图像；光谱获取单元，其用于获取所述染色样品图像的一个以上的预定部分的光谱；光路设定单元，其用于设定透过所述染色样品的光通量相对于所述图像获取单元 和所述光谱获取单元的光路，从而每次所述图像获取单元获取所述染色样品图像时，能够 通过所述光谱获取单元获取所述染色样品图像的光谱；以及
控制单元，其用于在所述染色样品的两个以上的观察场中进行控制以重复通过所 述图像获取单元获取所述染色样品图像和通过所述光谱获取单元获取所述染色样品图像 的光谱，从而制作所述染色样品的虚拟切片和光谱表。本发明的第二方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定 单元具有用于切换所述光通量的光路的光路切换镜，从而透过所述染色样品的所述光通量 选择性地入射到所述图像获取单元或所述光谱获取单元。本发明的第三方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定 单元具有配置切换机构，其用于选择性地将所述图像获取单元或所述光谱获取单元置于透 过所述染色样品的所述光通量的光路上。本发明的第四方面从属于根据第一方面的虚拟显微镜系统，其中，所述光路设定 单元具有分束器，该分束器用于将所述光通量的光路分开，从而使透过所述染色样品的所 述光通量同时入射到所述图像获取单元和所述光谱获取单元。本发明的第五方面从属于根据第一方面的虚拟显微镜系统，其中，所述图像获取 单元是设置有照相机和光学滤波器的RGB照相机、黑白照相机、两个以上谱带的照相机和 多谱带照相机中的任一种。本发明的第六方面从属于根据第一方面的虚拟显微镜系统，其中，所述光谱获取 单元具有用于放大所述染色样品图像的光学倍率增大单元，并且所述光谱获取单元从由所 述光学倍率增大单元放大的所述染色样品图像获取光谱。本发明的第七方面从属于根据第一方面的虚拟显微镜系统，所述虚拟显微镜系统 还包括光谱获取位置像素值计算单元，其用于从由所述图像获取单元获得的所述染色样 品图像获取由所述光谱获取单元获得光谱的位置处的像素值，其中，制作至少包含所述光谱和所述像素值的光谱表作为光谱表。本发明的第八方面从属于根据第一方面的虚拟显微镜系统，所述虚拟显微镜系统 还包括估算算子计算单元，其用于由所述光谱表计算估算算子；和光谱估算单元，其用于通过使用所述估算算子估算构成所述虚拟切片的像素的光
谱ο本发明的第九方面从属于根据第八方面的虚拟显微镜系统，所述虚拟显微镜系统 还包括光谱选择单元，其用于从所述光谱表中选择与构成所述虚拟切片的像素的像素值 对应的多个光谱，其中，所述估算算子计算单元从由所述光谱选择单元选择的所述多个光谱计算用 于各像素值的估算算子；以及所述光谱估算单元通过使用用于各像素值的估算算子估算构成所述虚拟切片的 像素的光谱。本发明的第十方面从属于根据第八方面的虚拟显微镜系统，所述虚拟显微镜系统 还包括光谱选择单元，其用于从所述光谱表中选择与构成所述虚拟切片的像素的像素值 对应的光谱，
其中，由所述光谱选择单元选择的光谱是光谱估算值。本发明的第十一方面从属于根据第七方面的虚拟显微镜系统，其中，存储在所述 光谱表中的像素值是所获得的像素值、转换成色彩空间的像素值以及从所述像素值计算的 特征值中的任一种。本发明的第十二方面从属于根据第七方面的虚拟显微镜系统，其中，所述光谱表 由包含至少所述光谱、所述像素值和获得所述光谱的像素位置的信息的数据集构成。本发明的第十三方面从属于根据第七方面的虚拟显微镜系统，其中，所述光谱获 取位置像素值计算单元计算光谱获取区域中的中央像素的像素值、所述获取区域中的像素 的像素值的统计值以及通过对所述获取区域中的像素值和所述光谱获取单元的光接收特 性进行卷积而计算出的值中的一种。根据本发明的虚拟显微镜系统能够几乎同时地制作光谱的统计数据和虚拟切片。 因此能够高速地估算染色样品的光谱。


图1是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的图；图2是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的图；图3是示出图1所示的光谱获取单元的变型例的图；图4是示出图1所示的光路设定单元的另一构造的图；图5是示出根据第一实施方式的虚拟显微镜系统的构造的功能方块图；图6是示出图5所示的图像获取单元的主要部件的构造的方块图；图7是示出图6所示的RGB照相机的光谱灵敏度特性的图；图8是示出组成图6所示的滤波器单元的两个光学滤波器的光谱透射率特性的 图；图9是示出图5所示的显微镜设备的具体构造的图；图10是示出通过图5所示的虚拟显微镜系统制作虚拟切片和光谱表的处理的流 程图；图11是示出通过图5所示的虚拟显微镜系统估算光谱的处理的流程图；图12是用于说明根据本发明的第二实施方式的虚拟显微镜系统的原理的图；图13是示出根据第二实施方式的虚拟显微镜系统的构造的功能方块图；图14是示出通过图13所示的虚拟显微镜系统制作虚拟切片和光谱表的处理的流 程图；图15是示出通过图14所示的处理所制作的光谱表的示例的图；图16是示出通过图13所示的虚拟显微镜系统估算光谱的处理的流程图；图17是示出具有多个组织的目标样品的图；以及图18是示出图1所示的光路设定单元的其它构造的图。
具体实施例方式现在将参照附图具体说明本发明的优选实施方式。应注意，本发明不限于下面示 出的实施方式，并且图中相同的附图标记表示相同的部分。
(第一实施方式)图1和图2是用于说明根据本发明的第一实施方式的虚拟显微镜系统的原理的 图。在根据本实施方式的虚拟显微镜系统中，放置在显微镜设备的镜台(stage)上的染色 样品(下文中称为“目标样品”)11通过照射光学系统13被光源12照射，并且透过染色样 品的透射光通过观察光学系统14入射到光路设定单元15，其中观察光学系统14包括显微 镜物镜。例如，光路设定单元15由光路切换镜1 构成。例如，光路切换镜15a由可相对 于入射光的光路撤出的反射镜构成。通过从入射光路中撤出光路切换镜1 而使来自观察 光学系统14的入射光的光路指向图像获取单元16，通过将光路切换镜1 插入到入射光路 中而使来自观察光学系统14的入射光的光路指向光谱获取单元17。如图2(a)所示，在从入射光路中撤出光路切换镜15a的状态下，通过图像获取单 元16获取目标样品11的一个或多个谱带(band)的目标样品图像21，并且所获得的目标样 品图像21被存储在未示出的存储单元中作为虚拟切片22的一部分。之后，在将光路切换 镜1 插入到入射光路中的状态下，通过光谱获取单元17获取由图像获取单元16获得的 目标样品图像21的一个或多个预定部分23 (见图1)的光谱24 (见图2 (b))，并且所获得的 预定部分23的各光谱M被寄存在图2所示的光谱表中。图1示出了获取目标样品图像21 的两个预定部分23的每个部分的光谱M的示例。在移动目标样品11的同时，重复获取目 标样品图像21和获取目标样品图像21的光谱24，由此几乎同时制作mXn张切片22和光 谱表25。在上述说明中，在获得目标样品图像21之后，获取其预定部分23处的光谱24。但 是，顺序可以颠倒。另外，光谱获取单元17可构造成不仅获取目标样品图像21的两个预定 部分23的每个部分处的光谱M ；而且还获取一个预定部分23处的光谱M ；或者如图3所 示，通过利用放大光学系统27使从观察光学系统14输出并且通过光路切换镜15a的入射 光放大，获取三个以上的预定部分23的每个部分处的光谱M。另外，如图4所示，光路设定单元15也可构造成通过使用诸如半透明反射镜(half mirror)等分束器1 将来自观察光学系统14的入射光的光路分开，并且分别设定用于图 像获取单元16的光路和用于光谱获取单元17的光路。在该情形下，可同时进行通过图像获 取单元16获取目标样品图像21和通过光谱获取单元17获取目标样品图像21的光谱24。另外，当通过使用图1和图3所示的可撤出的光路切换镜1 构成光路设定单元 15时，可有效地使用目标样品11的透射光，从而与图4所示的示例相比可以减少照射光的 光量。另外，如图4所示，当通过使用分束器1 构成光路设定单元时，与图1和图3所示 的示例相比可在较短的时间内制作虚拟切片22和光谱表25。图5是示出基于上述原理、根据本实施方式的虚拟显微镜系统的构造的功能方块 图。虚拟显微镜系统由显微镜设备100和主机系统200组成，主机系统200控制显微镜设 备100并且进行虚拟切片制作、光谱估算等。显微镜设备100包括图像获取单元110、光谱 获取单元130、光路设定单元150和镜台170。图像获取单元110(与图1中的图像获取单元16相当)获取通过显微镜拍摄的目 标样品的一个或多个谱带的目标样品图像(在本情形中为六个谱带图像)，例如，如示出主 要部件的典型构造的图6所示，图像获取单元110包括RGB照相机111以及滤波器单元113， 其中，RGB照相机111具有诸如CCD(电荷耦合器件)和CMOS(互补金属氧化物半导体)等成像元件，滤波器单元113将形成图像的光的波段限制到预定范围。如图7所示，RGB照相机111具有例如R(红)、G(绿)、B (蓝)谱带中的每一者的 光谱灵敏度特性。滤波器单元113包括转动滤波器切换单元115，具有不同的光谱透射率特 性的两个光学滤波器117a和117b被保持于该转动滤波器切换单元115，从而R、G、B谱带 中的每一者的可透过的波长区域被分为二。图8(a)示出了光学滤波器117a的光谱透射率 特性，图8(b)示出了另一光学滤波器117b的光谱透射率特性。首先，例如，光学滤波器117a位于从光源119(与图1中的光源12相当)延伸到 RGB照相机111的光路上，从而光源119照射放置在镜台170上的目标样品11，并且透射光 通过图像形成光学系统121(与图1中的观察光学系统14相当)和光学滤波器117a形成 在RGB照相机上。通过该方式，进行第一拍摄。然后，转动滤波器切换单元115使得光学滤 波器117b位于从光源119延伸到RGB照相机111的光路上。于是，以同样的方式，进行第 二拍摄。以这种方式，通过第一拍摄和第二拍摄分别获取互不相同的三个谱带的图像，由 此获得总共六个谱带的多谱带图像。应注意，设置于滤波器单元113的光学滤波器的数量 不限于两个，可以使用三个以上的光学滤波器以获取更多谱带的图像。所获得的目标样品 11的目标样品图像作为虚拟切片的一部分被存储在后述的主机系统200的存储单元230 中。图像获取单元110可以使用RGB照相机111仅获得RGB图像。在图5中，光谱获取单元130 (与图1中的光谱获取单元17相当)获取通过图像获 取单元110所获得的目标样品图像的一个或多个预定部分的光谱，并且光谱获取单元130 设置有与上述预定部分对应的分光仪(spectrometer)，该分光仪使用硅检测器和光纤。因 此，如果设定多个预定部分，则设置多个分光仪。光路设定单元150相对于图像获取单元110和光谱获取单元130设定由显微镜物 镜会聚的光通量的光路，从而每次图像获取单元110获取目标样品图像时，光谱获取单元 130能够获取目标样品图像的预定部分的光谱，并且如图1或图4所示，光路设定单元150 由光路切换镜1 或分束器1 构成。镜台170用于在其上放置目标样品和相对于显微镜物镜定位该目标样品，并 且镜台170例如由可在与显微镜物镜的光轴垂直的平面内沿二维方向移动的电镜台 (electrical stage)构成。另一方面，主机系统200包括控制单元210、存储单元230、计算单元250、输入单元 270和显示单元四0。输入单元270通过诸如键盘、鼠标、触摸面板和各种开关等输入设备实现，并且输 入单元270响应于操作输入而将输入信号输出到控制单元210。显示单元290通过诸如IXD (液晶显示器)、EL(电发光)显示器、CRT(阴极射线 管)显示器等显示设备实现，并且基于从控制单元210输入的显示信号而显示各种屏幕 (screen)。计算单元250包括估算算子(estimation operator)计算单元255、光谱估算单元 257和虚拟切片制作单元259。虚拟切片制作单元259处理多个目标样品图像中的每一个， 由此制作虚拟切片图像，其中多个目标样品图像通过利用显微镜设备100多谱带拍摄目标 样品11的一部分而获得。
存储单元230通过诸如ROM和RAM等各种IC存储器、能够更新和存储的闪存、诸如 集成的或通过数据通信端子连接的硬盘和CD-ROM等数据存储介质以及其读取器等实现。 存储单元230存储用于处理通过图像获取单元110获得的图像的图像处理程序231、用于制 作虚拟切片的虚拟切片制作程序233、制作好的虚拟切片235、通过光谱获取单元130获得 的光谱表237(与图2中的光谱表25相当)、在程序运行过程中将使用的数据等。控制单元210包括用于控制图像获取单元110的操作以获取目标样品的图像的图 像获取控制单元211、用于控制光谱获取单元130的操作以获取目标样品的光谱的光谱获 取控制单元213、用于控制光路设定单元150的操作以切换光路的光路设定控制单元215以 及用于控制镜台170以移动观察场的镜台控制单元217。控制单元210基于从输入单元270 输入的输入信号、从图像获取单元110输入的目标样品图像、存储在存储单元230中的程序 或数据等给出指令或传送数据到构成虚拟显微镜系统的各单元，由此控制整个操作。控制 单元210通过诸如CPU等硬件实现。当光路设定单元150由如图4所示的分束器1 构成 时，不需要光路设定控制单元215。尽管图5示出了主机系统200的功能构造，实际的主机系统200能够通过公众所 知的硬件构造实现，其设置有CPU、显示板(video board)、诸如主存储器(RAM)等主存储 单元、用于连接诸如硬盘和各种存储介质等外部存储单元的接口装置、通信装置、外部输入 等。因此，例如工作站和个人电脑等通用计算机可以用作主机系统200。图9是示出图5所示的显微镜设备100的具体构造的图。显微镜设备100包括 镜台170，其上放置目标样品11 ；从侧面看为大致U形的显微镜主体127，其支撑镜台170 并且通过转动器123保持物镜125(与图1中的观察光学系统14相当)；光源119，其设置 在显微镜主体127的底部的后方；以及透镜镜筒129，其放置在显微镜主体127的顶部。另 外，用于视觉地观察目标样品11的样品图像的双目镜单元(binocular unit) 131和用于拍 摄目标样品11的样品图像并且获取目标样品图像的TV照相机133(与图6中RGB照相机 111相当)安装到透镜镜筒129。应注意，如图9所示，物镜125的光轴方向被定义为Z方 向，并且与Z方向垂直的平面被定义为XY平面。镜台170被构造成可沿X、Y和Z方向移动。换句话说，可通过马达135和控制马 达135的驱动的XY驱动控制单元137使镜台170在XY平面内移动。XY驱动控制单元137 通过XY位置用的原始位置传感器(未示出)检测镜台170在XY平面中的预定的原始位置， 并且基于该原始位置控制马达135的驱动量，由此移动目标样品11的观察场。另外，可通过马达139和控制马达139的驱动的Z驱动控制单元141使镜台170 沿ζ方向移动。Z驱动控制单元141通过Z位置用的原始位置传感器(未示出)检测镜台 170的Z方向上的预定的原始位置，并且基于该原始位置控制马达139的驱动量，由此将目 标样品11的焦点移动到预定的高度范围内的任意的Z位置。转动器123相对于显微镜主体127被可转动地保持，并且将物镜125布置在目标 样品11的上方。物镜125被以可与具有不同倍率(观察倍率)的其它物镜更换的方式相 对于转动器123安装，并且物镜125响应于转动器123的转动而被插入观察光的光路中，以 允许用于观察目标样品11的物镜125可选地切换。显微镜主体127中包括位于其底部的用于进行目标样品11的透过照射的照射光 学系统(与图1中的照射光学系统13相当)。在照射光学系统中，用于收集从光源119输出的照射光的收集透镜143、照射系统滤波器单元145、场阑(field stop) 147、孔径光阑 (aperture stop) 149、用于沿物镜125的光轴偏转照射光的光路的折叠式反射镜151、聚光 元件单元(condenser optical element unit) 153、上部透镜单元155等沿照射光的光路被 布置在适当的位置。从光源119输出的照射光通过照射光学系统照射目标样品11，并且从 目标样品11透过的透射光作为观察光入射到物镜125上。另外，显微镜主体127包括光谱获取单元130和位于物镜125和透镜镜筒1 之 间的光路上的光路设定单元150，从而光路被设定在光谱获取单元130和透镜镜筒1 上。 通过使用图1所示的光路切换镜1 或图4所示的分束器1 而构成光路设定单元150。另外，显微镜主体127中包括位于光路设定单元150和透镜镜筒1 之间的光路 上的滤波器单元157。滤波器单元157与图7中示出的滤波器单元113相当，并且可转动地 保持两个以上的光学滤波器159以将作为样品图像聚焦的光的波段限制到预定的范围，并 且适当地将光学滤波器159插入物镜125之后的观察光的光路中。透镜镜筒1 中包括用于切换通过滤波器单元157的观察光的光路以将光导向双 目镜单元131或将光导向TV照相机133的分束器161。目标样品11的样品图像通过分束 器161被引入双目镜131中，并且被使用显微镜的技术人员通过目镜163视觉地观察到，或 者被TV照相机133拍摄。TV照相机133通过包括诸如CXD或CMO S等形成样品图像(更 具体地，在物镜125的视野范围内的样品图像)的成像元件而构成，TV照相机133拍摄样 品图像并且将样品图像(目标样品图像)的图像数据输出到主机系统200。显微镜设备100还包括显微镜控制器165、TV照相机控制器167和光谱获取控制 器169。显微镜控制器165在主机系统200的控制下控制构成显微镜设备100的各部件的 整体操作。例如，显微镜控制器165通过使转动器123转动而切换布置在观察光的光路上 的物镜125，并且进行显微镜设备100的各部件的与目标样品11的观察相关诸如光源119 的与切换后的物镜125的倍率等对应的变暗控制等调节、切换各种光学元件或者将用于移 动镜台170的指令给到XY驱动控制单元137和Z驱动控制单元141，等等，同时显微镜控制 器165适当地将各单元的状态报告给主机系统200。TV照相机控制器167在主机系统200的控制下，进行自动增益控制的0N/0FF切 换、增益的设定、自动曝光控制的0N/0FF切换、曝光时间的设定等，以驱动TV照相机133并 且控制TV照相机133的拍摄操作。另外，光谱获取控制器169在主机系统200的控制下， 控制通过光谱获取单元130来获取光谱并且将所获得的光谱提供给主机系统200。以下参照图10和图11中示出的流程图说明根据本实施方式的虚拟显微镜系统的 主要部件的操作。图10是示出虚拟切片和光谱表的制作过程的流程图。首先，在控制单元210中， 镜台控制单元217控制镜台170的操作，以移动目标样品11的观察场(步骤S101)。接着， 光路设定控制单元215控制光路设定单元150的操作，以将光路指向图像获取单元110 (步 骤 S103)。然后，控制单元210的图像获取控制单元211控制图像获取单元110的操作，以获 取目标样品11的目标样品图像(步骤S105)，并且将所获得的目标样品图像存储在存储单 元230中作为虚拟切片235的一部分(步骤S107)。然后，控制单元210的光路设定控制单元215控制光路设定单元150的操作，以将光路指向光谱获取单元130(步骤S109)。然后，控制单元210的光谱获取控制单元213控 制光谱获取单元130的操作，以获取目标样品11的光谱(步骤S111)，并且将所获得的目 标样品11的光谱存储在存储单元230的光谱表237中(步骤Sli;3)。当光谱获取单元130 获取目标样品图像的多个部分的光谱时，从所有部分获得光谱(步骤S115)。然后，控制单元210重复步骤SlOl至S115，直到目标样品11的所需场被获得，以 制作整个目标样品11或部分目标样品11的切片235和光谱表237(步骤S117)。当光路设 定单元150如图4所示地由分束器15b构成时，则不需要步骤S103和S109。在该情形下， 通过图像获取单元110获取目标样品图像的处理和通过光谱获取单元130获取光谱的处理 同时进行或者顺序进行。通过这种方式，每次通过图像获取单元110获取目标样品图像时，通过光谱获取 单元130获取目标样品图像的光谱，由此高速地制作虚拟切片235和光谱表237。特别地， 当光路设定单元150如图4所示地由分束器1 构成时，不需要用于切换光路切换镜1 的时间，而当使用可动的光路切换镜15a时该时间是需要的，因此，能够更高速地制作虚拟 切片235和光谱表237。另外，当光谱获取单元130获取目标样品图像的多个部分的光谱时，能够制作包 含更丰富的信息的光谱表237。另外，存储在光谱表237中的光谱是从目标样品11获得的 光谱，因此，它们是用于计算估算算子W的合适的统计数据，估算算子W用于估算目标样品 11的光谱。图11是示出光谱的估算处理的流程图。首先，在控制单元210中，估算算子控 制单元225基于存储在光谱表237中的多个光谱计算式(6)中表示的估算算子W(步骤 S201)。为此，首先，估算算子控制单元225基于存储在光谱表237中的多个光谱找到平均 矢量(Vector)V,并且基于该平均矢量V通过下面示出的式(7)计算自相关矩阵I ss。这里， 上标T表示行列式的转置。Rss = Σ V · Vt …(7)然后，估算算子计算单元255基于该自相关矩阵Iiss通过式(6)计算出估算算子W。 式(6)再次在下面示出。W = RssHt(RssH^Rra)"1 · · · (6)这里，Ot 转置矩阵，和O—1 逆矩阵。由此获得适合用于估算目标样品图像的光谱的估算算子W。所获得的估算算子W 被存储在存储单元230中。至于用于计算自相关矩阵用的光谱，可以使用存储在光谱表237 中的所有光谱或者使用为了某一目的通过去除特定的数据而提取的部分光谱。另外，当数 据量不充足时，可与其它样品的光谱或通用光谱一起使用。另外，可使用协方差矩阵代替自 相关矩阵。然后，在控制单元210中，光谱估算单元257基于包含在虚拟切片235中的待估算 的像素的像素值估算目标样品11的光谱(步骤S203)。换句话说，在光谱估算单元257中， 基于待估算的像素的像素值G(X)通过使用上述式( 的估算算子W来估算目标样品11的 对应的样品点处的光谱透射率的估算值f (χ),式( 再次在下面示出。Τ(Χ) = WG(X) ... ( 5 )
通过这种方式，能够通过估算光谱透射率的估算值f O)而减小光谱估算误差。光 谱透射率的估算值f (χ)被存储在存储单元230中。如上所述，根据本实施方式的虚拟显微镜系统，能够几乎同时地制作光谱表237 和虚拟切片235，由此高速地估算光谱。另外，当光路设定单元150由分束器1 构成时，能 够以更快的速度估算光谱。另外，由于能够计算出适合于目标样品的估算算子，所以能够减 小光谱估算中的估算误差。而且，当光谱获取单元130获取目标样品图像的多个部分的光 谱时，能够进一步减小光谱估算中的估算误差。(第二实施方式)图12(a)和图12(b)是用于说明根据本发明的第二实施方式的虚拟显微镜系统的 原理的图。在根据本实施方式的虚拟显微镜系统中，除由图2(a)和图2(b)描述的第一实 施方式的操作原理之外，当从目标样品图像获得的光谱M被寄存在光谱表25中时，从目标 样品图像21获取测量光谱M的部分23处的像素的像素值和位置信息，并且该像素值和位 置信息被存储在光谱表25中作为数据集26，由此几乎在制作虚拟切片的同时制作包含像 素值的光谱表。除此以外，其原理与图2(a)和图2(b)中示出的原理相同。图13是示出基于上述原理的根据本实施方式的虚拟显微镜系统的构造的功能方 块图。在虚拟显微镜系统中，主机系统200的计算单元250的构造与图5所示的计算单元 的构造不同。换句话说，除图5示出的估算算子计算单元255、光谱估算单元257和虚拟切 片制作单元259之外，计算单元250还包括用于从目标样品图像计算光谱获取区域中的像 素值的光谱获取区域像素值计算单元251和用于从光谱表237选择光谱的光谱选择单元 253。除此以外，构造与图5中示出的构造相同，因此具有相同功能的组件被以相同的附图 标记表示，并且略去其说明。下面说明根据本实施方式的虚拟显微镜系统的主要部件的操作。图14是示出虚拟切片和光谱表的制作过程的流程图。首先，如图10中示出的第一 实施方式中的情形那样，控制单元210执行步骤SlOl至S111。然后，控制单元210的光谱 获取区域像素值计算单元251从对应的目标样品图像计算光谱获取区域中的像素值(步骤 S112)。在该情形下，通过光路设定单元150使图像获取单元110和光谱获取单元130的光 轴一致，由此使得光谱获取区域像素值计算单元251能够获取获得光谱的区域中的像素。通常，光谱获取单元130的空间分辨率低于图像获取单元110的空间分辨率。因 此，光谱获取区域像素值计算单元251通过式(8)对获取光谱的区域中的像素的像素值G 和光谱获取单元130的光接收特性A进行卷积，由此基于获取光谱的区域中的像素的像素 值计算与光谱对应的像素值。
权利要求
1.一种虚拟显微镜系统，其用于拍摄染色样品，以估算光谱，所述虚拟显微镜系统包括图像获取单元，其用于获取所述染色样品的一个以上谱带的染色样品图像； 光谱获取单元，其用于获取所述染色样品图像的一个以上的预定部分的光谱； 光路设定单元，其用于设定透过所述染色样品的光通量相对于所述图像获取单元和所 述光谱获取单元的光路，从而每次所述图像获取单元获取所述染色样品图像时，能够通过 所述光谱获取单元获取所述染色样品图像的光谱；以及控制单元，其用于在所述染色样品的两个以上的观察场中进行控制以重复通过所述图 像获取单元获取所述染色样品图像和通过所述光谱获取单元获取所述染色样品图像的光 谱，从而制作所述染色样品的虚拟切片和光谱表。
2.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述光路设定单元具有用于切换所述光通量的光路的光路切换镜，从而透过所述染色 样品的所述光通量选择性地入射到所述图像获取单元或所述光谱获取单元。
3.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述光路设定单元具有配置切换机构，其用于选择性地将所述图像获取单元或所述光 谱获取单元置于透过所述染色样品的所述光通量的光路上。
4.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述光路设定单元具有分束器，该分束器用于将所述光通量的光路分开，从而使透过 所述染色样品的所述光通量同时入射到所述图像获取单元和所述光谱获取单元。
5.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述图像获取单元是设置有照相机和光学滤波器的RGB照相机、黑白照相机、两个以 上谱带的照相机和多谱带照相机中的任一种。
6.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述光谱获取单元具有用于放大所述染色样品图像的光学倍率增大单元，并且所述光 谱获取单元从由所述光学倍率增大单元放大的所述染色样品图像获取光谱。
7.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括 光谱获取位置像素值计算单元，其用于从由所述图像获取单元获得的所述染色样品图像获取由所述光谱获取单元获得光谱的位置处的像素值，其中，制作至少包含所述光谱和所述像素值的光谱表作为光谱表。
8.根据权利要求1所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括 估算算子计算单元，其用于由所述光谱表计算估算算子；和光谱估算单元，其用于通过使用所述估算算子估算包括在所述虚拟切片中的像素的光谱。
9.根据权利要求8所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括 光谱选择单元，其用于从所述光谱表中选择与包括在所述虚拟切片中的像素的像素值对应的多个光谱，其中，所述估算算子计算单元从由所述光谱选择单元选择的所述多个光谱计算用于各 像素值的估算算子；以及所述光谱估算单元通过使用用于各像素值的估算算子估算构成所述虚拟切片的像素的光谱。
10.根据权利要求8所述的虚拟显微镜系统，其特征在于，所述虚拟显微镜系统还包括光谱选择单元，其用于从所述光谱表中选择与包括在所述虚拟切片中的像素的像素值 对应的光谱，其中，由所述光谱选择单元选择的光谱是光谱估算值。
11.根据权利要求7所述的虚拟显微镜系统，其特征在于，存储在所述光谱表中的像素值是所获得的像素值、转换成色彩空间的像素值以及从所 述像素值计算的特征值中的任一种。
12.根据权利要求7所述的虚拟显微镜系统，其特征在于，所述光谱表由包含至少所述光谱、所述像素值和获得所述光谱的像素位置的信息的数 据集构成。
13.根据权利要求7所述的虚拟显微镜系统，其特征在于，所述光谱获取位置像素值计算单元计算光谱获取区域中的中央像素的像素值、所述获 取区域中的像素的像素值的统计值以及通过对所述获取区域中的像素值和所述光谱获取 单元的光接收特性进行卷积而计算出的值中的一种。
全文摘要
提供一种虚拟显微镜系统，其能够在短时间内获取染色样品图像和光谱的统计数据，该虚拟显微镜系统包括图像获取单元，其用于获取染色样品图像；光谱获取单元，其用于获取染色样品图像的光谱；光路设定单元，其用于设定透过染色样品的光通量相对于图像获取单元和光谱获取单元的光路；以及控制单元，其用于在染色样品的观察场中进行控制以重复通过图像获取单元获取染色样品图像和通过光谱获取单元获取染色样品图像的光谱，以制作染色样品的虚拟切片和光谱表。
文档编号G01N21/25GK102073133SQ201010540079
公开日2011年5月25日 申请日期2010年11月9日 优先权日2009年11月9日
发明者大塚武 申请人:奥林巴斯株式会社