多模态配准

chap1绪论

1.2图像配准的意义

不同模态的医学图像各具优势与特点,然而单一模态的医学图像提供的信息是有限的,若能快速有效地利用多种模态的图像,就可以为医生提供病变的多种互补信息,从而为医生诊断病情提供更全面的依据,解决上述问题的最佳途径是采用多模态医学图像配准技术。

1.4.1医学图像配准的发展历史

要实现多模态配准,首先要找到一个衡量不同模态图像间相似性的测度,该测度要对不同模态间的差异具有鲁棒性。基于信息论的测度解决了这一难题。如联合熵和互信息等。

  • 联合熵联合熵用于测量概率分布的随机性,概率的随机性越强,概率月趋向等值分布,联合熵越大;概率取值越集中,联合熵越小。通过最小化联合熵的方法可以实现多模态图像配准。
  • 互信息Mase等人将互信息的概念应用于多模态医学图像配准,以参考图像和浮动图像间的互信息作为配准准则进行图像配准。该方法不需要对待配准图像作分割、特征提取等预处理,配准过程完全自动实现,而且可以达到“亚像素”配准精度。互信息是两组数据间依赖程度的度量,它衡量两个随机变量包含对方信息量的多少,虽然不同模态的医学图像的灰度间存在差异,但是他们都基于人体相同的解剖信息,因此当两幅图像的空间位置一直时,它们的互信息达到最大值。

信息论测度的优势在于不需要对多模态图像灰度间的关系作任何假设,也不需要特征提取和分割等预处理。

1.4.3常用的医学图像配准方法

用联合分布的散度作为相似性量度也是医学图像配准研究中常用的方法,很多研究团队提出不同的散度测量用于多模态医学图像配准。KL散度用来测量待配准图像的灰度分布差别,当两幅图像完全对齐时KL散度最下。因此在配准过程中,采用一定的优化方法最小化两幅图像灰度分布的KL散度从而得到最优空间变换。

散度:f散度,詹森香农散度(JSD),詹森瑞利散度(JRD),基于Tsallis熵的散度(JTD)

eg,Martin和Durrani等人介绍了一种新的散度测量,该散度属于f散度的一种,他们利用修改的二阶贝塞尔函数作为核函数构造新的相似度,并将其用于CT和MR图像配准,结果证实与其他f散度相比该方法提高了配准精度。

最近有学者提出将多模态医学配准问题转化为单模态配准

  1. 把待配准图像中一幅图像的模态转化为另一幅图像的模态
  2. 用特定方法把待配准模态映射到第三种形式

1.4.4医学图像配准的评价

对实验结果的评价是衡量一个医学图像配准方法能否达到临床需求及配准性能的优劣的重要依据;但由于待配准图像都是在不同时间或不同成像条件下获取的,因此没有绝对意义上的正确的配准,即不存在所谓的“金标准”,只能做到相对的最优配准。因而对于大多数医学图像配准,构造“金标准”是一件困难的事情。

  1. 利用仿真数据,如脑部的仿真数据
  2. 采用手工标记的解剖结构点,或者分割的掩模评价算法的精确度

定性评价:可视化

定量评价

  • 精确度:精确度指利用配准算法得到的估计值与真实值(金标准)之间的差别

west等研究了回顾性多模态头部图像配准方法的评价指标,首先利用基于基准标记点的配准方法对每个病人的数据集进行配准,将得到的变换作为金标准,然后移除基准标记点,再利用回顾性的配准算法对图像进行配准,最后将所得变换域“金标准”之间的欧拉距离作为目标配准误差(Target Registration Error,TRE),并用TRE衡量配准算法的精确度

  • 成功率
  • 鲁棒性
  • 执行时间

chap2医学成像技术

2.3磁共振成像

MRI是基于核磁共振原理产生的。由于人体各组织含有大量的水和碳氢化合物,因此氢核成为人体磁共振成像的首选通过对磁场中的人体施加特定频率的射频脉冲,使人体组织中的氢核发生磁共振现象,当射频脉冲停止后,氢核在弛豫过程中发出射频信号而成像。人体各个组织中所含的水的密度不同,从而产生的NMR信号强度存在差异,把各种组织分开,这样就生成了磁共振图像。

根据人体正常组织与病变组织之间的弛豫时间T1,T2及氢核密度3个参数,可以将MRI图像分成三种类别MRI图像对人体的软组织器官有极佳的成效效果,并且图像质量精确,分辨率高

*2.5核医学成像

18F-FDG 18F-脱氧葡萄糖

PET正电子放射断层成像

成像原理:首先将短寿命的放射性药物注射到人体内,放射性物质在人体不同代谢下表现出不同的聚集,不同聚集程度的放射性物质释放出的信号被体外的PET扫描仪接收,继而生成影像,反映人体内的新陈代谢情况

PET可以显示人体内的化学变化及代谢状况,但成像分辨率低,脑部外有一定的干扰信号。PET在临床上对一些特定疾病的诊断有显著的效果,但其缺点也限制了它在医学上的推广。

chap3图像配准算法

特征空间的选择决定了用于图像配准的特征类型,空间变换类型决定了优化的参数数量。相似度用来衡量参考图像和待配准图像间的相似程度,为配准的下一步提供依据。通过优化算法,若优化条件满足,则配准过程停止,得到最佳变换参数。
chap5医学图像配准的开源平台

ITK 开源跨平台 影像分析扩展软件工具

VTK 用于三维计算机图形学,图像处理以及可视化的软件包

NiftyReg:UCL开发,主要实现对nifti图像的刚体、仿射及非线性配准

ANTS:提供高级工具,主要用于大脑图像的配准映射ITK图像配准算法的实现:两个输入图像,变换函数,度量,插值,优化器

使用ITK配准框架的常见困难:

  • 配准是在物理坐标系中完成的
  • eg配准的两幅图像有不同像素值,如PET和CT,通常一幅CT图像的像素值是以1mm为计量单位的,而PET图像的像素值是以5mm-10mm为计算单位的。因此,为了覆盖整个人脑图像,CT需要大概500像素,PET图像仅仅需要50像素,由于PET图像的像素较少,需要在变换中增加一个缩放因子以便把图像映射到CT图像