admin 管理员组

文章数量: 1184232

论文笔记：A CNN Regression Approach for Real

REAL-TIME 2D/3D REGISTRATION VIA CNN REGRESSION

  • 摘要
  • 介绍
  • 问题描述
  • 通过分层学习进行姿态估计

摘要

  1. 提出了用于实时2-D / 3-D注册的卷积神经网络（CNN）回归方法：（在这之前好像还没有将CNN应用在实时2-D / 3-D配准上）
      该方法利用了嵌入在数字重建射线照相和X射线图像中的信息，并使用CNN回归器直接估算了转换参数

  2. 提出了一种自动特征提取方法，用于计算对回归变量敏感，而对其他因素具有鲁棒性的三维位姿特征。

  3. CNN回归器针对局部区域进行训练，并以分层方式应用，以将复杂的回归任务分解为可以单独学习的更简单的子任务

  4. 与基于强度的方法相比，该方法在计算效率上的优势是配准精度的降低可忽略不计。

介绍

  1. 文献中大多数现有的2-D / 3-D配准方法都是基于优化的，其中，迭代地更新转换参数以优化反映配准质量的目标函数。
    本论文不是基于优化？ 本文利用了嵌入在数字重建射线照相和X射线图像中的信息，并使用CNN回归器直接估算了转换参数，迭代秀优化网络的参数。
    本文配准焦点在：将3d模型 的模拟X射线衰减映射图与术中实时2d的X射线图进行配准。

    根据要优化的目标函数，基于优化的方法可以进一步分为基于强度的方法和基于特征的方法：
  • 基于(优化)强度的方法： 是通过模拟虚拟X射线的衰减，从3-D X射线衰减图得出模拟的X射线图像，称为数字重建射线照片（DRR）[3] [4]。 采用优化器以最大化DRR和X射线图像之间的基于强度的相似性度量。 基于强度的方法被广泛采用，主要是因为它们具有很高的准确性[5]
      优点： 高精度，
      缺点：计算花费大： 由于基于强度的方法需要对相似性度量进行大量的评估，每种方法都需要在DRR渲染中进行大量的计算，因此它们的典型结果是运行时间超过了1s，实时能力不佳； 捕捉范围小： 因为基于强度的方法中要优化的相似性度量通常是高度不凸的，所以优化器极有可能陷入局部最大值，从而导致这些方法的捕获范围较小。
    • 捕捉范围小解决方法通常是：参数初始化方法，初始化方法通常利用目标对象的主要特征进行姿态恢复，因此它是针对非常特定的应用。
    • 加速DRR渲染的策略：：1) 稀疏采样   2） splatter(飞溅法)：是一种基于体元的体绘制技术，直接将单个体元投影到成像平面上。只允许使用超过一定阈值的体元来进行绘制。这种方法通常会降低配置精度。
    • 监督学习应用在学习相似性度量上:能够有更好的捕捉范围或者精度，但是无法解决计算花费。

个人理解，基于学习的方法配准耗时短，是将基于优化方法需要在每次配准都需要进行迭代优化过程的计算花费，通过回归等方式转化到了训练阶段。这与VoxelMorph论文中的理解一致

  1. 本文提出了一种CNN回归方法 ，分层学习姿势估计（PEHL），以实现具有较大捕获范围和高精度的实时2-D / 3-D配准。本文首先通过三种策略来简化非线性关系，然后使用CNN回归器来捕捉映射。
  • Local image residual ：类似于3-D pose-indexed 只受初始参数和真实参数之间的差异影响
  • Parameter space partitioning ：将变换参数空间划分为很多小区域，对每个小区域进行回归器的训练
  • Hierarchical parameter regression：分解变换参数并用层级方式进行回归

问题描述

介绍2D/3D配准的背景，以及将配准问题描述成回归问题，并进行公式化

  1. X-Ray成像模型

    I(p)是X射线图像点p的灰度强度，L(p,r)表示从X-ray光源到点p的射线，μ（·）衰减系数

    J()表示要成像的物体的X射线衰减映射，T表示从对象坐标系到X射线成像坐标系的3-D转换矩阵。

    在2-D/3-D配准中，L由X-ray成像系统决定，J由3-D数据提供（CT,MRI等），变换T根据输入的X射线图像估计。

  2. （ rigid-body ）3-D Transformation Parameterization
    通过具有6个分量的矢量t对刚体3-D变换T进行参数化：本文通过三个平面内(in-plane:tx, ty,tθ)和三个平面外(out-of-plane：tz, tα,tβ) 转换参数来参数化变换T.

  • in-plane: 平面内变换参数的影响接近于二维刚体变换
  • out-of-plane： 平面外参数平移和旋转的影响分别是缩放和形状变化 ？？？
  1. 2-D/3-D Registration via Regression
    转换参数为t的X射线图表示为 It
  • The inputs for 2-D/3-D registration
    L和J在下面公式被省略，因为，他们对于给定的2d-3d配准任务是不变的。
    1 ) 3-D对象的X射线衰减映射J
    2 ) X射线图像Itgt，其中tgt 表示未知的真实转换参数，求的参数
    3 ) tini 初始化转换参数

   2-D/3-D Registration的目的是计算真实的 tgt，问题可表示为一个回归问题：

tgt 就可用如下公式来计算：

基于公式4，进一步表示为：

问题进一步转化为需要构建一个特征提取器X()，和一个回归器f()将特征映射到映射回归到参数的残差

通过分层学习进行姿态估计

这章1.2小节将如何提取特征X()的细节,第3节是讲将参数空间进行划分，再针对每个划分区域进行回归训练，最后是回归模型的结构。

  1. 参数空间分割（Parameter Space Partitioning ）
    由于特征自然取决于t，因此目标映射可能随 t 的变化而显着变化，这使其高度复杂且难以准确恢复，因此,作者想提取一个对参数残差δt敏感，对参数t不敏感的特征。此类特征被称为位索引特征，并且该特征可以表示为：

       作者将在III-B部分中展示的那样，使用ROI使X()对平面内参数和缩放参数（tx,y,z,θ）保持不变（为什么？因为这四个参数的改变，只会让物体呈现的像在成像平面上进行平面内平移，缩放或者内面内旋转，不会改变物体成像形状。但是其他两个参数改版会大幅改变物体的成像形状）
      但是,不能使X()对对 tα 和 tβ 不敏感，为了解决这个问题    ，对 tα 和 tβ 划分成18x18个网格（每个网格20x20度），针对每个区域进行提取LIR特征，回归其因此也分别的为每一个区域训练恢复这个简化的对 t 不敏感的映射。(为什么，这样划分后，就可能满足对t不敏感了？
    下文的解释是：在一个小的局部区域，这两个参数的变化近似于2D变换。这样H()就近似于对 t 不敏感)
    为何这样操作就能达到对t不敏感？？？
  2. 局部图像残差：Local Image Residual (LIR)

  • **LIR特征的计算：**是变换参数为t的DRR渲染图 It 和X射线图像 It+δt 在局部块上的差

    Hpt()在ROI中提取图图像块。

  • 提取3-D Points
    计算lir特征所用的3-D点分两步分别为每个区域提取。
    第一步，提取对应于2-D边缘的-3-D点作为候选，具体来说，通过对合成X射线图像（即使用DRR生成的图像）中具有高梯度幅度的像素进行阈值提取来提取候选对象，然后将它们反投影到相应的3-D结构
    第二步，筛选候选点，以便仅保留满足 LIR（7）且没有明显重叠的候选点。本文做法是，通过分别在捕捉范围内随机化M个t和δt，然后，计算特征候选点对参数t和δt的敏感性通过下面两个公式。（类似于均方差的计算方法，特征候选点对所有参数对计算）

    根据需要 Ei 小， Fi 大，综合看可以通过 Fi / Ei 排序，选取排名靠前的候选LIR特征。

  1. 层次回归
    把六个参数分成三组：
    在一组参数被回归后，使用已经估计的参数来重新计算特征值X，以便将参数回归到下一组中,

  2. CNN回归模型
    回归模型比较简单，类似与一个LeNet5的结构，对于一个区域fig 3中的CNN权值共享，应为每个通道具有相似的属性，而CNN起到进一步提取深层次特征的作用，所以可以进行权值共享。

本文标签： 论文笔记A CNN Regression Approach for Real

版权声明：本文标题：论文笔记：A CNN Regression Approach for Real 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.roclinux.cn/b/1693763691a241429.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。