【TMI2022】C2FTrans:用于医学图像分割的从粗到细的Transformers

2022 年 7 月 4 日 专知



卷积神经网络(CNN)是基于深度学习的医学图像分析中最流行的架构,但其固有的归纳偏差和不充分的接受域仍然在功能上受到限制。为了解决这个问题而诞生的Transformer,由于其在捕获远程依赖关系方面的卓越能力,在自然语言处理和计算机视觉领域引起了爆炸性的关注。然而,最新的基于变压器的医学图像分割方法在基于CNN的方法中直接将普通Transformer作为辅助模块,由于Transformer中的patch划分方法过于严格,导致了严重的细节丢失。为了解决这个问题,我们提出了C2FTrans,一种新颖的多尺度架构,将医学图像分割作为一个从粗到细的过程。C2FTrans主要由一个跨尺度的全局Transformer(CGT)和一个边界感知的局部Transformer(BLT)组成,前者处理CNN中的局部上下文相似性,后者克服了Transformer中刚性patch划分带来的边界不确定性。CGT在三个不同的小尺度特征映射之间构建全局依赖关系,以可接受的计算成本获得丰富的全局语义特征;BLT在熵的指导下,自适应地在边界周围生成窗口,以降低基于大尺度特征映射的计算复杂度和细节损失。在三个公共数据集上的大量实验结果表明,C2FTrans在参数更少、故障更低的情况下,相对于最先进的基于CNN和基于Transformer的方法具有更好的性能。我们相信,C2FTrans的设计将进一步启发未来开发高效、轻量化的医学图像分割Transformer的工作。本文的源代码在https://github.com/xianlin7/C2FTrans上公开。


https://www.zhuanzhi.ai/paper/a9dc2afe9459bd58a0f3caabafd2df1d


专知便捷查看

便捷下载,请关注专知公众号(点击上方蓝色专知关注)

  • 后台回复“C2FT” 就可以获取【TMI2022】C2FTrans:用于医学图像分割的从粗到细的Transformers》专知下载链接

                       
专知,专业可信的人工智能知识分发 ,让认知协作更快更好!欢迎注册登录专知www.zhuanzhi.ai,获取100000+AI(AI与军事、医药、公安等)主题干货知识资料!
欢迎微信扫一扫加入专知人工智能知识星球群,获取最新AI专业干货知识教程资料和与专家交流咨询
点击“ 阅读原文 ”,了解使用 专知 ,查看获取100000+AI主题知识资料
登录查看更多
1

相关内容

【CVPR2022】基于粗-精视觉Transformer的仿射医学图像配准
专知会员服务
34+阅读 · 2022年4月2日
【CVPR2022】EDTER:基于Transformer的边缘检测(CVPR2022)
专知会员服务
30+阅读 · 2022年3月18日
Transformer如何用于视频?最新「视频Transformer」2022综述
专知会员服务
75+阅读 · 2022年1月20日
【NeurIPS2021】用于视频分割的密集无监督学习
专知会员服务
14+阅读 · 2021年11月14日
专知会员服务
13+阅读 · 2021年9月17日
【KDD2022】自监督超图Transformer推荐系统
专知
1+阅读 · 2022年8月1日
【CVPR2022】EDTER:基于Transformer的边缘检测
专知
2+阅读 · 2022年3月18日
【NeurIPS2021】多模态虚拟点三维检测
专知
0+阅读 · 2021年11月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2022年9月12日
Arxiv
0+阅读 · 2022年9月9日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年2月5日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2011年12月31日
相关论文
Arxiv
0+阅读 · 2022年9月12日
Arxiv
0+阅读 · 2022年9月9日
Transformers in Medical Image Analysis: A Review
Arxiv
39+阅读 · 2022年2月24日
Arxiv
17+阅读 · 2022年2月23日
Arxiv
102+阅读 · 2021年6月8日
Arxiv
19+阅读 · 2021年4月8日
Arxiv
17+阅读 · 2021年3月29日
Arxiv
15+阅读 · 2020年2月5日
Top
微信扫码咨询专知VIP会员