105 / 2022-10-05 17:17:51

慧眼识片--基于AR的CT图像辅助诊断系统

增强现实,智能医疗,病灶检测,病灶标注,hololens

A. 普通高校组-应用类 > A3组：智能互动（VR+头盔设备、VR+生活娱乐、VR+游戏、VR+AI等）

随着信息技术的发展和智能设备的普及，虚拟现实与增强现实技术在各个领域的应用愈加广泛，越来越多的行业将增强现实技术与现有较成熟技术相结合进一步促进行业的发展，最近“元宇宙”概念的提出更是将增强现实技术推向浪尖。头戴式交互设备是增强现实技术的重要载体，它可以给人提供真实的沉浸式体验。目前随着医疗信息化技术的发展和智能医疗时代的到来，头戴式增强现实设备在医学领域的应用是当前研究中的热点问题。当前我国的医疗资源分布不均，医生临床工作强度不断增大，且对病理的诊断需要较强的专业知识和丰富的经验，因此计算机辅助诊断技术对降低医生工作强度和推进我国医疗信息化的发展都具有重要意义。本作品将增强现实技术和医学图像辅助诊断相结合，旨在为用户提供自然和谐的辅助诊断交互流程。本作品首先

研究了人体多部位的 CT 图像多标签语义标注算法，然后结合增强现实技术设计实现 了一个面向 CT 图像病灶检测与语义标注的系统，主要工作如下:

（1）提出了一种面向 CT 图像的病灶语义标注方法。现有的语义标注算法大多针对人体某一具体部位或具体类型病灶，本作品利用一个通用病灶数据集对模型进行训练，可以实现对人身体 8 个部位病灶的语义标注和检索，同时采用自注意力机制和残差模块来提高模型对病灶特征提取的能力，最后通过实验证明了所提出方法的有效性。

（2）设计并实现了基于 HoloLens 的 CT 图像病灶检测及标注系统。为了解决 HoloLens 的计算性能和存储空间有限的问题，该系统基于客户端-服务器结构进行设计，服务器端主要负责 CT 图像的病灶检测、标注以及检索，头戴式增强现实交互设备 HoloLens 作为客户端，负责 CT 图像的获取、结果呈现和多感官的交互。系统运行结果表明，该系统达到了 CT 图像辅助诊断的目的。