1013 / 2023-11-01 22:45:29

一针见“穴”——智慧中医混合现实交互应用

<strong><strong>作品概要：</strong></strong><br />
      我们的作品旨在传承创新发展中医药文化，加强虚拟现实与行业应用融合发展。<br />
      我们创新的将《针灸甲乙经》、《黄帝内经·灵枢》等古籍中的取穴方法以人工智能的方式呈现在了混合现实中，能够实现人体重要穴位的自动标定功能。并且，我们在混合现实中复现了针灸铜人，使其成为3D标准人体穴位可交互教学模型，能够按照经脉进行展示教学，也能根据症状查询相关穴位进行自我保健，用户在点击穴位后可以显示出穴位的详细信息。<br />
      我们不仅在混合现实设备Hololens 2中进行实现，并且在VR设备PICO 4 Pro中通过<strong><u>Video See-Through</u></strong>的方式在AR中全功能复现，<strong><u>在不使用深度传感器的情况下实现了穴位点识别、按压后反馈是否吻合穴位点三维位置坐标的遮挡交互等等功能</u></strong>，使得一针见“穴”智慧中医混合现实交互应用的普适性大幅提高。<br />
      我们由衷希望这一门历经数千年的古老医学重焕光彩，希望与中国现代化价值同构、与中华民族伟大复兴事业血脉相连的中医药事业在新时代扬帆远航！<br />
<strong><strong>作品简介：</strong></strong><br />
我们的作品是一款AR/MR中医针灸穴位自动标定及教学软件，其主要内容分为两个部分，第一是根据《针灸甲乙经》中腧穴厘定、取穴方法完成的手部穴位点自动标定，第二是根据《新铸铜人腧穴针灸图经》完成的3D标准人体穴位可交互教学模型。<br />
我们创新的利用Hololens 2中的HandTraking API，结合了《针灸甲乙经》、《新铸铜人腧穴针灸图经》中的取穴方法，能够在增强现实、混合现实中对不同体态特征、关节长度的人体手部实现精准的穴位标定，并展示出穴位点名称。<br />
我们创新的将《新铸铜人腧穴针灸图经》一书中铜人针灸腧穴模型复现在增强现实中，并实现了可交互教学功能。通过点击、手部射线可以实现对模型大小、位置、角度的调整，便于进行穴位教学；通过触碰、手部射线、目光注释可以实现对增强现实、混合现实中的模型人体穴位进行展示，显示出其名称；通过抓取、手部射线可以实现对增强现实、混合现实中模型人体针灸穴位点的详细信息进行展示教学，包括穴位点名称、穴位点位置、取穴方法、治疗方法等。<br />
<strong><strong>开源代码与组件使用情况说明：</strong></strong><br />
开发过程中，使用Microsoft Mixed Reality Toolkit (MRTK)开源组件库，代码仓库为：<a href="https://github.com/microsoft/MixedRealityToolkit-Unity">https://github.com/microsoft/MixedRealityToolkit-Unity</a>。MRTK 提供了多种类型的组件和工具包，可以用于实现各种混合现实应用程序的功能。我们使用了Input System输入管理组件，用于管理 HoloLens 的手势、语音、眼动等输入方式，并将输入映射到应用程序中的操作；使用MRTK的Interactable交互组件，将 HoloLens 的手势等输入与应用程序中的物体进行交互；使用NearInteractionGrabbable组件实现物体的抓取和拖动功能；使用ObjManipulator 组件实现游戏对象的旋转、缩放和平移操作；使用Box Collider组件检测游戏对象之间的碰撞和触发事件；使用Bounds Control组件进行游戏对象的边界框调整和碰撞检测等操作；使用Rigidbody组件控制游戏对象的物理运动和碰撞行为等等。<br />
<strong><strong>作品安装说明</strong></strong><br />
首先打开使用Visual Studio 2022打开Acupoint Teaching.sln，然后配置项目为Release模式，生成平台为ARM64。将Hololens 2于部署计算机置于统一局域网下，从Hololens中获取到局域网ip地址，打开Acupoint Teaching(Universal Windows)，点击项目->属性->调试，将“计算机名”设置为局域网ip，然后点击应用。最后，点击任务栏中远程计算机开始部署。<br />
<strong><strong>设计思路</strong></strong><br />
<strong><strong>1.相关背景</strong></strong><br />
①老龄化进程加快<br />
2022年起，中国人口进入历史性负增长阶段，并呈现出阶段性加速的趋势。快速的人口转变和长期低迷的生育率使中国人口负增长和人口老龄化趋势不仅无法逆转，而且将在波浪式演进中不断相互强化。中国将可能成为世界人口负增长和人口老龄化速度最快的国家。<br />
②亚健康问题普遍，健康成消费时尚<br />
新华健康平台联合中国人民大学社会与人口学院，推出《中国城市青年群体健康观念调查报告（2022）》报告显示，城市青年群体的自评健康水平总体较高，但亚健康问题仍较为普遍，同时健康已成为消费时尚。并且青年以外，随着受访者年龄的增长，选择中医的比例相对更高。如在 40-45 岁年龄段中，无论是面对日常疾病还是重大疾病，选择中医的比例都高过西医。<br />
③中医理论存在与实践脱节<br />
中医的治疗办法无从精确和量化。临床诊断方法的望、闻、问、切四诊，仍然是以眼、鼻、口、耳、手为主的人工操作，判断过程具有模糊性、不完整性、不确定性与随意性，缺少新技术设备做辅助，难以与现代科学技术的成果相融合。穴点过分以来于专业人员主观判断，缺乏过程的客观监测和结果的评价标准。<br />
④时代赋予中医药新使命<br />
医药行业持续改革，中医药服务能力大幅提升，尤其随着国家体系建设不断完善，中医发展将迎来黄金时间。2019年10月，《中共中央国务院关于促进中医药传承创新发展的意见》印发，明确了中医药传承创新发展的目标方向和具体举措，彰显了中国共产党对于“坚持中西医并重，传承发展中医药事业”的决心和信心，为新时期中医药事业发展提供了有力保障。<br />
<strong><strong>2.作品目的</strong></strong><br />
中医治疗中的重要组成部分、2006年经国务院列入第一批国家级非物质文化遗产名录的针灸是通过对相应经络点的刺激治疗疾病，其对穴位点的位置精准度有着较高的要求。<br />
对于非专业人员来说，穴位点的寻找是一件很困难的事情，仅仅凭借一张单或多视角二维穴位图完全基于人大脑的三维空间想象能力确定穴位点会出现较大误差。对于相关领域学习人员来说，学习的过程就会极度的复杂，培养确定穴位点精确位置的能力需要较长的时间和较多的练习，如果在练习过程中缺乏专业人员手把手指导又会出现标定误差等问题。<br />
本作品旨在实现穴位点自动标定以及制作3D标准人体穴位可交互模型模型，基于Hololens 2 MRTK 2.8.3 HandTraking，通过微软Hololens 2全息眼镜，帮助用户辅助确定精确的中医穴位点。<br />
本作品的目的主要有以下四个方面：<br />
①提高中医诊疗的效率和精度：传统的中医诊疗方法依赖于医生的经验和技能，存在着主观性和不确定性，而使用Hololens 2进行自动标定和教学展示可以提高穴位检测和教学的精度和效率，降低误诊率和治疗风险。<br />
②辅助用户进行自我保健：让没有中医专业知识的大众可以依靠现代化设备以及高效算法直接找到自己身上穴位点的精确位置，了解穴位的位置和作用，进而进行自我保健。<br />
③方便中医教育教学：国内外中医药院校可以通过本研究的成果优化教学模式，为学生提供更直观、更生动的教学资源，提高教学效率与准确性，帮助学生更好地理解中医穴位理论和中医治疗方法。<br />
④推动中医药领域科学研究：中医药院校的教师和科研人员可以基于Hololens 2用于中医穴位点自动标定和3D标准人体穴位模型教学展示开展中医穴位相关的科学研究，如穴位定位技术的改进、穴位治疗机制的探究等。<br />
⑤推广中医文化：中医作为中国传统文化的重要组成部分，具有深厚的历史和文化底蕴，随着全球化的不断推进，中医文化也逐渐受到了国际社会的关注和认可。使用Hololens 2进行中医穴位教学展示可以更好地展示中医文化和教育，为更多人了解和认识中医文化提供便利，促进中医在国际上的发展和推广，加强中外文化交流，推动中华文化的传承和发展。<br />
<strong><strong>3.作品制作</strong></strong><br />
对于《针灸甲乙经》这一中医药代表著作的弘扬，我们考虑将其中的腧穴厘定、取穴方法进行自动化实现。所以，我们在设计中使用到了对骨关节的定位，依据骨关节的定位以及体表标志等书中描述到的腧穴位置信息，制作函数实现对穴位的自动标定。<br />
对于《新铸铜人腧穴针灸图经》这一中医药代表著作的弘扬，我们考虑通过书中描述将针灸铜人复现于增强现实、混合现实中。所以，我们在设计中考虑使用MAYA对人体进行建模，然后依据《针灸甲乙经》、《新铸铜人腧穴针灸图经》中的具体穴位点的位置制作3D标准人体穴位模型。而后的设计中，我们对穴位点增加了注视、触碰、点击等交互功能，可以实现对针灸穴位的学习。<br />
<strong><strong>4.创新点</strong></strong><br />
我们创新的利用Hololens 2中的HandTraking API，结合了《针灸甲乙经》、《新铸铜人腧穴针灸图经》中的取穴方法，能够在增强现实、混合现实中对不同体态特征、关节长度的人体手部实现精准的穴位标定，并展示出穴位点名称。<br />
我们创新的将《新铸铜人腧穴针灸图经》一书中铜人针灸腧穴模型复现在增强现实中，并实现了可交互教学功能。通过点击、手部射线可以实现对模型大小、位置、角度的调整，便于进行穴位教学；通过触碰、手部射线、目光注释可以实现对增强现实、混合现实中的模型人体穴位进行展示，显示出其名称；通过抓取、手部射线可以实现对增强现实、混合现实中模型人体针灸穴位点的详细信息进行展示教学，包括穴位点名称、穴位点位置、取穴方法、治疗方法等。<br />
<br />
<strong><strong>设计重点难点</strong></strong><br />
<strong><strong>设计重点：</strong></strong><br />
人体关键部位手部穴位点的自动标定：实现在增强现实、混合现实中对不同体态特征、关节长度的人体手部实现精准的穴位标定，并展示出穴位点名称。<br />
3D标准人体穴位模型的制作：将《新铸铜人腧穴针灸图经》一书中铜人针灸腧穴模型复现，使增强现实、混合现实中3D标准人体穴位模型代替穴位图等，更加方便穴位定位。<br />
3D标准人体穴位模型的可交互实现：通过点击、手部射线可以实现对模型大小、位置、角度的调整，便于进行穴位教学；<br />
通过触碰、手部射线、目光注释可以实现对增强现实、混合现实中的模型人体穴位进行展示，显示出其名称；<br />
通过抓取、手部射线可以实现对增强现实、混合现实中模型人体针灸穴位点的详细信息进行展示教学，包括穴位点名称、穴位点位置、取穴方法、治疗方法等。<br />
UI界面：设计作品介绍界面、3*3菜单界面，设计注视显示提示框、设计点击弹出详细信息介绍框等等<br />
<strong><strong>设计难点：</strong></strong><br />
手部正反识别以及穴位区分显示：通过检测左右手掌的朝向来判断手的正反方向：首先，代码调用TryGetJointPose函数来获取左右手掌的姿态信息，其中TrackedHandJoint.Palm表示手掌关节；接着，代码获取手掌姿态信息中的Up向量，即手掌的法向量。这个向量垂直于手掌的掌面，并且指向手指尖；然后，代码将摄像机的前向向量（即摄像机朝向的方向）和手掌法向量进行点积运算。点积运算的结果是一个标量值，可以用来判断两个向量之间的夹角。如果这个值大于0，则表示手掌正面朝向摄像机，否则表示手掌背面朝向摄像机。<br />
手部穴位点函数的构建：依据《针灸甲乙经》、《新铸铜人腧穴针灸图经》中的取穴方法，对手部所有重要穴位点依次构建函数。特定的穴位点与手部骨骼联接点的位置相同，其余穴位点可以通过依据骨关节的定位以及体表标志等书中描述到的腧穴位置信息，制作函数实现对穴位的自动标定。<br />
UI界面交互触发事件：对菜单栏不同案件写脚本实现交互，例如模型的打开、收起；手部穴位点检测的打开与关闭。作品制作过程中出现了手部穴位点检测关闭后穴位点小球只是不跟随手部移动的情况，我们在关闭脚本中通过gameObject.SetActive(false);将所有穴位点小球的SetActive属性设置为false，从而使其在游戏运行时不再显示。<br />