29 / 2022-09-26 12:50:59

基于AI的舰船检测识别AR可视化系统

AI,AR,增强现实,深度学习,计算机视觉,人工智能

B. 普通高校组-学术类 > D3组：增强现实、混合现实

本作品是基于AI的舰船检测识别AR可视化系统，主要包括三大部分：人工智能模块、Unity开发模块和Hololens2-AR模块。首先，本作品基于计算机视觉R3Det算法，通过python编程，在PyTorch框架上实现深度学习网络，完成对遥感图像中舰船的检测和识别，在RTX 2080Ti的显卡上训练的模型检测识别率可以达到96%；然后，通过人工智能模块提取到的舰船类别和位置信息来获取舰船的3D模型，生成在虚拟场景中，同时添加语音模块和UI交互模块，实现对舰船和场景的语音介绍、手势交互、切换图像和场景等人机交互功能；最后，通过MRTK配置文件完成对工程项目在Hololens2上的部署，并利用空间感知、手势识别和眼动追踪技术，完成在Hololens2上的人机交互。使用者可以通过佩戴设备的方式，体验整个系统。比如，用眼睛注视到相应舰船的时候，会出现语音介绍舰船类型；用手势点击舰船，会展示出对应舰船的资料卡片；在切换界面可以对相应的遥感图像和舰船进行切换等。综上所述，本作品实现了计算机视觉与增强现实技术的融合，将目标检测结果投射到AR领域，向今后的技术走向和智能化应用迈出勇敢的一步。