本项目结合计算机视觉、AR和VR技术的濒危鸟类知识服务的平台。其主要有六大功能,分别为AI识鸟、鸟语自然、空山鸟语、任你飞、手势识别、鸟类博物馆功能。
- AI识鸟功能:能够用手机摄像头自动识别鸟类图片,且在手机屏幕上展示该鸟类的动态飞行效果。目前对255种濒危鸟类的识别的成功率达到了98.9%。
- 鸟语自然功能:让鸟儿在场景中按照轨迹成群飞翔。
- 空山鸟语功能:自选鸟类模型,通过Arcore中Point Prefab点云识别和空间识别,搭建对应场景,呈现鸟儿在场景中自由飞翔的状态。
- 任你飞功能:操作鸟儿的飞行状态,通过按钮操作鸟的飞行。
- 手势识别功能:通过yolov3模型对人的手进行目标检测训练,达到了97%的准确率。
- 鸟类博物馆功能:博物馆外场景展示白鹭的生活环境和飞行姿态,馆内展示多种濒危保护鸟类的信息与模型,以及已灭绝鸟类的图片信息。此功能可以使用VR眼镜体验
本项目结合计算机视觉进行目标检测和图像分割,包含AR和VR虚拟场景的搭建。目前适用于手机端与PC端,使用C#和python作为主要后台开发语言,帮助人们认识和了解濒危鸟类,使得能够在日常生活中发现濒危鸟类,从而去保护濒危鸟类。