215 / 2022-10-06 20:33:17

《时光弦乐》——针对未来老年人的 AR 交互式音乐游戏玩具

增强现实,智慧养老,居家娱乐游戏,音乐智能交互

A. 普通高校组-应用类 > A3组：智能互动（VR+头盔设备、VR+生活娱乐、VR+游戏、VR+AI等）

1.    时代背景与应用场景：随着我国于21世纪正式步入老龄化社会，出现了老年人口占比不断增高、基数不断扩大，人口增长的放缓及平均寿命的延长等情况，“养老”正面临着新的挑战。随着数字智慧技术以智能化、物联化、互联化的方式进入普通大众的日常生活，以及智慧养老逐渐深入、医疗水平不断提升，人们退休后的生命阶段得到延长，本团队由“人—设计—社会”回归到老年群体的日常生活，以智能交互式音频游戏玩具作为产品出发点，从而实现老有所安、老有所养、老有所“玩”。对于应用场景，未来音乐的发展趋势正朝着互动性音乐及AI作曲方向发展，音乐制作将由二维平面到三维球体空间。基于康定斯基的视听联觉理论，本团队设计的AR音乐游戏玩具可以凭借着跟踪、虚实融合、虚实交互等特点带来全新的玩法和交互体验，不仅可以丰富老年人个人的艺术技能，获得精神感觉上的享受与陶冶，也可以获得一种思想情感上的共鸣，使居家养老不再感到无聊孤单，增强老年人的社交性与互动性。

2.    产品概念：该产品是AR交互式音频游戏玩具，通过演奏乐曲进行游戏闯关。在选定的乐器侧面或内部放置相关传感器感知和识别弹拨、按压形成交互，与AR设备相连接显示画面/乐谱，并可以选择多种游戏模式关卡对应喜爱的音乐，演奏完毕可用AR眼镜直接一键分享。游戏内容主要以“父亲与孩子两代人之间的情感连接”作为主题，致力于“以音乐为引”，让玩家弹奏乐器来操控游戏中音符的移动，引导孩子从“萌芽”到“成长”、“成熟”。游戏主要面向老年人群体，着力于让玩家体验父亲年老时回首自己与孩子的半辈子，紧紧连结两代人的亲情。形式上作品为AR游戏，玩家操控设备为AR眼镜与提供的“乐器键盘”。游戏通过将游戏场景与现实场景相结合，而更多地增强游戏中的现实感，同时也使得在现实中体会虚拟情节成为可能。

3.    创新点：1)模块化设计赋能乐器交互，集成开发模块式乐器贴片，通过示波器、压力传感、位置传感、倾斜传感和LeapMotion多维传感器获取弹奏动作数据，包括手指按弦压力、手指在指板的位置、手指换把时滑动的位移等，输出至计算机多媒体交互控制平台进行处理，以乐器琴弦或按键为交互实体，触发不同琴弦对应于游戏中人物动作控制，从而实现通过演奏乐曲进行闯关的目标。2)增强现实游戏融入交互过程，基于老年人对情感尊重的需求，以及防眩晕防沉迷的注意点，本团队选取AR增强现实作为交互终端，可以更好地提高反应速度较低的老年人的交互反馈效果。3)原创乐曲与游戏剧情增强用户体验，AR游戏目前开发出“萌芽”、“成长”与“成熟”三个关卡，以音乐增强故事的叙事体验；针对老年人重视情感的需求，游戏设计从父母与孩子的情感连接出发，通过父母操纵音符作为引路人，带领孩子前进，让建立在真实空间的游戏体验更加温馨有趣，同时唤起父母在真实的家中带领孩子成长的温暖回忆。4)多模态人机交互的体验创新，通过弹奏乐器获取传感器数据、实时声音数据并与实时交互视频模块进行对接，借助AR眼镜终端将虚拟游戏搭建在现实环境中，使用者可以在家中感受游戏娱乐剧情并一键生成分享获取正向反馈。从多感官交互体验、情感化体验出发，让用户不再是单纯被动地接收音乐与视频，而可以主动参与到音乐创作中去，激发用户创作兴趣，提升体验满意度。