645 / 2023-10-26 20:47:53
基于MR的智能烹饪解决方案-烹饪视界
全文录用
宋祥伟 / 山东大学(威海)
石钰豪 / 山东大学
王梓阳 / 山东大学(威海)
孙祥森 / 山东大学(威海)
孙贻丽 / 山东大学
问题聚焦

我们聚焦于厨房新手在烹饪过程中所面临的各种挑战,这些挑战包括调料掌控、烹饪过程与食谱的结合、设备协同、饮食计划和菜谱选择,以及烹饪安全。这些问题反映了厨房小白在烹饪中可能遇到的种种困难和不便。

针对这些问题,我们提出了一系列创新性的解决方案,利用先进的技术来提高烹饪体验和增加用户的便利性。这些解决方案包括深度学习技术的应用,以实时识别调料、推荐菜谱和制定饮食计划。此外,我们还探讨了MR(混合现实)技术的应用,通过将菜谱和提示信息显示在MR设备中,使用户能够在烹饪过程中更轻松地获取信息,而无需依赖传统的食谱书或手机应用。利用物联网技术和MR技术,用户可以通过增强现实方式控制厨房设备,提高操作效率和安全性;还可以实时监测厨房设备状态和安全问题,并向用户提供警告和建议,以减少潜在的安全风险。

这些解决方案共同构成了MR烹饪视界APP的核心功能,旨在为厨房小白提供更便捷、更安全、更个性化的烹饪体验,使他们能够轻松掌握烹饪技能,享受美食,并更好地管理饮食和健康。这将为未来的智能厨房带来重大改进,提升用户生活质量。



功能概述

(1)MR烹饪视界APP的核心功能和产品特色包括:

MR食谱教程: 提供以MR形式呈现的烹饪教程,不再依赖传统的图文或视频教程,使用户能够实时获取烹饪信息,提高了学习效果和烹饪的实时性。

智能电器一站式控制: 整合多种智能厨房设备的控制协议,提供一站式控制界面,消除了设备之间控制方式的割裂感,提高了用户的操作便捷性。

烹饪安全提示: 实时分析用户的烹饪步骤,检测潜在的危险,并提供安全警告和建议,确保用户的烹饪过程安全可靠。

AI健康助手: 分析用户的饮食数据,生成饮食健康报告,并为用户推荐合理的健康饮食安排,帮助用户更好地管理饮食和健康。



(2)产品的关键特点和优势包括:

首创性创新: 首创MR烹饪教程,用户能够实时获取烹饪信息,提高了学习效果和操作便捷性。

智能设备控制: 提供智能设备一站式控制,整合多种通信协议,消除了设备之间控制方式的割裂感,提高用户的操作便捷性。

健康管理: 融合AI的智能健康管理助手,帮助用户管理饮食和健康,提供合理的饮食建议,增强用户的饮食体验和满意度。

MR烹饪视界APP以其创新性、便捷性和智能性,为用户提供了更高水平的烹饪和健康管理体验。



关键技术

我们的关键技术包括:

体积估计算法:我们采用单目深度测深技术,通过拍摄装有物品的照片来估计调味品的体积。这种方法便捷,适用于各种环境。我们还使用图像处理和分割网络来确定物体的位置、大小和形状,最后应用数学知识计算体积。为提高精度和泛化性能,我们采用了2021年IEEE提出的DiverseDepth模型,并创建了多元化数据集,使模型在不同场景下都能表现出色。

MR交互技术: 在MR环境下,我们使用HBAO渲染技术改善了UI面板的质量,并结合FCN语义分割网络对现实环境进行分析,以实现MR面板的适应性调整。通过PICO头盔的手部追踪技术和自研手部分析算法,我们实现了多种手势的识别和多样化的MR交互方式,包括射线选中、点击、拖拽等,同时提供了手部菜单以增强用户交互体验。

快速食材识别: 我们采用了先进的目标检测模型YOLOv5-FasterNet来实现厨房内的食材识别。这个模型在准确度、训练速度和推理速度方面都有明显的改进,使食材识别更快更准确。

智能推荐算法: 我们结合协同过滤算法和基于知识图谱的推荐方法,使用KGE方法处理知识图谱的实体和关系,将其整合到推荐框架中。这种方法提高了推荐系统的准确性、可解释性和鲁棒性,解决了数据稀疏和冷启动问题,显著提高了召回率,为用户提供了更符合口味的饮食推荐,提高了用户的饮食体验和满意度。

这些关键技术共同构成了我们MR烹饪视界APP的核心,为用户提供了更便捷、智能和安全的烹饪体验。

 
重要日期
  • 会议日期

    11月17日

    2023

    11月19日

    2023

  • 11月30日 2023

    初稿截稿日期

主办单位
中国虚拟现实大赛组委会
中国虚拟现实大赛指导委员会
承办单位
VR中国
中国计算机学会(相城)元宇宙产业智库
协办单位
虚拟现实技术与系统全国重点实验室(北京航空航天大学)
计算机辅助设计与图形学国家重点实验室(浙江大学)
联系方式
历届会议
移动端
在手机上打开
小程序
打开微信小程序
客服
扫码或点此咨询