51 / 2022-09-27 21:09:52
融合生物力学约束与多模态数据的手部重建
终稿
薛皓玮 / 西北农林科技大学
王美丽 / 西北农林科技大学信息工程学院;农业农村部农业物联网重点实验室;陕西省农业信息感知与智能服务重点实验室

        为了解决目前单目手势重建的设备成本高、响应速度迟缓等问题,本文提出了一种新的以单目摄像机获取手部形状和姿态估计来进行手部3D重建的方法。该方法是一种新的基于学习的架构,使用带有2D和3D注释的图像数据,以及手部动作捕捉(MoCap)数据来进行训练。架构设计包含一个3D手部关节检测模块和一个逆运动学模块,不仅能够准确的回归3D关节位置,而且能在一个单一前馈通道内将它们映射到关节旋转中。通过引入生物力学约束以达到高质量的网格图像对齐,并驱动模型以提供实时预测。与仅回归3D关节位置相比,这种输出使该方法更直接地可用于计算机视觉和图形学中的应用。在现有的数据集上获得了实时运行性能(90fps)和精度(95.6%)。在基准数据集上的大量定量和定性测试结果表明,本文提出的算法在手部网格/姿态精度和手部图像对齐方面均优于目前的方法。

重要日期
  • 会议日期

    11月18日

    2022

    11月20日

    2022

  • 10月25日 2022

    初稿截稿日期

  • 11月20日 2022

    终稿截稿日期

  • 11月21日 2022

    注册截止日期

主办单位
中国仿真学会
中国图象图形学会
中国计算机学会
承办单位
北京航空航天大学云南研究院
云南大学
云南艺术学院
昆明理工大学
协办单位
虚拟现实技术与系统国家重点实验室(北京航空航天大学)
北京市混合现实与新型显示工程技术研究中心(北京理工大学)
计算机辅助设计与图形学国家重点实验室(浙江大学)
文旅部闽台非遗文化数字化保护与智能处理文化和旅游部重点实验室(厦门大学)
云南省人工智能重点实验室(昆明理工大学)
历届会议
移动端
在手机上打开
小程序
打开微信小程序
客服
扫码或点此咨询