第一章 研究概述

1.1 研究背景与设计思路

  载人月面探测车（Lunar Roving Vehicle，LRV）是航天员进行大范围活动的重要依托。至今，美国60-70年代的“阿波罗”计划中的LRV是唯一实现搭载航天员进行月面探测的月面机器人。其具有行进转向、车体状态监控、远程通信等基础功能，通过控制操作杆/方向盘和推杆负责LRV的前进、后退，加减速、转向及制动，但缺少环境感知功能和丰富的人机交互系统，航天员不能身临其境地感知交互状态，这极大地限制了载人移动平台的作业性能。

  目前，我国已完成无人LRV“玉兔号”研制及取样返回任务，开始载人登月的研究实施阶段，但载人LRV与无人LRV在功能需求上存在较大差异。整体来说，我国的载人LRV研究还处在起步阶段，交互系统的设计是进行登月探测之前亟需解决的难题。

  为解决上述问题，本项目提出一种创新性高、沉浸感强、功能丰富的月面探测移动载人平台运动仿真与人机交互系统。设计内容包括载人LRV与月面虚拟环境建模、基于人机工效的交互作业平台设计、面向载人LRV的多通道人机交互系统设计、多标记融合的大视野下增强现实维护系统四个部分。为载人LRV提供地面预演和技术验证，易于代替实装开展对载人LRV的装备训练。

1.2 主要创新点

  （1）提出了基于人机工效学的交互作业平台设计，实现载人LRV与月面虚拟环境建模。充分考虑人体坐姿尺寸、人体坐姿活动空间尺度和视野范围，完成了平台人机工效设计，设备操作位置可控，舒适感高。构建的虚拟环境包括月面作业环境及载人LRV几何模型、月面载人LRV运动学模型等，并设计了月面移动调姿系统，实现了缓冲减震效果；提出了基于激光雷达等虚拟传感器的路径规划系统，实现了基于月面高程信息的地形检测、路径规划等功能。

  （2）提出了基于视觉、力触觉、语音、触控、体感等多通道融合的载人LRV平台人机交互方法，提高交互效率，增强了作业沉浸感。设计一种二自由度力反馈手柄，采用并联对称结构无累计误差、拓展性强，基于激光雷达-地形的力反馈解算算法有效保证了作业的安全和效率。视觉、力触觉、语音、触控多种交互形式的提出，实现了航天员操作命令的多通道输入输出，提升了航天员的交互体验。提出了体感反馈算法，实现了载人LRV月面作业运动的六自由度位姿跟踪，保证了交互作业的真实性。

  （3）多标记融合的增强现实虚拟维修。该功能基于多标记融合的增强现实技术，通过将多个标记组合在设备上，使虚拟维护功能的有效范围扩大，适用于对传统的基于单标记增强现实技术较为困难的视角环境，符合载人LRV上结构复杂设备的维护需求。多标记融合以及平滑追踪算法解决了相机位于临界视角时产生的图像抖动问题，增强了虚拟维护功能中相关图形指令和提示的稳定性。基于以上优点，使虚拟维护系统在缺乏专业技术人员直接帮助的情况下，更加实时和准确的对驾驶员设备维护操作做出指引。

第二章 系统架构与硬件平台

2.1系统架构

  系统设计以月面场景模拟、物理模拟、交互控制功能为核心，主要由操作系统、视景系统、主控计算机和平台控制系统组成，如图2-1。



  操作系统由力反馈手柄、座椅和按键等组成，实现载人LRV的驾驶和作业。视景系统由三块屏幕组成，显示虚拟场景和训练参数。主控计算机获取操作系统的信号，运行虚拟场景软件，向平台控制系统发送视镜系统中载人LRV的姿态信息。六自由度平台的运动由分布式控制器控制，模拟载人LRV的倾斜和振动。

2.2硬件平台

  硬件平台是航天员与月面环境交互的基础，本系统完成了移动载人硬件平台的设计，其主要由操作平台与运动平台两大部分组成。

  操作平台为航天员作业时直接接触部分。通过按键选择操作模式以及开启调姿系统、激光雷达等驾驶功能，利用力反馈手柄操控载人LRV的行进，同时手柄力反馈信息辅助航天员的驾驶，探测作业视觉信息包括第一人称、第三人称视角以及辅助驾驶信息。

  运动平台用于模拟载人LRV在月面环境中的运动模拟以及姿态调节，让航天员真实感受到月面作业环境的复杂性与特殊性，利用六自由度平台完成了载人LRV在月面空间中的六自由度运动。

2.2.1基于人机工效的交互作业平台

  为了月面探测作业操控方式的仿真，同时通过多通道进行人机交互，本操作平台主要由驾驶座椅、二自由度力反馈手柄、显示装置、按键阵列等组成。其设计如图2-7所示。



  其中，力反馈手柄用于航天员控制月面探测环境中载人LRV的行进方向，并利用力反馈信息辅助航天员安全驾驶。力反馈手柄主要由二自由度旋转机构、手杆、带光编码器的直流电机组成。其结构示意图如图2-8所示。

  在月面探测移动载人平台人机交互仿真系统中，六自由度运动平台的作用是实现载人LRV月面运动的物理仿真，航天员能够较为真实地驾驶载人LRV，感受加减速、月面颠簸等等。其主要由运动平台、底座、上铰链、下铰链、液压缸等组成。每个液压杆件上下两端通过可以进行360°整周回转的球铰链分别连接运动平台和底座。因此整个机构可以分别实现沿X，Y，Z轴平移和旋转的六个独立运动。如图2-10所示。



  此运动平台俯仰角、横滚角、偏航角最大为26°，在X、Y方向最大位移280mm，Z方向最大位移300mm。平台电缸采用的是 LJ-EC-80-300，控制精度较高，位移精度达0.1mm，角度精度达0.5°。同时平台通过以太网进行控制，通过UDP协议接受六自由度控制指令，响应速度0.01秒，可提供真实连续的驾驶体验。

第三章 虚拟环境建模

  载人LRV的动态特性复杂，为尽可能还原其动态特性，基于Unity建立虚拟现实软件，包括月面作业环境及LRV几何模型、月面载人LRV运动学建模、月面移动调姿系统建模，基于虚拟传感器的路径规划设计。参考阿波罗载人LRV模型设计，构建四轮独立半主动式调姿系统，搭建虚拟传感器模型，模拟LRV在月面的姿态调整、路径规划等操作。

3.1几何模型建立

  几何模型包括载人LRV和月面模型。选择适合的2D图片，以便建立三维模型的纹理映射。



  根据月球表面地形数据，得到单位面积内月面典型地貌特征的规格和数量，包括撞击坑、岩石等。根据月面典型地貌特征的剖面特征数据，随机生成三维地形图，添加适当的纹理映射。



 

3.2 月面移动调姿系统建模

  载人LRV的调姿系统作为连接LRV车轮和车身的总成机构，起到动力传导、缓冲减振的作用，采用四轮独立半主动调姿系统，降低能耗且保证舒适与可靠性。



  半主动调姿系统PID控制的模型如图。k为弹簧刚度；c为减震器阻尼系数；f_i为PID调节产生的i轮的驱动力；x_0​为路面激励位移；x_1为连接处位移；x_2为车身位移。建立动力学方程：



  考虑到调平需求，将车体倾角作为PID控制的对象，使车体尽可能保持水平。

3.3虚拟传感器与驾驶预警

  虚拟传感器模拟雷达传感器及激光测距传感器，采用Unity库封装的射线探测函数。



  图中红射线用于显示当前帧的扫描范围，仅在开发窗口内可见。考虑实际雷达传感器的工作方式及纵向扫描范围：规定一帧中有两列射线，每一列中共30条射线，俯仰角范围为±30度。传感器不断扫描周围环境并判定，在对应位置生成不同颜色标记点。



  探测任务完成时，基于激光雷达获取的地形数据将完成返航安全路径规划。选用具有路径最优性保证的A*算法进行路径规划。f(n)=g(n)+h(n).其中g(n)为从起点到节点n的路径的确切代价，h(n)为节点n到目标点的剩余路径代价估计，安全启发式函数f(n)的计算依赖于距离成本以及激光雷达扫描数据后计算的坡度成本。

第四章 多通道人机交互

  本系统采用分层处理模型。交互界面为信息采集设备，获取来自航天员的交互数据，通过交互信息层传到交互控制层。交互控制层梳理和整合采集到的信息，生成控制指令，通过交互信息层输出信息到交互界面的设备，反馈给航天员。

4.1力反馈手柄控制算法

  在系统中，上位机向下位机发送控制命令，下位机向上位机提供手柄位置信息，同时接收上位机的控制命令以驱动电机产生力反馈作用。力反馈手柄工作原理如图4-3。



  作为人机交互的一个重要通道，力反馈手柄不仅是控制系统的输入通道，而且是系统的输出通道，可以带给航天员真实的力触觉感受。

  力反馈手柄的直流电机装有绝对式位置编码器，可以测得转子机械位置值范围0～8191，但编码器测量到的值是电机主动轴的绝对位置，需进行软件处理：根据正转和反转分别计算两次测量之间的变化值，绝对值较小的就是实际的变化值；还需根据两次测量值判断出转子转动圈数计算得位置值。位置检测算法流程如图4-4。



  在获取手柄在水平和垂直两个自由度方向的位置后，处理得到-1～1的数值h和v。在水平方向上，LRV前轮角度值与水平方向位置值进行映射，控制载人LRV行进方向。在垂直方向上，行进速度与垂直方向位置值映射关系同上式，需要对发动机的扭矩输出进行PID调控。其控制原理如图4-5。

  力反馈驱动单元以DJI无刷直流电机为主要执行器。力反馈执行器的驱动力矩与电机驱动电流正相关，电机驱动电流与PWM波的占空比正相关，搭配使用DJI C620电调，利用电调自动完成PWM的转换过程，电调占用资源少且控制更精准。

  在月面作业中，力反馈手柄不同于传统的力反馈遥操作手柄，本手柄的力反馈解算算法是基于激光雷达数据的解算策略，保证驾驶的安全和执行作业的效率，其解算流程如图4-6。



  3.4节中对激光雷达地形数据点进行分析，生成颜色集{紫；蓝；绿；黄；红}，将五种颜色映射成力反馈数据集{-2；-1；0；1；2}。同时为驾驶方向划分5个区域，如图4-7。



  根据5个方向，在射程范围内统计数据点力反馈数据集并求和，解算得到反馈力。

4.2体感反馈算法

4.2.1算法模型原理

  项目使用Grant提出的经典洗出算法，由线性的高阶及低阶滤波器组成，简单且易于调节。算法一般将模拟器六个自由度运动分为纵向模式（纵向和俯仰），侧向模式（横向和滚转），偏航模式及上下模式。前两种使模拟器在有限运动空间，倾斜一定俯仰、滚转角，产生重力加速度分量模拟持续的加速度。后两种单独用高通滤波器模拟高频动感。

  原理图如图4-9，由高阶滤波器组成。算法根据人体感觉机制加入倾斜协调通道，模拟持续的低频加速度，既使平台运动在限制范围内，又提高逼真度。对纵向和侧向模式，算法用高、低通滤波器将前庭处的比力分成高、低频信号，高频部分通常不使平台运动超限，可直接作为输入，经两次积分生成驱动平台的纵、横向运动的位置信号。低频信号通过倾斜平台来生成等效的俯仰、滚转角，用重力分量模拟易引起平台超限的持续加速度。垂直方向重力分量的变化可忽略不计，约等于重力加速度。倾斜协调通道的低通滤波器生成了低频信号，故角速度滤波通道增加一个高通滤波器。



  算法的输入是人前庭处的比力和系统三方向的角速度。算法的输出信号为位移和姿态角，经位置反解计算液压缸伸长量，驱动六自由度平台运动。

  为防止大输入信号致运动系统超限，增加比例环节减小运动幅度。输入由体坐标系转换为惯性坐标系.

  L_s​——体坐标系到惯性坐标系的坐标变换矩阵。矩阵为:



  T_s——角速度到欧拉角变化率的变换矩阵。矩阵为



  洗出算法针对加速度洗出，将比力f2与重力加速度相加，转变为加速度，除掉重力影响。

  三个角运动采用不同高通滤波器。对轴线方向采用相同高通滤波器。

  倾斜协调通道将比力信号的低频分量转为倾斜角度。

  人所能感知的角速度约为3°/s以上，为模拟持续加速度时使模拟器倾斜的过程不让半规管察觉，倾斜协调通道增加角速度限制环节。

  轴线方向采用二阶高通滤波器，传递函数为

  发现系统返回中立缓慢且有偏差，故增加截止频率较低的一阶环节，成为三阶高通滤波器。传递函数为

  模拟器三个方向的旋转角度差异很大，需设计不同的滤波器。俯仰和滚转角变化范围很小、角速度相对较小，采用一阶高通滤波器。传递函数为：

  车辆偏航角与驾驶时转向有关，运动范围大且有不确定性，采用二阶高通滤波器。传递函数为：

  纵向和侧向的倾斜协调通道采用二阶低通滤波器。传递函数为：

  倾斜协调通道协调变换环节将比力信号的低频分量转为倾斜角度。

  上述角度较小，上式近似为：



 

4.3语音模块

  通过科大讯飞的在线语音识别云平台实现语音模块,通过语音识别接口将操作人员语音发送至科大讯飞云端服务器,完成识别后,下载并解析结果,得到相应语音交互指令。

根据LRV交互需求，语音识别分为模块初始化、语音识别和命令解析三个阶段。

第五章 多标记融合的增强现实虚拟维护

  系统基于改进增强现实算法实现辅助维护，集成的维护系统搭载在手持移动设备上，通过移动设备屏幕呈现虚拟模型。当平台出现故障，航天员手持移动设备前往需维护的地方，根据屏幕显示的虚拟指令进行简单的维护操作，完成当前显示指令后，按照更新的指令继续执行，完成操作。

5.1算法简介

  传统的增强现实追踪方法是相机追踪单一标志物，确定图像的位置并呈现在屏幕中。但在实际应用过程中会产生两个问题。一是相机视线方向与标志平面法向夹角过大时，无法跟踪到标志平面。二是在有多个标志组合追踪的情况，现有算法追踪不稳定，生成图像会发生抖动和跳变。

  针对上述问题，重新对算法和相应标志进行设计。将多个标志粘贴在立方体的六面上，并设计追踪算法，使用最大似然估计的方法对立方体上的标志进行融合和位姿估计。立方体制作简单，算法计算速度较快，结果稳定，符合实时反馈的应用需求。

5.2实验及结果

  算法基于ARtoolKit库实现，使用该算法进行实验以验证算法有效性，对后续虚拟维护系统提供技术支持。

  集成的传统算法计算得出的位姿的欧拉角如图5-1。追踪结果不稳定，存在大抖动及追踪丢失现象。



  使用改进追踪算法追踪方块标志物，计算结果如图5-2(a)。相比于传统算法，初步改进的算法使结果更加稳定及准确。通过引入基于角度与距离的权重，从而使追踪结果更加流畅，如图5-2(b)。



  尝试将方块标志物应用于增强现实应用程序，该应用程序通过对现实世界标志对象的旋转进行计数。如图5-3，方块标志物固定在一个手柄上，沿手柄所在的轴旋转标志物，算法可准确计算累积旋转的角度和旋转圈数。