306 / 2022-10-29 21:01:44

Painting++：多通道交互支持的智能VR绘画系统

虚拟现实,绘画,人工智能,多通道交互

Painting++是一个多通道交互支持的智能VR绘画系统，让用户能够在虚拟环境中获得身临其境的沉浸绘画体验。Painting++提供了场景化绘画、多通道交互、智能生成等功能，丰富VR绘画的体验。

在Painting++中，用户将置身于虚拟的森林、沙滩等场景，从大自然中获得绘画的灵感。绘画过程中，用户还可以与环境进行互动，获得听觉、触觉、嗅觉等多种感官反馈。Painting++为自然场景中的不同物体定制了相应的感官反馈，例如，当用户将VR手柄指向树木时，就能听见风吹树叶的声音，感受到微风拂过的触感，闻到树叶的清香。Painting++融入了AI的生成能力，用户只需像涂鸦一样简单勾勒草图，表达创意想法。完成绘画后，Painting++将把用户绘制的草图转化为生动的立体风景画，降低用户在VR中的绘画难度。

Painting++的软件主体运行于Oculus Quest 2 头戴式显示器中。Painting++使用Oculus Quest 2内置的扬声器提供听觉反馈，使用VR手柄和外置风扇提供触觉反馈，使用气味显示装置提供嗅觉反馈。为实现绘画智能生成，Painting++采用自研算法，将用户绘制的草图输入生成式对抗网络，并输出动漫风格的风景画。而后，采用基于上下文感知的分层深度嵌入算法，将平面的风景画转化为立体风景画。

在疫情仍然存在的今天，Painting++给因为疫情无法外出写生、游玩的人们提供了另一种可能性。用户只需佩戴上VR头戴式显示器，即可进入真实的自然场景中，体验外出写生的乐趣，从自然中获得丰富灵感。VR与感官反馈设备相配合，使用户能进一步与自然环境互动，生动复刻了现实中的写生体验。除此之外，Painting++提供的多通道交互能够使人放松身心，舒缓压力。

在未来，利用Painting++的智能生成能力，能够极大降低VR中场景制作的门槛。为了提升VR体验的趣味性，VR软件需要向用户提供多样的场景和内容。然而，制作VR场景和内容是一项耗时耗力的工作。AI能力的介入使没有专业基础的用户也能创作出精美的场景，从而促进VR中的内容创造。