突然资讯网
首页 >> 科技 >> 正文

AR,+,机器学习,实时运动追踪

日期:2020-09-21 13:23:48 来源:互联网 编辑:小狐 阅读人数:807

文 / 软件工程实习生 Vikram Sharma;资深软件工程师 Jianing Wei;高级软件工程师 Tyler Mullen

增强现实 (AR) 技术带来了有趣且引人入胜的沉浸式用户体验。而对大规模支持 AR 应用来说,无需初始化即可跨设备和平台执行 AR 追踪的能力十分重要。

今天,我们很高兴介绍 MediaPipe 中的 实时运动追踪(Instant Motion Tracking Pipeline)解决方案。此方案基于 MediaPipe Box Tracking解决方案。通过使用“实时运动追踪”您可以轻松将有趣的虚拟 2D 和 3D 内容放置于静态或动态的表面上,从而实现内容与现实世界的无缝交互。这项技术还为 MotionStills AR支持。除了相关的库以外,我们还发布了一个开源 Android 应用,用以展示此解决方案的各项功能。在这个应用中,用户只需轻按相机取景器即可插入虚拟 3D 对象和 GIF 动画,实现对现实环境的增强。

AR,+,机器学习,实时运动追踪(图1)

AR,+,机器学习,实时运动追踪(图2)

MediaPipe 中的实时运动追踪

实时运动追踪

使用实时运动追踪解决方案可将虚拟内容无缝放置在现实世界的静态或动态表面上。为实现这一效果,我们以旋转和平移矩阵的形式了具有相对比例的 6D 自由度追踪。随后在渲染中使用这类追踪信息,将虚拟内容叠加在摄像头流上,进而打造沉浸式 AR 体验。

实时运动跟踪背后的核心思路是将摄像头的平移与旋转预测分离开来,将二者视作两个独立的优化问题。通过使用这种方法,无需初始化或校准即可实现跨设备和平台的 AR 跟踪。为此,我们首先仅利用摄像头发出的视觉信号来寻找 3D 摄像头的平移(如:预测目标区域在帧之间的明显 2D 平移和相对比例)这个过程可以用一个简单的针孔相机模型进行说明,模型会将图像平面中的对象平移和缩放与最终的 3D 平移相关联。

AR,+,机器学习,实时运动追踪(图3)

通过追踪区域从视图位置 V1 到 V2 的相对大小变化,我们可以预测出其与摄像头之间距离的相对变化

支持实时运动追踪的 MediaPipe 流水线

下方所示为实时运动追踪流水线的示意图,包含四个主要组件:贴图器模块、区域追踪模块、矩阵器模块以及最后的渲染。每个组件都由 MediaPipe 计算器或子图表组成。

AR,+,机器学习,实时运动追踪(图4)

实时运动追踪流水线示意图

使用实时运动追踪解决方案

通过 MediaPipe 跨平台框架,您可轻松使用实时运动追踪解决方案。以摄像头取景框、设备旋转矩阵和锚点位置(屏幕坐标)作为输入,MediaPipe 计算图可为每帧生成 AR 渲染效果,从而营造出沉浸式视觉体验。如果您希望在自己的或应用中集成这个实时运动追踪库,请访问我们的 文档,了解在具有 IMU 功能和摄像头传感器的设备上 如何打造自己的 AR 体验。

用 3D 贴图和 GIF “增强”真实世界

实时运动追踪解决方案可将 3D 贴图和 GIF 动画效果成功融入 AR 体验中。我们通过现实世界中的平面 3D 广告牌上渲染 GIF,将动画内容融入真实世界,带来乐趣横生的沉浸式体验。您不妨亲自尝试一下!

AR,+,机器学习,实时运动追踪(图5)

AR,+,机器学习,实时运动追踪(图6)

3D 环境中的 GIF 插入演示

AR,+,机器学习,实时运动追踪(图7)

实时运动追踪助力 PixelShift.AI 打造混合现实体验

致谢

特此感谢 Vikram Sharma、Jiangwei、Tyler Mullen、Chuo-Ling、Ming Guang Yong、Jiuqiang Tang、Siarhei Kazakou、Genzhi Ye、Camillo Lugaresi、Buck Bourdon 和 Matthias Grundman 为此次发布所做的贡献。

本文相关词条概念解析:

追踪

借助视觉、触觉及肌肉运动觉协同实现的连续控制活动。它要求操作者在恰当的时间操纵一种控制器,使控制的成分与运动着的目标保持吻合。追踪任务在某些情况下由操作者定速,而在另一些情况下则由外部定速,操作者不能控制必须完成的任务的速率。追踪活动分为尾随追踪和补偿追踪两种。尾随追踪显示器的目标是可移动的,控制成分也是可移动的,两者间的距离表明两者之间实际存在着的差异;而补偿追踪显示器的目标是固定的,控制成分则是可移动的,两者间的差异表示两者实际上存在着的误差。由于尾随追踪显示器较为形象,操作者能预见目标移动的趋向性,因而在一般情况下,尾随追踪显示器无论在速度还是在准确性方面都优于补偿追踪显示器。

网友评论