Oculus分享:为挑战性环境优化6DoF控制器追踪

  • 时间:
  • 浏览:0
  • 来源:大发快3官网-大发快3网站

(映维网 2019年12月24日)映维网曾在九月和十一月分享了关于OculusConstellation追踪系统的相关细节,其中负责AR/VR设备输入追踪的Facebook工程经理安德鲁·梅利姆(Andrew Melim)撰文介绍了亲戚我门我门是怎么用基于Constellation追踪的控制器来提高交互保真度,以及在最近版本更新中所采用的最新LED匹配方案。日前,安德鲁·梅利姆再次撰文的介绍了亲戚我门我门为进一步优化和强化Oculus Insight控制器追踪系统而付出的努力。下面是映维网的具体分发:科技快报

延伸阅读:深入探索Oculus Insight怎么提高追踪保真度,确保内向外追踪系统性能科技快报

延伸阅读:Oculus揭秘Touch控制器追踪技术:LED 匹配科技快报

Facebook进一步介绍关于最近用以优化控制器追踪性能的版本更新,尤其是针对具有挑战性的追踪环境,如蕴含圣诞树或假日装饰灯具的空间。可能Facebook的追踪系统是基于检测和几何匹配小簇红外光,就是我假日季期间将呈现重大的挑战,可能它要在蕴含数百个光点blob的背景下正确追踪控制器,而系统可能会将其误认为是控制器。科技快报

1. 追踪挑战科技快报

当控制器地处圣诞树前时,Insight追踪系统所感知的画面将如下所示。右侧的黄点是系统检测到的所有潜在控制器LED。如你所见,无论是来自圣诞树,装饰吊灯,还是这种 可能地处的灯串,外部光源完会 给系统定位控制器的LED带来挑战。科技快报

图中的这种 光源对追踪算法提出了一定的挑战:科技快报

更多的光点blob会原因分析分割和匹配的计算时间增加。科技快报

若无关于控制器在上一帧中的位置信息,可能控制器介于装饰灯具的离群值范围内,则系统几乎可能计算姿势。科技快报

就算地处先前的信息,即便是单个错误的LED完会 造成错误地匹配,从而原因分析追踪失败。科技快报

可能Quest的严格计算预算,计算时间的任何增加都可能造成camera的掉帧。科技快报

面对上述挑战,在假日装饰灯随近的环境中进行控制器追踪非常困难,就是我除非用户关闭灯具或将其移至这种 房间,就是我可能会原因分析错误。但Facebook希望亲戚我门我门哪些前一天都都都可不可不里能在俺家 享Quest和Rift S的乐趣,就是我Facebook专注于优化追踪系统。科技快报

2. 避免方案科技快报

Facebook构建了一种主要土妙招来避免这种 问提的不同方面:科技快报

首先,开发了一种都可不可不里能检测环境中的固定3D灯源,并使用其3D位置来帮助拒绝这种 光点blob的全新算法。映射外部点的过程相似于Insight追踪身前的系统。科技快报

要为这种 固定的离群点创建精确的映射,前要系统计算它们的基本几何底部形态并对其在3D空间中的位置进行三角测量。系统将在游玩过程建立其追踪的标记列表。这种 标记不仅存储离群点的位置,同去存储称为协方差的不选者 性值。这种 不选者 性都可不可不里能帮助提高系统当标记为固定时的判断精度。一旦在同一位置多次看一遍相同的标记,系统就会予以确认并在追踪过程忽略相关的光点blob。科技快报

在下面的并排图像中,你都可不可不里能看一遍新算法(左侧)识别出粉红色标记和绿色标记。其中,粉红色为圣诞树灯具的光点blob,而绿色则为控制器LED的光点blob。科技快报

一旦绘制了固定标记,系统就会将它们投影到camera视图,从而获取其在每一帧中的像素位置。在所述位置检测到的光点blob(通过特定阈值内的误差度量来测量)我过多 用于匹配。进行删减后,系统将获得有一个多 非常有可能是控制器blob的非固定blob索引列表。就是我,仅追踪固定的标记不够以确保可靠的追踪。在最具挑战性的环境中,亲戚我门我门希望系统在避免前一天先剔除明显不正确的光源。科技快报

就是我,Facebook通过外部测试分析为什么会会地处追踪不匹配。Facebook发现通常的状态是,可能姿态匹配,不匹配的控制器blob尺寸会错误,如假定姿态接近时blob太小。综上所述,图像中的显式blob尺寸基本可根据以下因素进行预测:科技快报

LED与摄像头的距离科技快报

入射到LED的入射角科技快报

图像blob到图像中心的距离科技快报

图像Blob椭圆在图像空间中的方向科技快报

考虑到这种 关系,Facebook尝试了不同的土妙招来将上述输入信号建模为输出。Facebook发现可能塑料的折射效应,几何建模相当不准确,而机器学习土妙招(尤其是小型神经网络)能带来最高的精确度。科技快报

Facebook利用Caffe2训练了有一个多 极小且针对性极强的CNN卷积神经网络,从而验证明显过多或太小而无法成为控制器blob的blob。Facebook对特定的外部分发数据集进行了训练,并发现这与映射标记结合时都都可不可不里能明显减少离群值数量的有效土妙招。科技快报

3. 结果科技快报

通过这种 优化,追踪系统的性能在充满挑战的环境中(如假日季期间常见的环境)有了显著改善。最大的改进是显著减少了数据丢失的数量,并几乎消除了在密集外部照明状态下不正确的LED匹配。亲戚我门我门发现这都都可不可不里能改善用户体验,同去希望Quest和Rift S用户都都可不可不里能全年无缝地享受VR的乐趣。科技快报