您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
业界 正文
发私信给付静
发送

1

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

本文作者:澳门星际赌场 2021-03-23 17:10
导语:VR 系统中触控交互的一个核心挑战就在于对触控事件的精确检测。

当地时间 2021 年 3 月 27 日-4 月 2 日,一年一度的 IEEE VR 会议将于线上举行。

作为展示虚拟、增强和混合现实(VR/AR/XR)领域最新研究成果的重要国际性会议, IEEE VR 2021 自然也将涌现出不少创意。

比如瑞士苏黎世联邦理工学院计算机科学系就研制出了一种手环。

戴上这种手环,我们就可以悬空弹钢琴。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

左右手比划一下,图片的位置和尺寸即可得到调整。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

“虚拟键盘”也出现了。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

相关研究成果已于预印本的形式公开,将在 IEEE VR 2021 上发表,题为 TapID: Rapid Touch Interaction in Virtual Reality using Wearable Sensing(TapID:虚拟现实中使用可穿戴传感的快速触摸交互)。

快速触摸交互内置 2 个惯性传感器

众所周知,随着硬件和算力的提升,VR 产生了更为逼真、有吸引力的场景。

VR 正变得越来越流行,传统产品是通过控制器或摄像头跟踪四肢进行互动。然而在研究团队看来,空中交互是阻碍 VR 场景生产力的关键因素,因为 VR 场景需要长时间的持续交互,而传统方式则无法满足这一要求。

实际上,VR 系统中触控交互的一个核心挑战就在于对触控事件的精确检测。

头戴式系统可以对手进行跟踪,这种单一的优势会导致深度感知的不准确性,从而使得触摸/非触摸识别和接触定位具有挑战性。

此前研究人员们已经提出了多种方法,通过集成可靠的触摸检测和抑制滤波器,尝试用深度摄像机进行精确检测。当然,不论是滤波器还是相机帧率,都会限制系统实现精确检测的交互速度。

于是,为了更好地满足交互需求、保证用户可以得到片刻的休息,研究团队设计了一种快速触摸交互,即一种名叫 TapID 的手环——其实,最新的 MR 系统已经结合了用于输入检测的手势识别,AR 设备(如微软 Hololens 2)和 VR 设备(Oculus Quest 2)亦然。

据了解,每只 TapID 都外表小巧,两侧嵌有 2 个惯性传感器。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

论文将 TapID 手环称为是“基于手腕的惯性传感系统”。通过惯性传感器,TapID 提供了粒度和对细微运动的检测。它不仅可以检测到某个表面(比如桌面)上的触摸事件,还可以额外识别手指,二者结合即在 VR 中触发输入事件。因此,平板和手机上的应用程序、交互模式可以无缝、可靠地转移到 VR 场景。也就是说,用户使用 VR 设备就像是在常见的生产力工具手机和平板电脑上操作一样。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

用户使用 TapID 时需每个手腕各戴一个,这样 TapID 就能检测到用户的手指轻叩动作。其背后原理在于一种机器学习算法,该算法可以分析人体骨骼系统的独特振动——这在 VR 环境中颇为有效。

具体来讲,通过检测手势可以确定出是哪只手指在敲击“键盘”,并不需要精确的位置信息。用户可以像在现实世界中一样在键盘上打字,或在表面上与虚拟对象交互。

TapID 实现精确检测

为检测 TapID 性能,研究团队设计了一系列测试。

团队招募了 18 名参与者(其中 14 名男性、4 名女性;年龄跨度在 19-57 岁,平均 28.4 岁),平均手腕周长为 168 mm(最小 146mm,最大 185mm)。

在每轮测试中,参与者戴上 TaplD,按照指示重复用每根手指展示敲击的动作(敲 30 下),在短暂休息后,继续这样重复两回。每个参与者都在 20 分钟内完成了测试。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

团队测得:

  • TapID 的事件检测精度 F1 = 0.997;

  • 手指识别精度(单个用户 F1 = 0.93;多用户改进后 F1 = 0.91;多用户改进前 F1 = 0.87)。

论文显示,TapID 的检测准确度明显超过了不少头显传感器和摄像头系统等。

指尖上的 VR!新型手环精准识别手指动作,隔空也能打字弹琴

最后,研究团队总结了 TapID 的一系列用途,包括 UI 控制、敲键盘、钢琴演奏、在桌面上做手势等等。

讲到悬空打字,也许有人会觉得不靠谱,正如开源社区 Hackaday 所说:

在一个虚拟环境中用虚拟键盘打字,我们并不敢保证效果如何,毕竟真正的键盘更容易触摸到,当然可能也更便宜。

不过 Hackaday 也表示,设计一个能够准确判断用户手指姿态、实现实时互动的设备,为 VR 领域的应用提供了新思路。也就是说,不论研究团队演示的悬空打字例子是否具有现实可行性,这项技术确实有效。

或许,未来我们可以顺着这种研究思路,提升与智能手表的互动方式。

引用来源:

https://siplab.org/papers/vr2021-TapID.pdf

https://hackaday.com/2021/03/16/bone-vibration-brings-typing-into-vr/

https://techxplore.com/news/2021-03-virtual-reality-fingertips.html

雷锋网雷锋网雷锋网(公众号:雷锋网)

雷锋网原创文章,未经授权禁止转载。详情见转载须知

分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以澳门星际赌场以方便用邮箱登录
立即设置 以后再说
网站地图 申博 澳门星际赌场 申博真人游戏 咪牌百家乐
太阳城亚洲官网 申博138开户 申博代理管理网手机登入 申博138官网
幸运大转盘 申博登入网址 申博娱乐注册 咪牌百家乐
申博手机版 ag娱乐登入 申博手机版 百家乐
申博游戏下载 太阳城亚洲注册 申博会员登入 申博登入网址