FingerTrak设备使用四个小型热感摄像机和机器学习来……
FingerTrak设备使用四个小型热感摄像机和机器学习来精确捕捉人类手和手指的3D位置,这可能对手语翻译或疾病诊断有用。
资料来源:康奈尔大学提供

3 d hand-sensing腕带

来自康奈尔大学和威斯康辛大学麦迪逊分校的研究人员设计了一种腕式设备,并开发了软件,可以连续跟踪整个人的手的三维。

该研究团队将这种名为FingerTrak的手环视为可穿戴传感技术的潜在突破,应用领域包括移动健康、人机交互,手语翻译,和虚拟现实。

该设备使用三到四个微型、低分辨率的热成像相机来感知人手的多个位置,并将其转换成三维坐标,这些热成像相机可以读取手腕的轮廓。“这是我们团队的一项重大发现——通过观察你的手腕轮廓,这项技术可以重建你的手腕3 d信息科学助理教授张程(音)说,他是康奈尔大学新成立的科学实验室(SciFi Lab)的主任,FingerTrak就是在这里开发的。“这是第一个基于手腕轮廓重建整个手部姿势的系统。”

华盛顿大学医学与公共卫生学院生物统计学和医学信息学助理教授尹立(音)为FingerTrak背后的软件做出了贡献。“我们的团队开发了一种计算机视觉算法深度学习,它可以从多个热图像重建3D手,”李说。

过去,人们认为手腕上的摄像头在日常使用中过于笨重和突兀,而且大多数摄像头只能重建一些离散的手势。传统的设备已经使用摄像头来捕捉手指的位置。

FingerTrak是一款轻便的手环,可以自由移动。它结合了热成像和机器学习来重建这只手。四个微型热感摄像机——每一个豌豆大小——拍摄多个剪影图像,形成一只手的轮廓。

一个深神经网络然后将这些剪影图像拼接在一起,在3D中重建出虚拟的手。通过这种方法,研究人员能够捕捉整个手部的姿势,甚至当手握着一个物体的时候。

张说最有前途的应用是手语翻译。他说:“目前的手语翻译技术要求用户要么戴手套,要么在环境中带摄像头,这两种方式都很麻烦。”“这真的可以将当前的技术推向新的领域。”

李建议,该设备也可以用于医疗保健,特别是监测影响精细运动技能的障碍。李说:“我们如何移动手和手指往往反映出我们的健康状况。”“这样的设备可能会被用来更好地了解老年人在日常生活中如何使用他们的手,帮助检测像帕金森氏症和阿尔茨海默氏症等疾病的早期迹象。”

研究人员将他们的研究成果发表在美国计算机学会交互式、移动、可穿戴和普适技术论文集。

订阅我们的时事通讯

相关文章

利用人工智能实时生成3D全息图

利用人工智能实时生成3D全息图

一种叫做张量全息术的新方法可以为虚拟现实、3D打印、医疗成像等创造全息图,而且它可以在智能手机上运行。新利18官方

人工智能比全息显示更好

人工智能比全息显示更好

研究人员正在开发新技术,以改善虚拟现实和增强现实技术的3D显示。

人工智能能够识别结直肠癌的突变

人工智能能够识别结直肠癌的突变

深度学习算法比现有方法更准确地提取分子路径和关键突变的发展。

像人类一样“思考”的人工智能

像人类一样“思考”的人工智能

创造类似人类的人工智能不仅仅是模仿人类的行为——如果要完全依赖这种技术,技术还必须能够处理信息或“思考”。

研究人员对人工智能进行心理分析

研究人员对人工智能进行心理分析

我们可以进行测试和实验,但我们不能总是预测和理解为什么人工智能会做这些事。

人工智能的进展和风险

人工智能的进展和风险

一个国际专家小组表示,人工智能已经达到了其进化的一个关键转折点。

深度学习帮助x射线数据在三维可视化

深度学习帮助x射线数据在三维可视化

科学家们利用人工智能训练计算机来跟上先进光子源所采集的大量x射线数据。

利用人工智能预测3D打印过程新利18官方

利用人工智能预测3D打印过程新利18官方

工程师们使用Frontera超级计算机开发用于增材制造的物理信息神经网络。

深度学习可以预测病毒感染

深度学习可以预测病毒感染

利用活细胞的荧光图像,研究人员训练了一个人工神经网络来可靠地识别被腺病毒或疱疹病毒感染的细胞。

受欢迎的文章

订阅简报
Baidu