该研究团队将这种名为FingerTrak的手环视为可穿戴传感技术的潜在突破,应用领域包括移动健康、人机交互,手语翻译,和虚拟现实。
该设备使用三到四个微型、低分辨率的热成像相机来感知人手的多个位置,并将其转换成三维坐标,这些热成像相机可以读取手腕的轮廓。“这是我们团队的一项重大发现——通过观察你的手腕轮廓,这项技术可以重建你的手腕3 d信息科学助理教授张程(音)说,他是康奈尔大学新成立的科学实验室(SciFi Lab)的主任,FingerTrak就是在这里开发的。“这是第一个基于手腕轮廓重建整个手部姿势的系统。”
华盛顿大学医学与公共卫生学院生物统计学和医学信息学助理教授尹立(音)为FingerTrak背后的软件做出了贡献。“我们的团队开发了一种计算机视觉算法深度学习,它可以从多个热图像重建3D手,”李说。
过去,人们认为手腕上的摄像头在日常使用中过于笨重和突兀,而且大多数摄像头只能重建一些离散的手势。传统的设备已经使用摄像头来捕捉手指的位置。
FingerTrak是一款轻便的手环,可以自由移动。它结合了热成像和机器学习来重建这只手。四个微型热感摄像机——每一个豌豆大小——拍摄多个剪影图像,形成一只手的轮廓。
一个深神经网络然后将这些剪影图像拼接在一起,在3D中重建出虚拟的手。通过这种方法,研究人员能够捕捉整个手部的姿势,甚至当手握着一个物体的时候。
张说最有前途的应用是手语翻译。他说:“目前的手语翻译技术要求用户要么戴手套,要么在环境中带摄像头,这两种方式都很麻烦。”“这真的可以将当前的技术推向新的领域。”
李建议,该设备也可以用于医疗保健,特别是监测影响精细运动技能的障碍。李说:“我们如何移动手和手指往往反映出我们的健康状况。”“这样的设备可能会被用来更好地了解老年人在日常生活中如何使用他们的手,帮助检测像帕金森氏症和阿尔茨海默氏症等疾病的早期迹象。”
研究人员将他们的研究成果发表在美国计算机学会交互式、移动、可穿戴和普适技术论文集。
来源:康奈尔大学