耳能计算:一个正在形成中的新研究领域

电子与计算机工程(ECE)教授罗米特·罗伊·乔杜里说:“从今天的耳机到‘可耳式’的飞跃，将模仿我们从普通手机到智能手机的转变。”“今天的智能手机几乎不再是一种通话设备，就像未来的可耳设备将不再是智能手机配件一样。”

相反，该组织认为未来的耳机将持续感知人类行为，运行声学增强现实在美国，Alexa和Siri能够即时传递信息，追踪用户的动作和健康状况，并提供无缝的安全保障，以及其他许多功能。

可听计算的基础研究问题来自广泛的领域，包括传感、信号处理、嵌入式系统、通信和机器学习．SyNRG团队在开发新算法的同时，也在真实的耳机平台上与现场用户进行实验。

计算机科学博士生杨志坚和SyNRG小组的其他成员，包括他的同学魏玉林和李莉，走在前面。他们在这一领域发表了一系列论文，首先是在2018年ACM SIGCOMM上发表的一篇关于中空噪声消除的论文。

最近，该小组在第26届移动计算与网络国际会议(ACM MobiCom)上发表了三篇论文，围绕可耳设备研究的三个不同方面:面部运动感知、声学增强现实和耳机语音定位。

“如果你想在商场里找一家商店，”志建说，“这款耳机可以估算出商店的相对位置，然后播放3D声音，简单地说‘跟我来’。”在你的耳朵里，这个声音似乎来自你应该走的方向，好像是一个声音护卫。”

第二篇论文《EarSense:耳机作为牙齿活动传感器》(EarSense: earphone as a Teeth Activity Sensor)研究了耳机如何感知牙齿运动和轻拍等面部和口腔活动，从而实现与智能手机的免提通信方式。此外，牙齿颤振是各种医疗状况的表现，而这项技术将使人们能够通过在白天戴耳机来识别这些牙齿。未来，研究小组计划通过耳机传感器分析面部肌肉运动和情绪。

第三份出版物《使用附近墙壁反射的声音定位》研究了使用算法来检测声音方向。这意味着，如果爱丽丝和鲍勃正在交谈，鲍勃的耳机将能够调谐到爱丽丝声音的方向。

“我们已经在移动传感和计算领域工作了10年，”魏说。“我们有很多经验来定义可耳计算这一新兴领域。”