1. 我是CIO首页
  2. 资讯
  3. 人工智能

深度学习增强型电子皮肤,可以解码复杂的人类动作

一种深度学习增强型电子皮肤,可以解码复杂的人类动作
深度学习传感器收集震中运动。

首尔国立大学和韩国高级科学技术研究院(KAIST)的研究人员最近开发了一种传感器,该传感器可以充当电子皮肤并将其与深度神经网络集成。在《自然通讯》上发表的一篇论文中介绍了这种深度学习增强的电子皮肤系统,它可以从远处捕获人类的动态运动,例如快速的手指运动。

新系统源于跨学科合作,涉及机械工程和计算机科学领域的专家。领导这项最新研究的两位研究人员是灵魂国立大学机械工程教授Seung Hwan Ko和KAIST计算学院教授Sungho Jo。

多年来,Ko教授一直在尝试通过使用激光技术在金属纳米颗粒薄膜中产生裂纹来开发高灵敏度的应变传感器。然后将所得的传感器阵列应用到旨在检测人的手指运动的虚拟现实(VR)手套上。

“我的实验室通常至少使用5到10个应变传感器来预测准确的手部运动(每个手指至少要有1到2个传感器),因为所需的应变传感器数量会随着目标系统的复杂性增加而增加。”柯说。“几年前,我开始问自己一个问题:我们能否仅使用一个应变传感器而不是使用多个传感器来准确地预测手的运动?最初,这似乎是一个愚蠢的问题,因为几乎无法分辨出什么手指从应变传感器传来的信号。”

一种深度学习增强型电子皮肤,可以解码复杂的人类动作
基于迁移学习的RSL系统。

在Ko教授尝试开发一种能够准确预测人们的手部动作的应变传感器的同时,Jo教授正在研究将机器学习技术与最新传感器相集成的策略。Jo教授相信,即使人们使用单个传感器检测到这些信号,也可以使用机器学习来分析由手指运动产生的顺序传感器模式。

Jo教授说:“我们意识到,如果我们能够通过机器学习来利用这些模式,就可以清楚地将单个传感器观察到的多种不同行为分离开来。” “经过密切合作,我们能够开发出一种可以预测复杂手部动作的深度学习传感器。”

由Ko教授,Jo教授及其同事开发的传感器安装在用户的手腕上时,可以检测到他/她的手部运动产生的电信号,同时还可以识别这些信号来自哪个手指。与更传统的电子皮肤系统不同,传统的电子皮肤系统每个手指至少需要一个传感器才能准确预测人的手部运动,而新型的深度学习供电传感器在单独使用时也能很好地工作。

Ko教授对TechXplore表示:“常规电子皮肤至少需要5到10个应变传感器才能准确预测手部动作,所需的应变传感器数量会随着目标系统的复杂性增加而增加。另一方面,我们开发的深度学习电子皮肤传感器只需一个传感器就可以完成这项工作。”

研究人员不是使用更常规的方法简单地拟合传感器检测到的信号,而是使用深度学习模型来分析随时间变化的信号模式,并最终揭示所收集数据背后的手指运动。本质上,Ko教授,Jo教授及其同事证明,与深度学习技术结合使用时,单个传感器可以获得的效果可与多个传感器媲美。

Jo教授说:“我们的结果表明,我们可以用更少的传感器实现复杂的检测。这将大大简化需要用于复杂检测的传感器的系统。我们还预计,这种新方法将有助于对人体运动进行间接远程测量,这适用于可穿戴式VR / AR系统。”

在最初的评估中,由这组研究人员开发的电子皮肤系统取得了令人鼓舞的结果,成功地实时检测和解码了复杂的手指运动,而且无论其在用户手腕上的位置如何,其操作性能也始终如一。将来,在机器人和健身追踪器等可穿戴设备的开发中,传感器可能会具有许多有趣的应用。有趣的是,当放置在用户的骨盆上时,同一系统还可以解码步态运动(即步行方式),因此可以用于创建小型高效的运动跟踪设备。

Ko教授说:“在这项研究中,我们使用了机器学习的传感器来解码手部动作。但是,在不久的将来,我们计划在这项研究的基础上实现更复杂的身体运动预测,例如腿,胳膊甚至整个身体的运动预测。”

本文为作者 已诺 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论