1. 我是CIO首页
  2. 新闻
  3. 新技术

研究人员展示了用于自动无人机的全息AR控制系统

研究人员展示了用于自动无人机的全息AR控制系统

从理论上讲,控制飞行无人机与驾驶直升机应该没有多大区别,但是如果没有人在驾驶舱内,可视化无人机相对于环境障碍物的当前位置可能会很棘手:通常是二维的,依赖于相机和操纵杆。本周,香港科技大学的研究人员刘楚浩和沉少杰透露了一种引人入胜的新解决方案,该解决方案使用全息增强现实硬件创建实时3D地形图,使无人机飞行员可以简单地指向任何平面上方可视化的目标。

全息界面依赖于有趣的技术组合:在显示侧,Microsoft HoloLens头戴式耳机将增强现实内容生成为彩色体素贴图,可以使用自动无人机的深度摄像头和光线实时投射从任何角度进行查看位置数据。至关重要的是,该系统提供了对环境高度和深度的实时感和高度空间感,使无人机可以很容易地从第三人称视角看到并重新定位。

然后,HoloLens将命令反馈回无人机,通过将佩戴者的手势和注视转变为类似点击的控件,在全息图内确定其下一个目标。然后,无人驾驶飞机会飞往新位置,并在3D地图行进时对其进行更新。由于带宽限制,无人机仅将3D地图数据提供给AR接口,而不提供随附的第一人称视频。

在准备部署全息无人机控制系统之前,香港大学团队还有一段路要走。最初,无人机的数据是在室内测试空间内使用Wi-Fi共享的,尽管一旦5G网络超过了目前无人机受限的阶段,低延迟5G蜂窝连接可能会在室外工作。研究人员还指出,HoloLens在一组测试人员中的“ [AR]视野非常有限……引起了频繁的抱怨”,可以使用HoloLens 2或其他AR耳机解决此问题。此外,测试人员需要实践以精通3D定位,尽管他们以前对AR硬件很熟悉,但这个问题可能会追溯到手势识别或不完善的3D UI。

值得注意的是,3D地图数据比实时第一人称视频的带宽效率更高,每秒更新10次时仅需要272MB数据,而以每秒30帧的速度发送第一人称视频图像则需要1.39GB的数据。展望未来,该团队希望同时包括两种类型的流以使用户受益,从而优化数据以满足网络的最小带宽水平。

尽管存在这些问题,全息AR系统显然具有很大的潜力。除了界面的视觉新颖性以外,使用便携式,独立的AR耳机控制远程车辆还有一个巨大的便利优势,而无需使用完整的计算机,显示器和操纵杆。研究人员计划在计划于2020年10月25日至29日举行的国际智能机器人和系统会议上正式提出将AR与自动无人机相结合的“第一步” 。

本文为作者 何斌 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论