CineMPC:一种实现基于无人机的自主摄影的算法

CineMPC:一种实现基于无人机的自主摄影的算法
CineMPC发挥作用。左上方:用户说明的表示。蓝色区域代表必须对焦不清晰的图像部分,红色区域代表应对焦不清晰的图像部分。黄线是组成所需的指导原则。右上方:带有辅助标签的输出,表示CineMPC正在使用的核心信息。图像上标有从感知模块获得的包围盒和所需的构图准则。左下:从第三人称视角拍摄的无人机和目标。右下角:不使用CineMPC控制摄像机的固有参数(即,恒定的焦距和光圈且没有聚焦)时,摄像机的输出。图片来源:Pueyo等。

人工智能(AI)算法,移动机器人和无人飞行器(UAV)等新兴技术可以增强包括摄影术在内的许多领域的实践。近年来,许多电影摄影师和娱乐公司专门开始探索使用无人机来捕获高质量的航空视频录像(即从上方拍摄的特定位置的视频)。

萨拉戈萨大学和斯坦福大学的研究人员最近创建了CineMPC,这是一种计算工具,可用于自主控制无人机的车载摄像机。在arXiv上预先发表的一篇论文中介绍的这项技术可以基于无人机的使用显着增强当前的摄影实践。

“在阅读有关自主摄影,尤其是自主摄影无人机的现有文献时,我们注意到现有的解决方案着重于控制相机的extrinsincs (例如,相机的位置和旋转),”研究人员之一巴勃罗·普尤约(Pablo Pueyo)说,“但是,根据摄影文献,决定好镜头或坏镜头的最决定性因素之一是控制相机镜头的固有参数,例如焦距,焦距和焦距。”

相机的固有参数(例如,焦距,长度和光圈)是确定图像的哪些部分清晰或模糊的参数,这些参数最终会改变观看者对给定场景的感知。能够更改这些参数使摄影师可以创建特定的效果,例如,产生具有不同景深的镜头或有效放大图像的特定部分。Pueyo和他的同事们最近的工作的总体目标是,以一种能够自动产生这种效果的方式来实现对无人机运动的最佳控制。

在之前的一项研究中,Pueyo及其同事开发了一种称为CinemAirSim的方法。这项技术使他们能够使用他们可以控制的车载电影摄影机来模拟无人机。通过将CinemAirSim与他们开发的新算法CineMPC集成在一起,研究人员能够模拟镜头固有参数的特定变化会对无人机收集的整体视频镜头产生的影响。

“使用众所周知的模型预测控制(MPC),一种先进的过程控制方法,我们可以优化无人机摄像机的外部参数和固有参数,以满足用户提供的一组艺术和构图准则,” Pueyo解释说。“ MPC可以找到最佳参数来配置相机,从而最大限度地减少了与用户约束相关的成本函数。这些成本函数是数学表达式,可帮助我们控制某些艺术方面,例如景深,文学或场景元素的位置,例如演员在最终图像的特定位置(例如,满足“三分法则”)。”

CineMPC可以检测场景中的特定对象或人物,并在用户指定的特定相机轨迹上跟踪它们。值得注意的是,该“近似”轨迹还包括与最期望的固有参数有关的相关信息。

Pueyo说:“到目前为止,就我们所知,目前还没有解决方案可以优化相机镜头的参数以达到摄影目的。” “这在自动无人机拍摄方面非常实用。摄影的非专家和专家可以通过调整摄像机的外部参数和固有参数来说明我们的解决方案可以满足的一些摄影约束。”

将来,新工具可以增强基于无人机的电影摄影技术,使电影制作人可以从空中捕捉更高质量的镜头。实际上,与以前开发的方法相比,CineMPC允许研究人员不断调整相机的固有参数以实现其艺术目的。

Pueyo说:“我们现在正计划通过更复杂的艺术和机器人构想来改进CineMPC。” “例如,我们想引入更多的拍摄无人机(即设计一种多机器人方法)并优化附加的艺术智能,以确保无人机可以自主决定最佳的艺术指导,而不是遵循用户的限制。 ”

本文为作者 何斌 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论