一种自动生成电影预告片的新模型

一种自动生成电影预告片的新模型
研究人员创建的架构概述。两个网络以不同的粒度处理电影的不同视图。基于视频的网络将基于电影视频流的多模态细粒度镜头表示作为输入。基于剧本的网络处理粗粒度的、基于电影剧本的文本场景表示。网络在 TP 识别上联合训练,损失强制执行它们之间的预测和表示一致性。图片来源:Papalampidi、Keller 和 Lapata。

预告片(介绍新电影的短片)通常是电影制作公司采用的促销策略中的关键要素。为了最有效,预告片应该简要总结电影的情节,以吸引人的方式传达其艺术风格和整体情绪。

到目前为止,电影预告片主要是由人类制作的。然而,最近一些计算机科学家开始探索这些宣传片也可以由机器自动生成的可能性。

爱丁堡大学的研究人员开发了一种基于人工神经网络的模型,可以自动生成电影预告片。该模型在 arXiv 上预先发表的一篇论文中提出,基于无监督、基于图的机器学习算法。

为了最好地解决自动电影预告片生成的任务,研究人员将其分解为两个子任务,即电影叙事结构的识别和对其传达的情感(即情绪和感觉)的预测。因此,他们创建的技术处理电影的部分(即视频)和电影剧本中的文本提取。

“我们将电影建模为图形,其中节点是镜头,边表示它们之间的语义关系,”进行这项研究的三位研究人员 Pinelopi Papalamidi、Frank Keller 和 Mirella Lapata 在他们的论文中写道。“我们使用联合对比训练来学习这些关系,它利用来自剧本的特权文本信息(例如,角色、动作、情况)。然后无监督算法遍历图形并生成预告片。”

本质上,他们创建的电影预告片生成方法由两个神经网络组成。其中一个网络处理源自电影视频流的多模态镜头表示,而另一个网络则分析基于电影剧本的文本场景表示。

结合起来,这两个神经网络可以识别电影中的转折点,这些转折点是电影中特别突出的部分,应该出现在预告片中。电影中的转折点通常包括机会、计划的改变、不归路、重大挫折和高潮。

Papalampidi、Keller 和 Lapata 在一系列测试中评估了他们制作电影预告片的技术。值得注意的是,他们发现它可以比其他用于生成电影预告片的基线方法更准确地识别电影中的转折点。

此外,研究人员还使用他们的模型为 41 部不同的电影制作了预告片。然后,他们通过询问在 Amazon Mechanical Turk (AMT) 上招募的人类观众他们更喜欢哪一种,将其制作的预告片的质量与通过监督学习训练的技术生成的预告片的质量进行了比较。有趣的是,大多数受访者更喜欢由他们的技术创建的预告片,而不是由监督模型制作的预告片。

虽然Papalampidi、Keller 和 Lapata 创建的模型可能还不能制作出完美的预告片,但它最终可能会被电影制作公司用来促进和加快预告片的制作。同时,该团队计划继续研究他们的技术,以进一步提高其生产的拖车的质量。

研究人员在他们的论文中补充说:“未来,我们希望专注于预测电影中细粒度情绪(例如,悲伤、厌恶、恐怖、快乐)的方法。” “在这项工作中,由于缺乏域内标记数据集,我们将积极/消极情绪视为情绪的替代品。未来工作的途径包括电影的新情绪数据集,以及基于文本的情绪检测模型和视听提示。”

本文为作者 朱秋城 独立观点,并不代表 我是CIO 立场。

发表评论

登录后才能评论