关注“腾讯媒体研究院”
2016年,“Sunspring”在科幻电影伦敦电影节上首次亮相。这部电影以存在着大量失业的反乌托邦世界为背景,吸引了许多影迷,其中一位观众表示它很有趣也很奇怪。因为这部电影最值得注意的地方在于它的创作:一个人工智能机器人(AI)编写了“Sunspring”的剧本。
你也许会认为机器将取代人类成为内容的创作者,就像自动驾驶取代人力驾驶一样。然而,只要你看过“Sunspring”之后就不会这么认为了。
如上图,影片中的一个角色莫名其妙地咳出一只眼球。一位影评家指出,短片里的对话听起来更像一系列不相关句子的集合。所以,除非等到人工智能技术产生真正的进步,否则我们仍然需要兢兢业业的编剧俯身在键盘上谱写真正的故事。
虽然机器无法独立创作,但我们可以设想一个不那么极端的场景:机器能通过与人类一起工作来改进故事创作的流程吗?
想象一下这种协作将如何在丰富的视频媒体中展开?像往常一样,讲故事的人会用巧妙的情节扭曲和现实的对话来创作剧本。AI将提供增加故事情感吸引力的建议,以此来让他们的工作更富有成效。比如,AI能识别让人们产生希望的音乐配乐或视觉图像。这项技术将使剧本更具魅力,帮助创作人员不断地去挖掘观众的情感需求。
麻省理工学院(MIT)媒体实验室曾调查了内容创作中人类与AI协作的潜力。其团队提了一个问题——机器有没有可能识别故事中常见的情感套路?比如角色在艰难时期挣扎、战胜艰难困苦、最终战胜邪恶的典型的命运叙事?答案若是肯定的,那内容创作者能用这些信息来预测观众的反应吗?这些问题对任何内容创作者都非常重要,无论你是业余爱好者还是媒体行业高管。
1
情感弧:故事的支柱
首先,我们要谈谈情感弧线。讲故事的大师——从森达克到斯皮尔伯格,再从普鲁斯特到皮克斯,他们都善于激发我们的情感。凭借着对人类感情脉络的洞察,他们调整他们的故事,在关键时刻激起我们的欢乐、悲伤和愤怒。但是,即使是最好的内容创作者也不一定能保证他的作品能被每一个人都喜欢——比如一些莎士比亚戏剧会让观众感到无聊或者与己无关。
是什么影响着人们的好恶?我们的结论是:一个故事的情感弧在很大程度上解释了为什么一些电影赢得了赞誉,而另一些则没有。
情绪弧的想法并不新鲜。每个讲故事的大师都熟悉它们,有些人试图找出最常见的模式。比如Kurt Vonnegut将情感弧解释为“灰姑娘模式”:故事开始时,主角处于绝望境地;接下来仙女教母提供的帮助让情况得以改善……在进一步的麻烦之后。无论发生什么事,灰姑娘式的故事都会以胜利的方式结束,即英雄或女主角永远幸福地生活着。
有证据表明,故事的情感弧会对观众参与度造成影响。例如,有多少人在社交媒体上评论它,或者向他们的朋友推荐这部作品。在宾夕法尼亚大学的一项研究中,研究人员统计了纽约时报的文章,他们发现读者最常分享的内容会引起强烈的情感反应,尤其是那些鼓励积极情绪的内容。于是我们便有理由认为,电影观众遵循着同样的逻辑。
2
让机器成为电影观众
一些研究人员已经开始使用机器学习来识别故事中的情感弧。在佛蒙特大学开发的一种程序能让计算机扫描文本视频脚本以构建情感弧。
于是我们决定更进一步,开发了机器学习模型,依靠深度神经网络“观看”短篇视频,包括电影,电视和其他短片,并在第二步对他们的积极或消极情绪进行评估。
这些模型考虑了视频内容的所有方面——不仅仅是情节、角色和对话,还包括更微妙的触感。比如近距离拍摄一个人的脸,或者在汽车追逐场景中播放的音乐片段。当每个片段的内容被合在一起进行评估时,故事的情感弧就会显现出来。
想象这样一个时刻:机器可以查看一个没有任何标签的视频,并根据所有的音视频元素为这个故事创造一个情感弧。
让我们以《飞屋环游记》为例进行具体分析,这是一部非常受欢迎的电影。这部动画的主角是卡尔·弗雷德里克森(Carl Fredricksen),他是一位脾气暴躁的老年人,在他的妻子艾莉(Ellie)去世后,他为了进行一场飞行冒险而将成千上万的气球挂在家中……
为了给卡尔的飞行冒险一个合适的理由,编剧必须构思出他旅行背后的复杂原因。于是出现了动画开头的一段故事,除了配乐之外这段动画没有任何人声,根据这段动画,我们做出了一个情感弧的评估。。
你可以在下图中看到随着故事发展观众情绪的高低点。x轴是时间,以分钟为单位,y轴是图像在特定时间激发正面或负面情绪的程度。得分越高,情绪越积极。
正如在许多视频中一样,情感弧跟随故事的发展会出现一系列转变,而非明确的向上或向下轨迹。例如,最高峰之一对应于卡尔作为一个快乐的孩子的形象,但不久之后,当年轻的艾莉在半夜吓唬他时,评分有了很大的下降,机器的负面反应反映了卡尔的恐惧。当他们计划生孩子或年老的他们进行拥抱时,高峰又出现了。而当埃莉去世后,卡尔独自回家时,评分暴跌。
麻省理工学院的机器学习模型已经完成对数千个视频的审查,并为每个视频构建了情感弧。为了衡量他们的准确性,我们要求志愿者用各种情感标签对电影的每个片段做注释。更重要的是,志愿者必须确定究竟是哪些原因触发了他们的情感波动,是对话?还是音乐或图像?我们利用这些见解来改进我们的模型。
3
从家庭情景故事中找寻情感弧
在对视频分析中的数据进行筛选之后,我们开发了一种专门针对家庭情景剧的算法,我们在两个独立的数据集中寻找家庭情景剧的情感弧变化,其中一个数据集集合了500多部好莱坞电影,另一个数据集则汇聚了Vimeo上近1500部短片。
据我们对评分的初步分析显示,大多数故事的情感弧都可以被归类到固定的几种评分曲线里(剧情设定、情感波动类似)。比如Vimeo上视频所产生的情感弧被归类为五个曲线,这些视频所产生评论比其他曲线更多,如下图所示。对黄色曲线的家庭剧来说,在视频的早期,负面情绪急剧上升,随后是持续的积极情绪直到尾声。
有了这个情感弧曲线,我们就能去预测观众对某一模式剧本的喜爱程度。
4
利用AI预测观众参与度
一个故事的弧线或者它所属的情感弧系列能决定观众对故事的反应吗?某些具有特定情感弧曲线的故事是否更能刺激观众参与?
我们的团队试图通过分析Vimeo短片数据集的视觉数据来回答这些问题,对于每个故事,我们使用回归模型来考虑其情感弧的特征,同时排除那些无关的可能影响受众情绪波动的各种元数据,例如视频长度和上传日期。
我们的目的是预测视频在Twitter和其他社交媒体上会收到多少评论。在大多数情况下,大量的评论意味着观众的强烈参与意愿。
对Vimeo视频的其他分析揭示了其结果,两个情感弧曲线吸引了比其他家族更多的评论,如下图所示。这两个故事模式其结尾都是积极情感的爆炸,主要的不同之处在于左边图表中红色曲线的故事包含了更多的情绪波动。这或许与宾夕法尼亚大学的研究结果一致,即积极的情绪会产生最大的参与。
我们的团队阅读了所有数据集内Vimeo短片的评论,对表达的情绪类型进行了评级,并运行了一个程序来测量评论的长短。这一分析证实,上述两个故事模式往往会产生更长、更热情的评论。同样令人震惊的是,这些评论并没有就特定的某个场景做反应,而是针对视频的整体情感进行评论,这意味着它们更能佐证我们的结论。
这些洞察并不一定会让编剧们重新开始创作,但是,它们可以激励内容创作者客观地看待他们的内容,并修改提高内容的用户参与度。比如在关键时刻加入新的配乐或不同的形象,以及对情节、对话和角色的调整。
随着内容创作者越来越认识到人工智能的价值,并且随着这些AI工具变得更容易使用,我们可以预测视频故事的创作方式会发生重大变化。导演现在可以将深度学习技术整合到他们的作品中,作家也可以和机器一起工作,使用人工智能功能来锐化故事,放大情感的吸引力。
#End#
领取专属 10元无门槛券
私享最新 技术干货