Sora入侵影视行业,百万制作成本或将“一键勾销”

2024-12-17

"这是给每个人的圣诞礼物."时隔10个月,OpenAI宣布人工智能视频生成模型Sora正式向用户开放,用户可以通过文字、图像或其他视频模板生成长达20秒的视频。


Sora除了在视频生成时间上有所突破外,还带来了包括Remix(重混)在内的强大视频“编辑”功能。、Re-cut(再剪辑)、Storyboard(故事板)、Loop(循环)、Blend(混合)和Style presets(风格预设)。简而言之,就是用户可以通过指令对生成的视频进行精确切割、扩展生成、拼接混合、循环等。



当生成与编辑相结合的Sora强势到来时,一方面,压力传递到国内“Sora”,一致性的核心技术成为突破焦点;另一方面,AIGC正在加速影视剧制作行业商业转折点的转变。


1 Sora一超 国产多强


一致性控制,一直是当前视频生成领域亟待解决的技术难题。生数科技相关负责人告诉《IT时报》记者,LoRA是业内处理一致性问题的主流解决方案。(Low-Rank Adaptation)微调方案。所谓LoRA方案,就是在预训练模型的基础上,用特定主体的多个视频进行微调,让模型了解主体的特点,然后在不同角度、不同光线、不同场景下生成主体的形象,保证其在几次不同生成中的一致性。


简单理解,比如创造一个卡通狗的形象,想要生成一个持续一致的视频画面,但是模型在预训练的过程中并没有学会这个形象,所以需要拿很多卡通狗的视频,这样模型才能进一步训练,才能知道这个卡通狗长什么样。



但是这个方案通常需要投入20~100个视频,数据结构繁琐,需要几个小时甚至更长的训练时间,成本是一个视频生成的几百倍。而且很容易产生拟合,就是在理解主体特征的同时,会忘记很多原创知识。因此,LoRA主要适用于大多数简单情况下的主体一致性需求,而对于复杂的主体或问题场景,需要更多的微调数据和更复杂的模型微调策略。


Sora虽然没有公布其控制一致性的技术,但显然已经取得了进步,在行业内处于领先地位。从大量视频创作者争相发布Sora的评价和对比体验来看,大部分用户还是被其强大的一致性控制惊呆了,尤其是Storyboard功能,可以通过时间线中的分镜帧来引导画面内容,保证镜头的一致性。


随之而来的国产视频生成大模型厂商也展现了自己的一致性。就在Sora上线前不久,中国电信人工智能研究院(TeleAI)发布的视频模型选择“二阶段生成技术”(VAST)”,在不同的片段中,也实现了主体与环境的形象一致性。


该技术将视频生成分为两个过程。第一阶段,根据文本输入,选择多模式大模型生成中间素材,包括视频构图、主体目标位置、人物姿态等关键信息。Storyboard(故事板)”。第二阶段,结合目标对象的文本描述和外观信息,使用基于DiT架构的扩散模型生成最终视频。


通过锁定主体形象,生数科技Vidu开发了“主体参考”功能。无需专门的数据采集、数据标注、微调训练阶段,客户可以通过随意上传一张图片来锁定主体形象,通过描述词随意切换场景也可以保证导出主体一致的视频。可灵AI创建的运动刷功能可以在主体一致性不变的前提下,指定画面中元素的运动轨迹,从而提高视频的可控性。



所以,在国内同行看来,Sora正式版的表现虽然不错,但也在意料之中。科技首席科学家朱军认为,与今年二月的首次发布相比,冲击力已经减弱了许多。;张鹏表示,智谱CEO,看看技术指标,国内一些视频生成模型并不比Sora差。


视频大模型领域正在形成一个超强的局面。


2 视频界的“蒸汽机”来了


由生成视频到剪辑视频,Sora功能亮眼的不仅仅是体验者,还有整个影视行业。


在Sora上线之前,上海大学温哥华电影学院副院长陈晓达和他的学生团队进行了一次测试。为了成功生成想要的镜头图片,他向视频模型输入了300多个指令。“每一帧图片都是‘打开盲盒’,不能保证生成内容符合标准,只能花很多时间不断生成,选择可以用图片拼接成短剧”。


Sora上线后,针对特定画面的可控编辑,让陈晓达看到了专业性,也看到了使用AI制作长视频的希望。


“对于影视制作来说,重混、再编辑、再混合是编辑中的专业领域。”陈晓达告诉《IT时报》记者,如果要达到主体变化和场景不变的效果,根据传统方法,需要在前期拍摄两个场景相似、主体不同的片段,后期需要多层次编辑。如有必要,应从背景中挖掘主体,以创造新的视觉效果。


在Sora发布的Demo中,Remix(重混)一键可以用“飞行机器人”代替“跑步猛犸象”,前期拍摄和后期编辑都变成了精准的指令控制,这无疑降低了视频制作的成本。



上海人工智能研究院算法工程师黄冠在接受采访时也表示,在目前的情况下,Sora更多的是作为提高工作效率的辅助工具,但从工具属性来看,Sora带来了一场“革命”,传统的视频制作方法可能会被完全颠覆。未来,当理想版Sora和AIGC成为现实时,不仅仅是视频行业的“工具革命”,更是媒体行业新一轮的“工业革命”。


另外,Sora编辑功能的出现也为视频生成大模型和编辑工具软件建立了AI智能的标杆。


陈晓达认为,Sora的贡献在于0~1的突破,但1~10的发展一直是国内的优势。“Sora只是玩同样的游戏,我期待更多的应用创新。作为一名视频制作人,我们希望在一键生成编辑和手动专业微调中,诞生一种智能和专业的视频工具,来回切换。”


3 AIGC将全面“入侵”影视行业


在视频生成大模型成为生产设备的情况下,商业化的拐点也将到来。


大型视频模型赚多少钱?基于Sora 《IT时报》记者计算了Turbo选择的灵活积分定价策略,每个积分成本为0.02美元(约人民币0.145元),在不使用其他功能的情况下,生成5秒480P视频的Sora成本为0.5美元,相当于3.63元人民币。生成5秒1080P视频的费用是4美元(约27.6元人民币)。


快手科技创始人兼首席执行官程一笑透露,可灵AI客户已超过500万,累计生成超过5100万个视频和超过1.5亿张照片,而且用户留存仍在逐月增加,9月份月活超过150万,商业化月流量超过1000万。


大型视频模型多少钱?陈晓达告诉记者,从前期的风景、艺术、服务,到中期的拍摄、演员,再到后期的特效,如果场景更宏大,成本很容易超过100万甚至1000万元。如果AI能一步到位,制作成本就会“悬崖式”降低,甚至“一键勾销”。


”“在影视行业真正实现AIGC商业化的情况下,我认为只剩下两个主要成本,一个是导演和编剧的创意成本,另一个是培养AI人才的成本。”陈晓达说。


从Sora发布到上线的10个月,似乎给影视行业一剂AI“强心剂”,各大影视行业的公司和著名导演都开始拥抱AIGC。


华策影视推出AIGC新应用“影视剧本智能创作系统”,提供“评价助手”和“编剧助手”工具,评价助手可以拿到20万。~50万字的小说剧本评价时间从3天缩短到5分钟。华策影视表示,将积极探索媒体领域新兴AI技术的应用和业态创新,如文学视频。


博纳影业利用AIGC技术完成了从剧本创作到视频剪辑等多项任务。制作的AIGC生成了科幻短剧《三星堆:未来启示录》的持续叙事。博纳影业表示,AIGC是影视行业上下游多模式联动的关键,可以降低成本,提高效率,探索突破性变化。



12月6日,由李少红、贾樟柯、俞白眉等9位导演联合发起的中国第一位AIGC导演同创计划,旨在借助AI的力量激发创造力。


陈晓达还表示,计划明年在上海电影节设立AIGC板块,鼓励创作者利用Sora等视频制作大模型的影视剧,加快AI在影视行业的应用。


本文来自微信微信官方账号“IT时报”,作者:沈毅斌,编辑:郝俊慧,孙妍,36氪经授权发布。


本文仅代表作者观点,版权归原创者所有,如需转载请在文中注明来源及作者名字。

免责声明:本文系转载编辑文章,仅作分享之用。如分享内容、图片侵犯到您的版权或非授权发布,请及时与我们联系进行审核处理或删除,您可以发送材料至邮箱:service@tojoy.com