首页 手机文章正文

万人争先体验!视频生成新王者「可灵」又双叒升级了

手机 2024年07月09日 23:37 120 admin

机器之心报道

编辑:泽南、杜伟

难不成,AI生成短剧时代真的要来了?

最近,各路视频生成AI放出的Demo让人眼花缭乱。从玩梗图、拼长度再到讲究真实物理逻辑,层出不穷的人工智能创意难分高下,个个都要跟Sora试比高。这时候,突然有人偷偷先行一步,搞出了「电影级」的表现:

从真实风格的光影效果:

来源:https://x.com/i/status/1806383419661730197

到丰富的想象力,要素齐全,都能搞定:

没想到在AI眼里,其实是蝙蝠侠能让小丑绷不住。来源:https://x.com/blizaine/status/1806383419661730197

有的人已经在尝试使用这种能力来完成复杂的任务。有视频生成的AI,音乐生成的AI,再加上一些PS和AE,我们就可以制作出完整的MV了。

来源:https://twitter.com/Arata_Fukoe/status/1809840865063629292

你问网友们如何看待这种生成效果,网友要反问一句「好莱坞你怎么看?」

这种AI视频生成的效果丝滑且精细,吸引了一大波点赞,仔细翻看,社交网络上由它出品的短视频还有不少。

据网友总结道,新款AI的优势主要体现在生成大幅度运动时不容易乱脑补。再比如让它图生视频,一个奔跑的半人马:

来源:https://x.com/StevieMac03/status/1809694320649465930

这些视频背后的生成式AI,是快手旗下的大模型「可灵AI」(Kling),几个星期前它开始在全球互联网上刷爆,那时就号称「一号难求」。

没错,这不是先放出一些Demo搞PPT发布,而是上来就直接开放的产品级应用。现在可灵AI已经上线了网页版,主打一个简单好用。

最新数据,可灵AI的申请用户数量已经接近70万,成了全网最热的视频生成大模型。

一月数次升级,可灵AI的狂飙式进化

今年是生成式AI元年,早在2月份,OpenAI的Sora就把竞争拉到了视频生成的高度。但率先落地的还数国内科技公司。

自6月6日正式亮相以来,才一个月的时间,快手可灵AI这一首个在海外AI圈引起热议的国产大模型就经历了三次迭代更新。

从最开始的文生视频,到两周后支持图生视频、视频续写、多尺寸选择,可灵AI表现得越来越出色、全面。视频生成的各种需求,不知不觉中似乎都被解决了。

就在上周末的世界人工智能大会WAIC2024上,可灵AI迎来第三次大的升级,发布了一系列新功能,在视频生成质感、美感、可玩性方面大大提升,带来了创作体验上的又一次跃升。

快手高级副总裁、快手主站业务与社区科学线负责人盖坤介绍了此次可灵AI升级的三大亮点功能,包括高画质版、首尾帧控制和相机镜头控制。

盖坤

首先,可灵AI基础模型再度升级,推出了更加清晰的高画质版。升级后,生成视频的画质相较于之前模型有了质的飞跃。

同时得益于更高的训练时空分辨率,可灵AI在生成细节、构图、运镜美观性、光影方面都有很大改善。

从如下画质的对比中,我们可以一目了然地看出可灵AI之前模型与最新模型之间的区别。

其次,可灵AI在图生视频领域增加了实用且呼声很高的「首尾帧控制」功能,让首尾帧呼应的图生视频成为了现实。

通过自定义起始帧和结束帧图像,让用户精确控制不同视频片段之间镜头的丝滑转场,实现一镜到底等效果。从实际生成结果来看,不仅动作自然流畅,画质也能够得到保证。这一功能的引入让用户拥有了更直观、更便捷的编辑体验,满足了个性化的图生视频需求。

比如将如下两图生成一段视频:

效果是这样的:

最后,可灵AI增加了运镜控制以及自动大师运镜功能。在视频的世界中,更多镜头的组合可以捕捉更多画面,并增强整体表现力。

可灵AI预设了六套经典的镜头控制方式,包括Roll旋转运镜、Tilt垂直摇镜、Pan水平摇镜、Vertical垂直运镜、Horizontal水平运镜和Zoom推进/拉远,为不同场景提供了丰富的选择。用户还可以调节这些运镜的正数、负数参数,从而控制运动的激烈或平缓程度以及反向运动等。同时,大师级运镜有助于产出电影感十足的吸睛大片。

可以看到,随着这些新功能的加入,可灵AI在视频清晰度、美学表现以及内容自定义控制方面有了肉眼可见的改进。

不仅如此,正式与用户见面的可灵AI网页版集成了文生图、文生视频以及不久后将支持的视频编辑能力,成为发布即可用的一站式视觉内容创作平台。

其中新增的「首尾帧控制」和「运镜控制」功能目前在网页端提供,想要体验的小伙伴可以速速去申请了!

可灵AI网页版地址:klingai.kuaishou.com

用「诚意满满」来形容可灵AI此次的升级不为过,背后当然离不开快手在视频生成能力和技术上的持续创新突破。

「电影级」AI生成,背后全是技术

相较于已经非常成熟的图像生成,视频生成任务更复杂,在实际应用中要面临着真实性、动作连贯性、画面流畅性、细节精度、场景、角色和光影一致性、物理准确性以及时长限制等诸多挑战。

这些挑战应对得好不好,将直接决定了模型的实用性和易用性。显然,再度升级的可灵AI在这些方面有了脱胎换骨的变化。总结起来,可灵AI拥有七大能力亮点。

快手视觉生成与互动中心负责人万鹏飞对这些能力一一展开了剖析,这些构筑起可灵AI在视频画质、图生视频、运动生成、生成时长、物理规律、指令响应、视频可控性等方面的核心竞争力,并造就了如今全能的可灵AI。同时,万鹏飞还对未来发展做出了展望,他表示,视频生成效果的提升速度非常快,正在逐步接近图形渲染和相机拍摄,将会对泛视频行业带来新的机遇。

万鹏飞

其实我们已经见识过了可灵AI的能力,前文展示的高画质版、首尾帧控制和相机镜头控制新功能正是可灵AI在电影级高清画面生成、领先图生视频效果和优秀视频生成可控性三大能力上的进一步演化。

其中电影级的高清画面生成能力能够高保真、生动地呈现壮阔的自然风光、人或动物的动作和表情等宏大或细微的场景,大片感十足。

领先的图生视频能力可以让静态图像动起来,转换为生动的5秒短视频。同时搭配不同的文本输入,让图生视频更有创意且「随心所欲」。

比如将小狗游泳的图像转换为视频:

优秀的视频生成可控性让更加精细的视频创作掌控在用户手中。除了此次的相机镜头控制之外,可灵AI未来还将在语音面部匹配、人物ID保持、通过简单笔画提示控制画面和布局的演进等更多方面实现可控调整。目前模型的训练已经完成,这些功能很快就会上线。

与此同时,可灵AI在运动生成、生成时长、物理规律、指令响应等其他四大能力上也进一步升级。

其一可灵AI具有大幅度且合理的运动生成能力。通过建模复杂的时空运动,可灵AI可以生成较大幅度的运动,并符合运动规律。

此次得益于更充分的模型训练,可灵AI生成的整体运动效果更加灵动,支持更大动作范围的同时合理性也没有削弱。如下小猫的转身、走路姿势等都刻画地非常自然合理,符合物理事实。

其二是分钟级的长视频生成能力。现在,分钟级时长已成为评价一个视频生成模型的重要指标,这要求更有效的多镜头处理、更长的故事讲述以及更连贯一致的运动扩展能力。

目前,可灵AI能够生成数分钟的1080p、30fps视频。同时开放了遵循用户指令的视频续写功能,单次续写让视频运动延时4到5秒,还支持连续多次续写,最长可以生成3分钟的视频,并且续写时能够指定故事后续发展方向,易用性拉满。

此次升级后,可灵AI在算法和工程层面进行了联合深度优化,使得单次生成的视频长度从5秒提升到了10秒,在对用户开放使用的产品中实现最长时长,可以呈现更加完整的故事线,为用户提供了更广阔的创作空间。

其三可灵AI能够模拟复杂的物理世界特性。自Sora以来,各家视频生成模型都非常注重生成符合物理规律的视频,这决定了模型能力的上限。

可灵AI在发布之初就能够准确地建模和模拟现实世界的属性,万人争先体验!视频生成新王者「可灵」又双叒升级了让生成的视频接近真实,比如给小猫洗澡。

现在,在更充分模型训练的加持下,可灵AI对交互式物理规律的建模和模拟能力又上了一个台阶。

其四可灵AI的概念组合和指令响应能力非常强。在技术实现上,通过对文本到视频跨模态语义的深刻理解,可灵AI能够将用户丰富的想象力轻松转换为具体的视频画面,放飞脑洞,比如咖啡杯火山。

升级后的可灵AI接受了效果更优的文本数据和编码方案,自然而然对用户提示词的响应能力得到增强,视觉渲染效果更好了。

所有这些能力又源于可灵AI在视频生成技术路线(采用DiT架构)、模型设计(如隐空间编解码、时序信息建模、文本扩展及编码)、数据保障(如多维度标签体系、视频描述模型)、计算效率(如分布式训练集群、分阶段训练策略)、能力扩展(如视频时序延展、多模态输入可控)等方面的技术积累和独到创新。

可以说,如今的可灵AI在技术层面做到了先进且靠谱,怪不得技术一落地就受到了人们的追捧。

生成式AI时代,快手有备而来

过去一年多的时间里,整个大模型领域可以说是非常的卷。去年都在谈基座模型的研发,今年大家又都在讨论应用。最近几天WAIC大会开幕,我们又目睹了一波「模型派」和「应用派」之间的争论。

在这波浪潮中,快手又是怎么做的?

首先,它玩的是体系。从底层的IDC算力中心到网络架构、AI平台,到中层的基础核心大模型,再到应用层的各类应用探索,快手实现了全套自行研发。在谈到该体系时,快手副总裁大模型团队负责人张迪认为,坚定投入自主研发长期来说会带来「技术雪球」效应以及巨大的成本优势。快手一个非常大的优势就是在上层拥有大量的AI应用场景,这将给大模型带来非常多的落地机会。

张迪

整体框架是这样:

其次,快手坚持走基础模型技术研究和商业应用落地并举的战略。基础模型决定了AI能力的上限,研究投入的量变可以引发质变;另一方面,商业化应用能够滚起技术的雪球,把新技术阶段性投入应用,不断收获反馈,才能逐渐形成良性循环。

去年开始,快手提出了「快意」大模型(KwaiYi),很快从早期的13B参数量发展到了175B,并推出了多模态版本。在多个版本的迭代后,快意大模型已经在快手内部的素材创作、AI互动、内容生产等场景中开始发挥作用,在今年6月,基于快意的AIGC营销素材单日消耗超过了2000万。

有了基础模型,在更多的场景上,快手逐渐发展出了自己的差异化能力。

具体来说,在文生图上,快手的「可图」已成为行业内顶尖的模型之一,拥有强大的语义理解和指令跟随能力。得益于在文本表征方面的创新,以及图像数据对齐的大量工作,可图可以画出摄像级的画面质感,经过强化学习的训练,审美也和人类的普遍标准实现了对齐。

而在视频的生成上,「可灵AI」燃起了全球视频生成领域的新一轮竞争。它可以进行文生视频、图生视频,又具有丰富的图像编辑能力,在视频生成的可控性、质感、美感、运动合理度方面保持业内优秀。快手的工程师们正在持续进行工程算法的优化,力图不断降低视频生成AI的门槛。

说到打下门槛,新技术的优化是当前生成式AI面临的重要挑战之一。作拥国民级短视频应用,快手的优势在于拥有大量AI应用场景,这就给落地实践带来了场景和机会。

在技术落地上,快手实现了一系列里程碑:

快手在APP评论区内测的对话模型应用「AI小快」,可以理解视频中的内容并与你互动,至今已经累积了超过1000万的粉丝量。

在电商的直播间里,利用文生图AI「可图」的能力,老铁们也可以用自己的生活照快速试衣,甚至看到动态展示。

视频生成模型「可灵AI」自发布以来获得了用户的广泛认可,已经累计生成了700万条视频,开放了一站式内容创作平台。

从内容的生产、理解到推荐等不同层面,从个人再到电商,快手的生成式AI能力已经做到了对于主体业务的全覆盖,持续推进着快手生态的不断发展。

最后还有新的尝试。在WAIC上,快手预告说首部AIGC短剧《山海奇镜之劈波斩浪》将在本月正式发布。

视频链接:https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650925433&idx=1&sn=970d6ea088f5c7c1b9f2b46371b872d1&chksm=84e42d07b393a411fe24bdd61d670ad31e035a72c89d658d3d6acbc77d0d7ea90a1c7469b206&token=761964394&lang=zh_CN#rd

该剧由可灵AI提供深度技术支持,以赛博风格来复现山海经里的上古神话世界。从预告片来看,山脉到海洋、森林到天际等场景都呈现出了震撼的视觉效果。在以往,如此效果可能需要专业的特效团队,现在,视觉生成AI就能带来震撼的视觉体验了。

没错,半年前我们还在畅想未来,现在AI真的开始拍电影了。

当前大模型的浪潮中,最能证明技术能力的莫过于大规模落地。

而快手全方位的实践让我们再次确认:AI的生产力已在不知不觉间,改变着我们的生活。

标签: 万人争先体验!视频生成新王者「可灵」又双叒升级了

卓越科技网 网站地图 免责声明:本网站部分内容由用户自行上传,若侵犯了您的权益,请联系我们处理,谢谢!联系QQ:2760375052 版权所有:卓越科技网 沪ICP备2023023636号-5