万人争先体验！视频生成新王者「可灵」又双叒升级了

手机 2024年07月09日 23:37 137 admin

机器之心报道

编辑：泽南、杜伟

难不成，AI生成短剧时代真的要来了？

最近，各路视频生成AI放出的Demo让人眼花缭乱。从玩梗图、拼长度再到讲究真实物理逻辑，层出不穷的人工智能创意难分高下，个个都要跟Sora试比高。这时候，突然有人偷偷先行一步，搞出了「电影级」的表现：

从真实风格的光影效果：

来源：https://x.com/i/status/1806383419661730197

到丰富的想象力，要素齐全，都能搞定：

没想到在AI眼里，其实是蝙蝠侠能让小丑绷不住。来源：https://x.com/blizaine/status/1806383419661730197

有的人已经在尝试使用这种能力来完成复杂的任务。有视频生成的AI，音乐生成的AI，再加上一些PS和AE，我们就可以制作出完整的MV了。

来源：https://twitter.com/Arata_Fukoe/status/1809840865063629292

你问网友们如何看待这种生成效果，网友要反问一句「好莱坞你怎么看？」

这种AI视频生成的效果丝滑且精细，吸引了一大波点赞，仔细翻看，社交网络上由它出品的短视频还有不少。

据网友总结道，新款AI的优势主要体现在生成大幅度运动时不容易乱脑补。再比如让它图生视频，一个奔跑的半人马：

来源：https://x.com/StevieMac03/status/1809694320649465930

这些视频背后的生成式AI，是快手旗下的大模型「可灵AI」（Kling），几个星期前它开始在全球互联网上刷爆，那时就号称「一号难求」。

没错，这不是先放出一些Demo搞PPT发布，而是上来就直接开放的产品级应用。现在可灵AI已经上线了网页版，主打一个简单好用。

最新数据，可灵AI的申请用户数量已经接近70万，成了全网最热的视频生成大模型。

一月数次升级，可灵AI的狂飙式进化

今年是生成式AI元年，早在2月份，OpenAI的Sora就把竞争拉到了视频生成的高度。但率先落地的还数国内科技公司。

自6月6日正式亮相以来，才一个月的时间，快手可灵AI这一首个在海外AI圈引起热议的国产大模型就经历了三次迭代更新。

从最开始的文生视频，到两周后支持图生视频、视频续写、多尺寸选择，可灵AI表现得越来越出色、全面。视频生成的各种需求，不知不觉中似乎都被解决了。

就在上周末的世界人工智能大会WAIC2024上，可灵AI迎来第三次大的升级，发布了一系列新功能，在视频生成质感、美感、可玩性方面大大提升，带来了创作体验上的又一次跃升。

快手高级副总裁、快手主站业务与社区科学线负责人盖坤介绍了此次可灵AI升级的三大亮点功能，包括高画质版、首尾帧控制和相机镜头控制。

盖坤

首先，可灵AI基础模型再度升级，推出了更加清晰的高画质版。升级后，生成视频的画质相较于之前模型有了质的飞跃。

同时得益于更高的训练时空分辨率，可灵AI在生成细节、构图、运镜美观性、光影方面都有很大改善。

从如下画质的对比中，我们可以一目了然地看出可灵AI之前模型与最新模型之间的区别。

其次，可灵AI在图生视频领域增加了实用且呼声很高的「首尾帧控制」功能，让首尾帧呼应的图生视频成为了现实。

通过自定义起始帧和结束帧图像，让用户精确控制不同视频片段之间镜头的丝滑转场，实现一镜到底等效果。从实际生成结果来看，不仅动作自然流畅，画质也能够得到保证。这一功能的引入让用户拥有了更直观、更便捷的编辑体验，满足了个性化的图生视频需求。

比如将如下两图生成一段视频：

效果是这样的：

最后，可灵AI增加了运镜控制以及自动大师运镜功能。在视频的世界中，更多镜头的组合可以捕捉更多画面，并增强整体表现力。

可灵AI预设了六套经典的镜头控制方式，包括Roll旋转运镜、Tilt垂直摇镜、Pan水平摇镜、Vertical垂直运镜、Horizontal水平运镜和Zoom推进/拉远，为不同场景提供了丰富的选择。用户还可以调节这些运镜的正数、负数参数，从而控制运动的激烈或平缓程度以及反向运动等。同时，大师级运镜有助于产出电影感十足的吸睛大片。

可以看到，随着这些新功能的加入，可灵AI在视频清晰度、美学表现以及内容自定义控制方面有了肉眼可见的改进。

不仅如此，正式与用户见面的可灵AI网页版集成了文生图、文生视频以及不久后将支持的视频编辑能力，成为发布即可用的一站式视觉内容创作平台。

其中新增的「首尾帧控制」和「运镜控制」功能目前在网页端提供，想要体验的小伙伴可以速速去申请了！

可灵AI网页版地址：klingai.kuaishou.com

用「诚意满满」来形容可灵AI此次的升级不为过，背后当然离不开快手在视频生成能力和技术上的持续创新突破。

「电影级」AI生成，背后全是技术

相较于已经非常成熟的图像生成，视频生成任务更复杂，在实际应用中要面临着真实性、动作连贯性、画面流畅性、细节精度、场景、角色和光影一致性、物理准确性以及时长限制等诸多挑战。

这些挑战应对得好不好，将直接决定了模型的实用性和易用性。显然，再度升级的可灵AI在这些方面有了脱胎换骨的变化。总结起来，可灵AI拥有七大能力亮点。

快手视觉生成与互动中心负责人万鹏飞对这些能力一一展开了剖析，这些构筑起可灵AI在视频画质、图生视频、运动生成、生成时长、物理规律、指令响应、视频可控性等方面的核心竞争力，并造就了如今全能的可灵AI。同时，万鹏飞还对未来发展做出了展望，他表示，视频生成效果的提升速度非常快，正在逐步接近图形渲染和相机拍摄，将会对泛视频行业带来新的机遇。

万鹏飞

其实我们已经见识过了可灵AI的能力，前文展示的高画质版、首尾帧控制和相机镜头控制新功能正是可灵AI在电影级高清画面生成、领先图生视频效果和优秀视频生成可控性三大能力上的进一步演化。

其中电影级的高清画面生成能力能够高保真、生动地呈现壮阔的自然风光、人或动物的动作和表情等宏大或细微的场景，大片感十足。

领先的图生视频能力可以让静态图像动起来，转换为生动的5秒短视频。同时搭配不同的文本输入，让图生视频更有创意且「随心所欲」。

比如将小狗游泳的图像转换为视频：

优秀的视频生成可控性让更加精细的视频创作掌控在用户手中。除了此次的相机镜头控制之外，可灵AI未来还将在语音面部匹配、人物ID保持、通过简单笔画提示控制画面和布局的演进等更多方面实现可控调整。目前模型的训练已经完成，这些功能很快就会上线。

与此同时，可灵AI在运动生成、生成时长、物理规律、指令响应等其他四大能力上也进一步升级。

其一可灵AI具有大幅度且合理的运动生成能力。通过建模复杂的时空运动，可灵AI可以生成较大幅度的运动，并符合运动规律。

此次得益于更充分的模型训练，可灵AI生成的整体运动效果更加灵动，支持更大动作范围的同时合理性也没有削弱。如下小猫的转身、走路姿势等都刻画地非常自然合理，符合物理事实。

其二是分钟级的长视频生成能力。现在，分钟级时长已成为评价一个视频生成模型的重要指标，这要求更有效的多镜头处理、更长的故事讲述以及更连贯一致的运动扩展能力。

目前，可灵AI能够生成数分钟的1080p、30fps视频。同时开放了遵循用户指令的视频续写功能，单次续写让视频运动延时4到5秒，还支持连续多次续写，最长可以生成3分钟的视频，并且续写时能够指定故事后续发展方向，易用性拉满。

此次升级后，可灵AI在算法和工程层面进行了联合深度优化，使得单次生成的视频长度从5秒提升到了10秒，在对用户开放使用的产品中实现最长时长，可以呈现更加完整的故事线，为用户提供了更广阔的创作空间。

其三可灵AI能够模拟复杂的物理世界特性。自Sora以来，各家视频生成模型都非常注重生成符合物理规律的视频，这决定了模型能力的上限。

可灵AI在发布之初就能够准确地建模和模拟现实世界的属性，万人争先体验！视频生成新王者「可灵」又双叒升级了让生成的视频接近真实，比如给小猫洗澡。

现在，在更充分模型训练的加持下，可灵AI对交互式物理规律的建模和模拟能力又上了一个台阶。

其四可灵AI的概念组合和指令响应能力非常强。在技术实现上，通过对文本到视频跨模态语义的深刻理解，可灵AI能够将用户丰富的想象力轻松转换为具体的视频画面，放飞脑洞，比如咖啡杯火山。

升级后的可灵AI接受了效果更优的文本数据和编码方案，自然而然对用户提示词的响应能力得到增强，视觉渲染效果更好了。

所有这些能力又源于可灵AI在视频生成技术路线（采用DiT架构）、模型设计（如隐空间编解码、时序信息建模、文本扩展及编码）、数据保障（如多维度标签体系、视频描述模型）、计算效率（如分布式训练集群、分阶段训练策略）、能力扩展（如视频时序延展、多模态输入可控）等方面的技术积累和独到创新。

可以说，如今的可灵AI在技术层面做到了先进且靠谱，怪不得技术一落地就受到了人们的追捧。

生成式AI时代，快手有备而来

过去一年多的时间里，整个大模型领域可以说是非常的卷。去年都在谈基座模型的研发，今年大家又都在讨论应用。最近几天WAIC大会开幕，我们又目睹了一波「模型派」和「应用派」之间的争论。

在这波浪潮中，快手又是怎么做的？

首先，它玩的是体系。从底层的IDC算力中心到网络架构、AI平台，到中层的基础核心大模型，再到应用层的各类应用探索，快手实现了全套自行研发。在谈到该体系时，快手副总裁大模型团队负责人张迪认为，坚定投入自主研发长期来说会带来「技术雪球」效应以及巨大的成本优势。快手一个非常大的优势就是在上层拥有大量的AI应用场景，这将给大模型带来非常多的落地机会。

张迪

整体框架是这样：

其次，快手坚持走基础模型技术研究和商业应用落地并举的战略。基础模型决定了AI能力的上限，研究投入的量变可以引发质变；另一方面，商业化应用能够滚起技术的雪球，把新技术阶段性投入应用，不断收获反馈，才能逐渐形成良性循环。

去年开始，快手提出了「快意」大模型（KwaiYi），很快从早期的13B参数量发展到了175B，并推出了多模态版本。在多个版本的迭代后，快意大模型已经在快手内部的素材创作、AI互动、内容生产等场景中开始发挥作用，在今年6月，基于快意的AIGC营销素材单日消耗超过了2000万。

有了基础模型，在更多的场景上，快手逐渐发展出了自己的差异化能力。

具体来说，在文生图上，快手的「可图」已成为行业内顶尖的模型之一，拥有强大的语义理解和指令跟随能力。得益于在文本表征方面的创新，以及图像数据对齐的大量工作，可图可以画出摄像级的画面质感，经过强化学习的训练，审美也和人类的普遍标准实现了对齐。

而在视频的生成上，「可灵AI」燃起了全球视频生成领域的新一轮竞争。它可以进行文生视频、图生视频，又具有丰富的图像编辑能力，在视频生成的可控性、质感、美感、运动合理度方面保持业内优秀。快手的工程师们正在持续进行工程算法的优化，力图不断降低视频生成AI的门槛。

说到打下门槛，新技术的优化是当前生成式AI面临的重要挑战之一。作拥国民级短视频应用，快手的优势在于拥有大量AI应用场景，这就给落地实践带来了场景和机会。

在技术落地上，快手实现了一系列里程碑：

快手在APP评论区内测的对话模型应用「AI小快」，可以理解视频中的内容并与你互动，至今已经累积了超过1000万的粉丝量。

在电商的直播间里，利用文生图AI「可图」的能力，老铁们也可以用自己的生活照快速试衣，甚至看到动态展示。

视频生成模型「可灵AI」自发布以来获得了用户的广泛认可，已经累计生成了700万条视频，开放了一站式内容创作平台。

从内容的生产、理解到推荐等不同层面，从个人再到电商，快手的生成式AI能力已经做到了对于主体业务的全覆盖，持续推进着快手生态的不断发展。

最后还有新的尝试。在WAIC上，快手预告说首部AIGC短剧《山海奇镜之劈波斩浪》将在本月正式发布。

视频链接：https://mp.weixin.qq.com/s?__biz=MzA3MzI4MjgzMw==&mid=2650925433&idx=1&sn=970d6ea088f5c7c1b9f2b46371b872d1&chksm=84e42d07b393a411fe24bdd61d670ad31e035a72c89d658d3d6acbc77d0d7ea90a1c7469b206&token=761964394&lang=zh_CN#rd

该剧由可灵AI提供深度技术支持，以赛博风格来复现山海经里的上古神话世界。从预告片来看，山脉到海洋、森林到天际等场景都呈现出了震撼的视觉效果。在以往，如此效果可能需要专业的特效团队，现在，视觉生成AI就能带来震撼的视觉体验了。

没错，半年前我们还在畅想未来，现在AI真的开始拍电影了。

当前大模型的浪潮中，最能证明技术能力的莫过于大规模落地。

而快手全方位的实践让我们再次确认：AI的生产力已在不知不觉间，改变着我们的生活。

标签：万人争先体验！视频生成新王者「可灵」又双叒升级了

万人争先体验！视频生成新王者「可灵」又双叒升级了

没想到！式树搜索也能用来增强大语言模型推理与训练

周鸿祎奇遇记：吃完菌子，看到狗子开口说话了

热门文章