在人类对未知世界的探索中,太空探索始终占据着举足轻重的地位,从最初的仰望星空到如今的深空探测,人类从未停止过对宇宙奥秘的探索,我们迎来了一个新的里程碑...
2024-09-08 3
这两天,AI视频生成赛道越来越热闹了。
7月24日,快手可灵全面开放内测;同一天,创企爱诗科技发布产品PixVerseV2,可生成多达40秒的高质量短视频;26日,独角兽智谱AI上线AI视频生成功能“清影”。
当然,所有人还是可以免费使用,不用排队,也不限次数。
一年的AI视频生成付费高速权益只要199元,跟不少互联网产品的会员包年费用相差无几,AI视频生成好像真的离普通用户越来越近了。
一:一天5元,免费也行用户只需要输入一段文字,然后选择自己喜欢的风格,再配上清影自带的音乐,等待30秒左右,就可以生成一段视频。
如果想要输出的视频更符合心中所想,还可以按照结构性原则来写prompt(提示词),清影使用手册里给出了两款公式结构:
简单公式:[摄像机移动] [建立场景] [更多细节]
复杂公式:[镜头语言] [光影] [主体(主体描述)] [主体运动] [场景(场景描述)] [情绪/氛围/风格]
笔者一步到位,按照复杂公式的要求输入了以下提示词:摄影机平移,一个红发小精灵睡在旋转木马的躺椅上,翻了个身。他浑身毛茸茸的,看起来很可爱,背景是璀璨银河,星光洒在精灵身上,随着旋转木马的转动,小精灵露出了满足的笑容。
从生成效果来看,还是蛮符合设定也蛮可爱的。
文生视频之外,清影这次也开放了图生视频的能力,输入一张图片 相应的提示词,或者只输入图片,清影就可以生成视频画面。
极客公园养有许多猫猫,笔者随机抓拍了一只眼睛瞪圆溜溜的小猫,把这张图片喂给清影,再输入提示词:图中的猫咪给自己戴上墨镜,动作连贯自然且真实,画质高清。
极客公园的小猫「毛栗栗」|图片来源:极客公园
智谱AICEO张鹏介绍,清影(Ying)底座的视频生成模型是CogVideoX,它能将文本、时间、空间三个维度融合起来,参考了Sora的算法设计,它也是一个DiT架构,通过优化,CogVideoX相比前代(CogVideo)推理速度提升了6倍。目前生成6s视频,模型花费的理论时间只需要30s。
二、为什么智谱能做到为什么包括智谱AI在内的各家都在做多模态模型?
核心是为了让机器能够更好地模拟人类的认知和感知机制,从而提升人工智能系统的整体性能和应用范围。
多模态模型能够处理多种类型的数据,如语言、图像和声音等。这与人类大脑的多模态信息处理能力非常相似,因为人类大脑能够同时接收和处理来自不同感官通道的信息,例如视觉、听觉和触觉。
并且,在多模态模型中,注意力机制被广泛使用来识别和融合不同模态的信息,这种机制在人类大脑中也存在。
因此,智谱AI在allin大模型路线之初,就开始多模态领域的相关布局,这也是他们实现实现全系列产品矩阵对标OpenAI的重要一环。
从2021年开始,智谱AI先后研发了CogView(NeurIPS’21)、CogView2(NeurIPS’22)、CogVideo(ICLR’23)、RelayDiffusion(ICLR’24)、CogView3(2024)。
智谱AI的文生视频模型就是基于CogView而来的CogVideo,张鹏谈到了该模型的三大技术特点:首先,为了解决内容连贯性的问题,智谱AI自研了一个3DVAE结构,将原视频空间压缩至2%大小,大幅减少了视频扩散生成模型的训练成本和训练的难度。
其次,在可控性上,智谱AI自研了一个端到端的视频理解模型,用于为海量的视频数据生成详细的贴合内容的描述文本,使得生成的视频能够理解超长的、超复杂的prompt指令,更符合用户的输入。
最后,模型采用了将文本、时间、空间三个维度全部融合起来的Transformer的架构,可高效利用模型参数将文本信息和视频信息进行混合。
张鹏也谈到,目前,多模态模型的发展还处于相当初级的阶段,智谱加入视频竞赛:使用架构,秒生成视频片段一是从生成视频的效果看,多模态模型对物理世界规律的理解、高分辨率、镜头动作连贯性以及时长等都有很多地方需要提升;二是从模型本身而言,现有的模型架构还不能高效地压缩视频信息,如果多模态模型继续发展,还是需要有更创新的新模型架构出现。
他判断,未来大模型的技术突破方向之一依然是原生多模态大模型,scalinglaw将继续发挥作用。
相关文章
在人类对未知世界的探索中,太空探索始终占据着举足轻重的地位,从最初的仰望星空到如今的深空探测,人类从未停止过对宇宙奥秘的探索,我们迎来了一个新的里程碑...
2024-09-08 3
在数字时代,电脑作为我们日常生活与工作中不可或缺的一部分,其稳定性直接关系到工作效率和个人体验,即便是最精心维护的设备也难免会出现各种故障,蓝屏”无疑...
2024-09-08 5
近年来,随着共享单车等新型交通工具的普及,骑行事故频发,其中不乏因过失致人死亡的严重案件,本文将结合一起典型的“骑行案”事件,深入探讨过失致人死亡罪的...
2024-09-08 6
随着2023年的到来,华为作为全球领先的通信设备和智能手机制造商之一,再次以其卓越的技术创新能力,推出了多款令人瞩目的新款智能手机,这些新机型不仅在硬...
2024-09-08 4
随着互联网的飞速发展,网络直播销售已经成为一种新的销售模式,在这个大潮中,东北雨姐以其独特的魅力和销售技巧,在短短的九场直播中就卖出了高达5000万元...
2024-09-08 6
某城市的一起汽车4S店二楼被狂风无情吹走的事件引起了广泛关注,这起事件不仅给当地居民带来了震惊,也引发了对于防风措施的深入思考,在面对自然灾害时,如何...
2024-09-08 5
在自然灾害面前,人类的力量显得如此微小,台风过境后,无数城市和乡村都留下了深刻的印记,一些高层住宅的加装电梯在台风中遭受了严重破坏,成为了人们关注的焦...
2024-09-08 6
在气象学中,台风是一种常见的自然灾害,而摩羯台风却因其强度和破坏力而备受关注,台风摩羯为何如此强大呢?本文将详细解析其成因,台风摩羯的形成背景我们需要...
2024-09-08 6