梦瑶 发自 凹非寺
量子位 | 公众号 QbitAI
那边OpenAI的Sora2还没全面开放，这边国内团队已经上线了自己的“特色打法”。
清华特奖选手创办的Sand.ai，上线了音画同步视频模型GAGA-1。
你可以把它理解为：一个专门练“嘴功”和“表演感”的视频生成模型：
怎么样，奥特曼看了这视频都得说一句：好家伙！我啥时候跑去说相声了？
笑归笑，但有一说一，相比较满地开花的多模态模型，GAGA-1感觉更像是把声音+表演这一块打磨得更顺溜了。
重点是——现在平台不需要邀请码，能直接白嫖开整！
展开剩余88%GAGA-1到底有多会“演”？
打开gaga网站，首页设计一目了然，功能入口也毫不藏着掖着。
进入Gaga Actor板块，我们就能直接就能用上GAGA-1模型了。
用法也不复杂：上传一张图，加一句提示词，AI角色立马“对嘴开演”～
还有一点挺贴心的：
我们可以直接在gaga中生成图像（内置NanoBanana模型），省去了先生图、再传图、再合成的麻烦。
一个平台就能搞定从图到视频的全链路流程，这波操作属实牛啊～
接下来我们直接实测一波，看看它的“嘴皮子功夫”和“戏精潜质”到底靠不靠谱！
咱先复刻一个最近短视频爆火的Sora2街头采访的视频：
Prompt：男子在大街上采访另一个女孩，问道：“你知道你是AI吗？”女孩说：“你们是哪家自媒体吗，账号叫什么啊我搜搜！”
Prompt：男子在大街上采访另一个女孩，问道：“你知道你是AI吗？”女孩说：“你们是哪家自媒体吗，账号叫什么啊我搜搜！”
单从画质来看，在“免费白嫖”前提下有这种分辨率确实蛮牛的。
人物的表情、动作也比较自然，嘴型和台词基本能对上。
当然也有一些明显的小bug——
比如视频中男生表情略显僵硬，女生语气有点“重音跑偏”，这也算是AI音视频生成的通病了。
接着我们加大难度，来一个台词+镜头逻辑双挑战：
Prompt：台上的男子是一名脱口秀演员，他跟观众说:“有人问我梦想是什么？我说睡到自然醒，他说那叫失业。大家觉得我说的对不对。” 随后镜头给到台下大笑鼓掌的观众。
Prompt：台上的男子是一名脱口秀演员，他跟观众说:“有人问我梦想是什么？我说睡到自然醒，他说那叫失业。大家觉得我说的对不对。” 随后镜头给到台下大笑鼓掌的观众。
这段表现可谓稳中带喜：口型精准，语速自然，台词节奏拿捏得相当准～
但唯一的小缺点是——
最后那个切观众席的镜头没出现，看来GAGA-1在镜头调度上还差点火候……
继续整活——让梵高来玩点时空穿越的戏码：
Prompt：梵高专注地盯着前方，他用平稳的语调开口说道：“都说我脾气大，其实我只对调色盘温柔。”在这个过程中，他的手部不要移动。
Prompt：梵高专注地盯着前方，他用平稳的语调开口说道：“都说我脾气大，其实我只对调色盘温柔。”在这个过程中，他的手部不要移动。
好家伙，这磁性、这低气压感，GAGA-1还真给梵高“量身定做”了一种emo式声线！
而且过程中他手还真一动没动，提示词理解得很到位。
再来玩点有意思的，我们让一个宝宝边做饭边接受采访：
Prompt：画外音——你这么小怎么就开始做饭了？ 图片中的宝宝边做饭边说：爸妈基础孩子就不基础，不说了，说多了都是泪。
Prompt：画外音——你这么小怎么就开始做饭了？ 图片中的宝宝边做饭边说：爸妈基础孩子就不基础，不说了，说多了都是泪。
人物的表情动作处理都没啥问题，不错不错！
再来玩点抽象的，让一只骑摩托车的猴子发表“骑行感言”：
整体内容是OK的，但最后几秒“猴子脸”有点变形，角色稳定性开始有点崩。
测试完角色台词功底，我们刁难一下GAGA-1，测一点它不太擅长的领域——动作生成。
让四只小猫上桌打麻将：
乍一看还挺有氛围，但看久了bug就冒出来了……
左边那只猫的侧脸有些畸形，而且四只猫虽然围坐，但并没有真的“打起来”——连一张牌都没打出去。
于是我们换个思路，不打了，改吃！
这次上场的是小猫和老虎，让它们一起大口大口吃火锅：
结果嘛……虽然火锅是有了，但场面更像是在拍“动物美食写真”——谁也不动筷子。
（感觉完全没有“狼吞虎咽”的节奏？）
测到这里，其实心里也就有数了。
GAGA-1擅长的确实是“会说话”的任务，不论是口型同步还是神态演绎，整体表现都算得上是优等生。
但一旦进入多角色、多动作的复杂场景，问题就会浮现出来——
角色动作容易脱节、面部形象容易飘、剧情逻辑也容易断裂。
好在GAGA-1从一开始就没打“万能模型”的主意，而是清晰聚焦在说话和表演这件事上。
会说会演，才是它的核心竞争力。
One More Thing
值得一提是，gaga背后的团队我们也不陌生——Sand.ai。
没错，就是在今年4月发布首个实现顶级画质输出的自回归视频生成模型Magi-1背后的团队。
Sand.ai创始人曹越，博士毕业于清华大学软件学院，2018年获清华大学特等奖学金。
并于2021年以Swin Transformer共同一作身份获ICCV最佳论文“马尔奖”。
大佬履历一亮出来，gaga这波团队实力更加坐实了……
当大多数模型都在追求“啥都能来一点”的全能标签时，gaga反而用一张“嘴”，打出了属于自己的节奏。
至少目前来看，gaga把一个点的体验——音画同步的台词生成，打磨得异常扎实、实用又顺手。
AI生成视频玩家里，“嘴”强王者了…
gaga网址：https://gaga.art/app
发布于：北京市盛达优配官网-配资十大平台-可靠股票配资网-证券杠杆提示：文章来自网络，不代表本站观点。
- 上一篇：股天下配资平台官网真正实现自然舒适的体验目标
- 下一篇：没有了
