家东说念主们性爱之后，火爆全球的魔性跳舞《科目三》，谁能料到，就连戎马俑也开动跳上了！
热度还居高不下，片刻被轰上了热搜，小伙伴们纷纷惊掉了下巴示意“闻所未闻，绝世超伦”。
这到底是如何一趟事？
原本，是有东说念主借助了阿里之前走红的AI期间——AnimateAnyone，生成出来了这个跳舞片断。
期间圈的盆友对这个期间都不生分，“出说念”于今只是1个月时刻，这个模样便还是在GitHub上斩获了超1.1万个star。
招呼它能让更多东说念主自便上手体验的声息，也越来越多。
好音信是，当今AnimateAnyone还是不错免费体验了！
而且“进口”还径直被嵌进了阿里通义千问APP——名曰：通义舞王。
很快，各式遵循、各式玩法、各式东说念主物，都动了起来……举例微博网友“Simon_阿文”，让拿破仑扮演了一把……
这标致的舞姿，这反差的形象，实在算是把脑洞给大开了。
也有不少网友换了个想路：
想用我方像片试试；以后投宅舞视频不错径直生成了。
是以遵循究竟行不行，咱们也忍不住实测了一波~
让贝佐斯舞一段《极乐净土》
大开通义千问APP，咱们只需重心击对话框中的“一张像片来跳舞”：
或者在输入框内敲“通义舞王”或“全民舞王”等环节词，就不错跳转到相应界面了：
接下来的操作，也正如咱们刚才所说：极、其、简、单。
起程点，在稠密还是提供的模板中，pick一个。
现时通义千问APP提供了12个模板，此次咱们就采选二次元最爱、宅舞《极乐净土》测试一下~
然后，选一位测试对象。比如咱们找了（前）全球首富贝佐斯：
需要证明的是，在采选像片的时候，照旧需要极少“手段”的，“通义舞王”也有相应教唆：
正面直立
全身照
全身无装璜
无仰俯角
在此之后，径直点击“立即生成”，静候几分钟，贝佐斯大跳《极乐净土》的视频，就出身了：
是不是遵循还行？固然还弗成讲“真假难辨”，但首富都能这么为你跳一曲了，还要什么自行车。
不仅如斯，“通义舞王”除了约略生成真东说念主作风除外，还有其他作风可玩。
举例动漫作风的姑娘姐跳DJ慢摇：
还有卡通作风的东说念主物热舞：
一言以蔽之，当今你想让任何东说念主跳舞——一张全身照就够了。
不外有一说一，固然“通义舞王”还是告捷诱惑了稠密网友前来玩耍，反响火爆，但它也还没到完整无瑕的田地。
举例恭候时长，当今平均时刻大要在10分钟傍边（有点久，但毕竟是免费的，还要啥自行车啊）。
还有就是从视频遵循来看，如若像片角度不好或者昭彰度不够也会影响AI关于东说念主物手部的束缚。
这些问题，实质都与背后的期间旨趣和期间挑战，密不可分。
如何作念到的？
在视觉生成任务中，现时较为主流的模式等于扩散模子。
但在仅靠一张像片就生成视频这件事上，它还面对着诸多的挑战，举例东说念主物形象一致性（consistency）的问题。
省略来说，就是如何保证像片东说念主物在动起来的经由中，各式细节约略和原像片保捏一致。
为此，阿里团队在扩散模子的基础之上，提倡了一个新的算法，也就是咱们刚才提到的AnimateAnyone。
从一致性、可控性和露出性三个方面，保证了视频输出的遵循和质料。
举例在一致性方面，阿里团队引入的是ReferenceNet，用于捕捉和保留原图像信息，可高度酬报东说念主物、颜料及服装细节。
具体而言，在参考图特征索取上，ReferenceNet接管的是与去噪UNet雷同的框架，但莫得包含时刻层；它接纳了原始扩散模子的权重，并零丁进行权重更新。
在将ReferenceNet的特征交融到去噪UNet时，起程点昔时自ReferenceNet的特征图x2复制t次，并与去噪UNet的特征图x1沿w维度销毁；然后进行自防备力束缚，并索取特征图的前半部分行为输出。
固然ReferenceNet引入了与去噪UNet相当数目的参数，但在基于扩散的视频生成中，统共视频帧都需要屡次去噪，而ReferenceNet只需在统共这个词经由中索取一次特征，因此在推理经由中不会导致显耀加多计较支出。
在可控性方面，阿里团队使用的是Pose Guider姿态率领器。
Pose Guider姿势率领器接管的是一个轻量级筹商，而不是引入一个迥殊的适度汇注。
具体来说，使用了四个卷积层（卷积核大小为4 x 4，步幅为2×2，通说念数分歧为16、32、64、128），这些卷积层用于将姿势图像对王人到与噪声潜变量相通的分辨率。
束缚后的姿势图像会被加到噪声潜变量上，然后一起输入到去噪UNet中，从而在不显耀加多计较复杂性的情况下，为去噪UNet提供姿势适度。
临了是在露出性方面，阿里团队引入的是一个时序生成模块。
时序层的筹商灵感着手于AnimateDiff，通过在特征图上施行时刻维度的自防备力，以及通过残差销毁，其特征被整合到原始特征中。
相通的，这个模块的作用之下，骄傲了在保捏时刻一语气性和细节平滑性的同期，减少了对复杂开通建模的需求。
最终，在AnimateAnyone的加捏之下，从遵循上来看，保证了图像与视频中东说念主物的一致性。
这亦然AnimateAnyone背后的期间旨趣。
联系词，阿里之是以接续在AnimateAnyone上攻坚优化，并非完全出于期间很酷很有后劲，还藏着一颗引颈视频生成期间的贪念。
因为世界都在问“What is the Next？”的时候，LVM（Large Vision Model），还是潮流声轰鸣了。
What is the Next？实质上，在AnimateAnyone火了之后，阿里还有另一项视频生成期间在同期出圈。
它叫DreaMoving，只需一张脸部像片、一句话表情，就能让你在职何处所跳舞！
举例底下这段《擦玻璃》的跳舞视频：
你所需要作念的就是“投喂”一张东说念主像，以及一段prompt：
一个女孩，浅笑着，在秋天的金色树叶中跳舞，衣服浅蓝色的连衣裙。
而且跟着prompt的变化，东说念主物配景和身上的衣服也会随之发生更正。举例咱们再换两句：
一个女孩，浅笑着，在板屋里跳舞，衣服毛衣和长裤。
一个女孩，浅笑着，在期间广场跳舞，衣服连衣裙般的白衬衫，长袖，长裤。
和AnimateAnyone一样的，它亦然真东说念主、卡通、动漫东说念主物全都都能hold住。
那时也引来了不少网友们的热玩和惊呼。
这些都是阿里在视频生成上的“一齐下蛋”，都是“勇攀珠峰”——死磕AI视频生成期间的评释和收尾。
为什么？
因为纵不雅旧年一整年的AIGC发展的端倪，AI视频生成的爆发趋势似乎越来越明确了。
2022年底以来，从领先ChatGPT引爆大谈话模子，全球科技巨头乃至初创企业纷纷入局，到其后各家不仅限于当然谈话期间，更是将文生图、文生音频、文生视频、图生视频等多模态期间“玩”出了新高度。
产业是什么？LLM（大谈话模子）正在迟缓向LMM（多模态大模子）发展。
四虎永久在线精品视频免费况且从这期间学术界、产业界所交出的一份份“功课”中，也能印证这极少：
Pika1.0发布，刚出说念就成行业顶流，引来一众大佬围不雅；
Runway家升级Gen2，分分钟打造高质料小电影；
李飞飞W.A.L.T紧随其后，相通亦然发力于此；
谷歌Gemini发布现场，大秀多种模态的联动玩法。
因此，多模态大模子、AI视频生成界限，恰是现如今AIGC这波顶流中的顶流，阿里时时在此发力，也就不难默契了。
不仅如斯，在岁末岁首之际，更是有稠密AI大佬将2024年的估量押注于此。
举例Meta照管院Martin Signoux相等径直地表态“相遇LLM，你好LMM”，这个估量也获取了LeCun的转发和点赞。
因此，如若要问谁是下一个ChatGPT，可能莫得东说念主不错给出准确预判。
但如若问下一个ChatGPT会从哪个赛说念来？AI视频生成，就是自带饱读风机的那一个，而在这个赛说念里，阿里还是霸占了先机。
参考销毁：[1]https://weibo.com/1757693565/NA6OhoCo2#comment[2]https://weibo.com/2099591797/NA8fX0eOE?refer_flag=1001030103_性爱之后