Posted in

主流 DiT 视频生成模型简单测试-歸藏_AI阅读总结 — 包阅AI

包阅导读总结

1. `DiT 视频生成模型`、`测试`、`文生视频`、`图生视频`、`Pixverse`

2. 作者对主流 DiT 视频生成模型进行简单测试,包括文生视频和图生视频,认为 Pixverse 在文生视频上响应好,在图生视频上运动幅度大但抽卡成功率下降,同时指出其他模型的一些问题。

3.

– 主流 DiT 视频生成模型简单测试

– 文生视频测试

– 三个提示词:宇航员相关、巫师相关、角色与魔法书相关

– Pixverse 响应好,其他家存在未生成或效果不佳的情况

– 图生视频测试

– 三张图:人像、动物运动、科幻飞船运动

– Pixverse 运动幅度大,luma 人脸变化,可灵无法维持美学氛围,Pixverse 抽卡成功率下降

– 总结

– Pixverse 有优势也有问题,其他模型各有不足

思维导图:

文章地址:https://mp.weixin.qq.com/s/2P06scg5nC1zN-Id0yxwUg

文章来源:mp.weixin.qq.com

作者:歸藏

发布时间:2024/7/26 3:03

语言:中文

总字数:608字

预计阅读时间:3分钟

评分:71分

标签:视频生成模型,DiT,Pixverse,文生视频,图生视频


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

非常简单的测试,结果肯定不全面,全是主观看法,如果有其他想法欢迎交流。


Pixverse 的 DiT 模型也发布了,刚好完整的图生视频 DiT 凑齐了三家。

顺手做了一个简单测试,主要分成文生视频和图生视频测试,由于 Gen3 没有图生视频就没有测试。

文生视频的三个提示词分别是:

宇航员在零重力下漂浮。慢动作。受损的空间站内,碎片漂流。施展强大咒语的巫师。爆炸。神秘符号在空中旋转。角色被拉入魔法书中。漩涡。旋转的书页和墨水形成现实。

图生视频的三张图有一张人像、一张动物运动、一个科幻飞船运动。

测试视频在这里:

测试结果

文生视频

我发现 Pixverse 在文生视频上有些实诚,对提示词的响应非常好

你只要写了它就会生成出来,不像其他几家觉得生成不好就不生成了。比如第一个提示词是宇航员在空间里,Runway 和 Luma 都没生成宇航员。

另外Pixvers对于奇幻和科幻的响应也很好。可灵就别说了,前两个很好。

Pixvers 第二个巫师施法的效果非常好,火焰甚至覆盖了巫师全身类似火焰护盾的效果,luma 直接皮克斯了,runway 也很滑稽。

第三个的提示词是“一个角色被拉进了魔法书里,旋转的页面和墨水形成现实”,属实有些难度,大家都拉了,不过Pixverse和可灵的起码能看。

图生视频

图生视频这里Pixverse的优势是运动幅度非常大,是几家里面最大的,比如飞船那个。 这里面 luma 的问题是亚洲人脸变成了欧洲人,可灵是无法维持老虎那个图片的美学氛围。 Pixverse的问题是运动幅度过大带来的抽卡成功率下降。