Posted in

预训练模型助力,真实动画视频生成 | 开源专题 No.92_AI阅读总结 — 包阅AI

包阅导读总结

1. 动画生成、预训练模型、开源项目、图像视频、音频驱动

2. 文本介绍了多个开源的动画生成相关项目,包括 Animate Anyone、SadTalker 等,这些项目具有不同特点和优势,如实现角色动画、音频与人像结合生成视频等,不少项目提供了预训练模型。

3.

– 开源项目

– Animate Anyone

– 用于角色动画的一致且可控的图像到视频合成工具

– SadTalker

– 基于音频驱动的单幅图像对话头像动画生成项目

– 整合 Discord,可免费使用,能生成高质量视频,不断更新优化,提供安装和社区教程,支持模型下载和离线模型选择

– MagicAnimate

– 使用扩散模型实现时间一致的人体图像动画

– 提供预训练基础模型和检查点,支持单 GPU 和多 GPU 推断,有在线和本地 Gradio 演示

– VideoReTalking

– 用于野外环境中编辑真实人物头部视频的系统

– 可修改面部表情、生成同步嘴唇动作等,提供预训练模型,支持快速推理

– AniPortrait

– 通过音频驱动合成逼真肖像动画的开源项目

– 提供高质量动画生成框架和 Gradio 演示,支持在线演示,有多种生成视频功能

思维导图:

文章地址:https://mp.weixin.qq.com/s/xx9xv8qXX7sO6VCcD2Yg4Q

文章来源:mp.weixin.qq.com

作者:开源服务指南

发布时间:2024/6/16 16:38

语言:中文

总字数:704字

预计阅读时间:3分钟

评分:84分

标签:图像到视频动画,开源,预训练模型


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

picture

HumanAIGC/AnimateAnyonehttps://github.com/HumanAIGC/AnimateAnyone

Stars: 14.0k License: Apache-2.0

picture

AniamteAnyone 是一个用于角色动画的一致且可控的图像到视频合成工具。

OpenTalker/SadTalkerhttps://github.com/OpenTalker/SadTalker

Stars: 10.8k License: NOASSERTION

picture

SadTalker 是一个基于音频驱动的单幅图像对话头像动画生成项目。它可以将单幅人像图像与音频结合,生成逼真的视频对话头像。该项目的主要功能和核心优势包括:

  • 通过 Discord 整合,用户可以免费使用,也可以通过发送文件或文本提示生成高质量视频。
  • 不断更新版本,增加新特性,修复 Bug,优化性能。
  • 提供了详细的安装教程和社区教程,覆盖多种操作系统。
  • 支持模型下载脚本,提供预训练模型,同时提供离线模型供用户选择。

magic-research/magic-animatehttps://github.com/magic-research/magic-animate

Stars: 9.9k License: BSD-3-Clause

这个项目是 MagicAnimate,它使用扩散模型实现了时间一致的人体图像动画。该项目提供了预训练基础模型和 MagicAnimate 检查点,并支持单 GPU 和多 GPU 推断。此外,还提供在线 Gradio 演示以及本地 Gradio 演示功能。

OpenTalker/video-retalkinghttps://github.com/OpenTalker/video-retalking

Stars: 5.8k License: Apache-2.0

VideoReTalking 是一个用于在野外环境中编辑真实人物头部视频的系统。其主要功能包括根据输入音频修改面部表情、生成与音频同步的嘴唇动作以及提高合成脸部图像逼真度等。该项目具有以下核心优势和特点:

  • 通过学习方法解决了三个任务,可以无需用户干预地按顺序处理所有模块。
  • 提供了预训练模型,并且支持快速推理,不需要手动对齐数据。

Zejun-Yang/AniPortraithttps://github.com/Zejun-Yang/AniPortrait

Stars: 4.0k License: Apache-2.0

picture

AniPortrait 是一个通过音频驱动合成逼真肖像动画的开源项目。

  • 提供高质量的由音频和参考肖像图像驱动的动画生成框架
  • 发布了 Gradio 演示,支持 HuggingFace Spaces 上的在线演示
  • 提供各种生成视频功能,包括自主驾驶、面部重现、音频驱动等