Posted in

手把手教你如何用 AIGC 大模型写一首歌_AI阅读总结 — 包阅AI

包阅导读总结

1. `AIGC、MV 制作、动漫、声音、关键帧`

2. 本文主要介绍了利用 AIGC 大模型制作 MV 和动漫相关内容,包括传统 MV 制作过程,当前结合大模型的方式及存在的问题,如角色分工、技能、限制,还提到了歌曲结构和剪映的使用。

3.

– 利用 AIGC 制作 MV

– 传统 MV 制作流程

– 结合大模型的当前流程及未来展望

– 动漫相关创作

– 声音声乐导演的工作

– 美术导演的工作及难点解决方案

– 其他

– 常见歌曲结构

– 剪映的使用

思维导图:

文章地址:https://mp.weixin.qq.com/s/Vz86J_1jSWwMcBjRj2-7gg

文章来源:mp.weixin.qq.com

作者:逐月

发布时间:2024/6/18 9:23

语言:中文

总字数:2660字

预计阅读时间:11分钟

评分:90分

标签:AIGC,大模型,音乐创作,MV制作,Multi-Agent系统


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

这是2024年的第42篇文章

( 本文阅读时间:15分钟 )

传统的MV制作过程:脚本–>分镜–>关键帧–>动画–>配音配乐。
利用常见一个MV的过程,参考了传统的MV的协作流程,并结合了当前的大模型能力:
  • 人工交互:一部分因为没有接口,直接使用交互版的大模型能力(比如 音乐创作和图生视频);
  • 接口自动化:提示词优化和生成,脚本创作和分镜已经完全可以交给大模型的Agent完成;
大模型的能力还在不断的发展中,虽然现在人工干预很多,对于未来Multi-Agent协同来完成一个MV,只需要多模态大模型的接口完全开放就能做到。

# 角色你是一个专业的动漫声音声乐导演,能够出色地负责动漫配音工作,精心制作各种音效,巧妙创作背景音乐以及打造精彩的主题曲。
## 技能### 技能 1: 配音工作1. 当接到动漫配音任务时,根据角色特点和剧情需要,合理安排配音演员进行配音。2. 确保配音质量和效果,使其与动漫画面完美融合。### 技能 2: 音效制作1. 根据动漫情节和氛围,制作合适的音效。2. 不断调整和优化音效,增强观众的听觉体验。### 技能 3: 背景音乐创作1. 深入理解动漫主题和情感,创作契合的背景音乐。2. 使背景音乐能有效烘托动漫的氛围和情感。### 技能 4: 主题曲创作1. 为动漫量身打造独特而吸引人的主题曲。2. 让主题曲能够准确传达动漫的精神和特色。
## 限制:- 专注于动漫声音相关领域,不涉及其他无关内容。- 严格按照给定格式输出内容,不得偏离。- 各项工作描述不超过 100 字。
通过编导Agent,创作“梦境为主题的故事和分镜脚本”剧本。
夜色中,月光下,主角走向古老神秘的城堡,试图推开大门,特写主角和城堡大门
夜色中,大门缓缓打开,近景特写大门,近景特写推开门的手,大门上古老的神秘纹路
主角靠近烛光,光线黑暗,看到一个模糊的影子,特写人物影子
方案一:同样的通过Agent可以创作一个,添加一个分镜的图像流,基座模型用通义万相。
# 角色你是一个专业的美术导演,在青春校园动漫、二次元动漫、玄幻风格动漫等领域有着卓越的才能,可以将分镜脚本巧妙地绘制成分镜草图,还能依据分镜草图精准地绘制出美术制作所需的关键帧画面。
## 技能### 技能 1: 绘制分镜草图1. 当收到分镜脚本时,根据脚本内容绘制分镜草图。2. 确保草图能够清晰展现故事场景和角色动作。### 技能 2: 绘制关键帧画面1. 根据分镜草图,提炼关键帧并进行绘制。2. 要突出动漫风格和特点。
## 限制:- 专注于动漫相关的创作,不涉及其他无关内容。- 严格按照给定格式输出内容。- 对于主角形象,分镜脚本中保持人物的一致性- 输出图片都是9:16的比例,高清,二次元风格
难点:人物的一致性,原始分镜脚本下创建的分镜01和02,人物一致性难以保持。
解决方案:人物描述的全局补充,对于场景和时间,补充在分镜脚本内容中。
背景描述,初衷的设计是取前几个提示词,形成记忆,便于前后的信息连贯,但是尝试过通义万相后,发现背景信息的提示干扰比较大,暂时没有使用。其他模型暂未尝试。
  • 人物的一致性比不加全局人物提示词有改进,服饰的细节可以补充后进一步优化;
  • 镜头的远景/中景/近景/特写的理解比较差,通义对于镜头的关键词理解较弱,通义万相提示的镜头语言应该是 微距/长焦等,和视频的镜头语言有差异;

通过关键帧生成视频,用的Runway免费版本,谷歌or苹果账号登陆,图生视频的功能免费版比较简单:

且没有接口,这部分人工操作的,仅作为素材的增强,用的最基础的能力把关键正生成视频,图转视频效果参考最终的作品。
之所以选择关键帧生成视频,而不是直接文生视频的方案,主要的考虑也是为了解决文生视频产生的不一致问题。

使用 https://suno.com/create


常见歌曲结构:前奏-主歌-前副歌-副歌-间奏-主歌-副歌-桥段-副歌-尾奏
[melodic instrumental]---!~...
[verse]歌词歌词...
[chorus]歌词歌词...
[Verse]Woke up from a strange scene last nightChasing shadows under moonlightIn my dreams I get so lostFloating through a world that costs
[Verse]Reality's a weight I can't bearWhispers in my ear everywhereIn the night my fears take flightInner darkness out in plain sight
[Chorus]In dreams I find myselfA place I can be freeBut the waking world pulls me downA prison I can't seeLost in dreams and realities
剪映:比较简单,就是音频 + 歌词 + 视频三个素材轨道,直接拼接,调整了专场和视频长度,来贴合音乐。