Stable Diffusion WebUI使用AnimateDiff插件生成动画

AnimateDiff 可以针对各个模型生成的图片，一键生成对应的动图。

配置要求

GPU显存建议12G以上，在xformers或者sdp优化下显存要求至少6G以上。

要开启sdp优化，在启动参数加上--sdp-no-mem-attention

实际的显存使用量取决于图像大小（batch size）和上下文批处理大小（Context batch size）。可以尝试减小图像大小或上下文批处理大小以减少显存使用量。

WebUI版本：v1.6.0

ControlNet版本：v1.1.410

下载运动模型

https://huggingface.co/guoyww/animatediffhttps://huggingface.co/guoyww/animatediff​​​​​​​主模型放置在`stable-diffusion-webui/extensions/sd-webui-animatediff/model/`目录下。如果希望使用其他目录保存模型权重，请在“Settings/AnimateDiff”中进行配置。

• mm_sd_v15_v2.ckpt

  运动lora正常放置和使用

  • v2_lora_PanLeft.ckpt        左移
  • v2_lora_PanRight.ckpt       右移
  • v2_lora_RollingAnticlockwise.ckpt       逆时针
  • v2_lora_RollingClockwise.ckpt       顺时针
  • v2_lora_TiltDown.ckpt       下倾斜
  • v2_lora_TiltUp.ckpt       上倾斜
  • v2_lora_ZoomIn.ckpt       放大
  • v2_lora_ZoomOut.ckpt       缩小

    安装AnimateDiff插件

    插件地址：

    https://github.com/continue-revolution/sd-webui-animatediff

    1、在“Settings/Optimization”中启用“Pad prompt/negative prompt to be same length”，并点击“Apply settings”按钮。这一步是为了避免生成两个不相关的GIF图。选择是否启用“Batch cond/uncond”是可选的，这样做可以提高速度，但会增加显存的使用量。

    2、不要禁用哈希计算，否则AnimateDiff将无法确定何时切换运动模块。

    3、使用txt2img将文本转换为GIF，使用img2img将图像转换为GIF。为了避免出现画面较大的跳跃，建议在img2img界面进行。该插件生成的超短视频以GIF格式存储。

    4、选择一个SD1.5 模型，编写提示词，设置配置（如图像宽度/高度）。如果想一次生成多个GIF，更改批处理数量，而不是批处理大小。

    
    （图片来源网络，侵删）

    5、启用AnimateDiff扩展，设置参数，然后点击“Generate”按钮。

    

    6、生成的GIF在`stable-diffusion-webui/outputs/{txt2img或img2img}-images/AnimateDiff`目录下。生成的中间图像帧在`stable-diffusion-webui/outputs/{txt2img或img2img}-images/{date}`目录下。可以在“Settings/AnimateDiff”中修改生成路径。

    参数说明：

    保存格式（Save format）：

    输出的文件格式。至少选择一个："GIF"|"MP4"|"WEBP"|"PNG"。如果需要附加信息文本，勾选"TXT"，它将与输出GIF文件保存在相同的目录下。

    总帧数（Number of frames）：

    生成的超短视频的帧数，一般建议20帧以下。

    帧率（FPS）：

    选择30-60为佳。

    循环播放次数（Display loop number）：

    GIF播放的循环次数，值为0表示GIF永远不停止播放。

    上下文批处理大小（Context batch size）：

    每次传入运动模块的帧数。SD1.5运动模块是基于16帧训练的，因此当帧数设置为16时，效果最好。

    闭环（Closed loop）：

    闭环意味着该扩展会尝试使最后一帧与第一帧相同。选择不同的闭环选项（N|R-P|R+P|A）来确定如何实现闭环。

    • N表示绝对没有闭环。如果帧数小于上下文批处理大小而不是0，则这是唯一可用的选项。
    • R-P意味着扩展将试图减少闭环上下文的数量。提示行程不会被插值为闭环。
    • R+P意味着扩展将试图减少闭环上下文的数量。即时行程将被插值为一个闭环。
    • A意味着扩展将积极尝试使最后一帧与第一帧相同。即时行程将被插值为一个闭环。

      步幅（Stride）：

      最大运动步幅，以2的幂表示（默认值：1）。由于无限上下文生成器的限制，此参数仅在帧数大于上下文批处理大小时有效。当Stride为1时，"Absolutely no closed loop"（绝对不进行闭环）才可能实现。

      重叠（Overlap）：

      上下文中重叠的帧数。如果重叠设置为-1（默认值），重叠将为上下文批处理大小的四分之一。由于无限上下文生成器的限制，该参数仅在帧数 > 上下文批处理大小时有效。

      帧插值（Frame Interpolation）：

      使用Deforum的FILM实现在帧之间进行插值。需要Deforum扩展。

      插值倍数（Interp X）：

      将每个输入帧替换为X个插值输出帧。