Stable Diffusion采样器详解

作者:c4t2024.02.28 16:02浏览量:10

简介:Stable Diffusion通过采样器进行图像生成,采样器在潜在空间中生成完全随机的图像,并通过噪声预测器估计图像的噪声。本文将详细介绍Stable Diffusion中使用的采样器及其特性、运算速度和应用场景。

Stable Diffusion中,采样器是用于生成图像的重要工具。通过采样器,Stable Diffusion能够在潜在空间中生成一个完全随机的图像,然后通过噪声预测器估计图像的噪声,从图像中减去预测的噪声,重复多次,最终得到一个干净的图像。

首先,让我们了解一下采样器的种类和特性。Stable Diffusion支持多种采样器,包括Euler、Euler a、LMS、Heum Euler、DPM和DDIM等。每种采样器都有其独特的特性和运算速度,适用于不同的应用场景。

  1. Euler:Euler是最简单直接的采样器,运算速度快,适用于快速成图。它适用于图片较柔和、有一定环境快速成图细节、景深和快速出效果的场景。然而,超过30步后,图片变化不大。
  2. Euler a:Euler a自适应采样器运算速度同样很快,适用于快速成图和tag利用率较高的场景。与Euler相比,Euler a会产生较多变化的图。
  3. LMS:LMS(线性多步法)采样器运算速度较快,适用于质感OA、饱和度与对比度偏低和更倾向于动画风格的场景。
  4. Heum Euler:Heum Euler是精确改进采样器,运算速度较慢,但单次出图质量比Euler和Euler a高。它适用于对质量要求较高的场景。
  5. DPM:DPM(扩散概率模型)采样器有多种变体,包括DPM2、DPM2 a、DPM++2S、DPM++2M、DPM fast和DPM 2 karras等。这些采样器适用于不同的应用场景,如DPM2对tag利用率最高,DPM2 a对人物会有特写等。
  6. DDIM:DDIM(去噪扩散隐式)采样器运算速度快,适用于宽画幅和高steps表现的场景。它也适用于负面环境光线与水汽tag不够时发挥随意、效果好和写实不佳的场景。

在实际应用中,根据使用要求选择合适的采样器非常重要。例如,如果你需要快速出图且对质量要求不高,可以选择Euler或Euler a;如果你对细节和动画风格感兴趣,可以选择LMS;如果你对单次出图质量要求较高,可以选择Heum Euler;如果你想利用tag进行创作,可以选择DPM系列;如果你需要宽画幅和高steps表现,可以选择DDIM。

此外,对于初学者来说,建议使用DPM++ 2M或DPM++ 2M Karras,这两个采样器相对稳定且易于操作。如果你想尝试一些新的效果和变化,可以选择Euler a、DPM++ SDE、DPM++ SDEKarras或DPM2 a Karras等采样器。

最后,值得注意的是,虽然Stable Diffusion提供了多种采样器选择,但每种采样器都有其局限性和适用范围。因此,在实际应用中,根据具体需求选择合适的采样器是非常重要的。同时,对于初学者来说,可以先从简单的采样器入手,逐渐尝试不同的采样器和参数设置,以获得最佳的图像生成效果。