Stable Diffusion基础:ControlNet之图像提示(垫图)

作者:沙与沫2024.02.28 15:51浏览量:9

简介:通过ControlNet的图像提示功能,可以实现对Stable Diffusion模型输出图像的精细控制。本文将介绍如何使用这一功能,包括正向和反向提示词的设定,以及一些需要注意的参数调整。

Stable Diffusion中,ControlNet是一个强大的工具,它可以用来调整输出图像的各种属性。其中,图像提示(垫图)功能允许我们通过输入简单的文字描述来调整输出图像的细节。本文将详细介绍如何使用这一功能,并分享一些实践中的经验。

首先,要使用图像提示功能,你需要准备一张参考图像。这张图像将作为模型调整的基准。然后,你可以使用正向和反向提示词来微调输出图像的细节。正向提示词是用来加强某些特性的,比如你可以输入“让天空更蓝”,来让模型输出的天空更清澈。反向提示词则是用来抑制某些特性的,比如输入“去掉鸟”,就可以让模型输出的图像中不再出现鸟类。

在正向提示词中,你可以输入你想要的特性,比如“让图片的光照变暗”,或者“让花朵的颜色更鲜艳”。这些提示词会指导模型按照你的要求调整输出图像的细节。需要注意的是,提示词的描述要尽可能具体,以便模型能够准确地理解你的意图。

除了正向提示词,反向提示词也是非常有用的。通过在反向提示词中输入你想要抑制的特性,比如“去掉太阳”,就可以让模型输出的图像中不再出现太阳。反向提示词可以用来纠正模型在生成图像时出现的偏差,使输出结果更加符合你的期望。

在使用图像提示功能时,还需要注意一些参数的调整。首先是图像长宽比的调整。如果你的参考图像的长宽比与原图不同,需要在调整长宽比后,再使用ControlNet进行微调。否则,如果直接在原图上进行微调,可能会导致生成的图像出现形变。

另一个重要的参数是提示词引导系数(CFG Scale)。这个参数决定了输入的提示词对模型输出的影响程度。经过测试,这个值不宜过小(2以下),否则会导致输入的提示词效果不明显。也不可过大(5以上),否则此模型会变得极不稳定,出完全随机的图。因此,需要根据实际情况进行调整,找到一个合适的值,以获得最佳的微调效果。

此外,如果你需要配合其他ControlNet模型使用,比如lineart_anime提取轮廓,那么修改后的图像变换也会更加随机。在这种情况下,你可能需要尝试多次不同的参数组合和提示词描述,以找到最适合你需求的输出结果。

总结起来,通过ControlNet的图像提示功能,我们可以实现对Stable Diffusion模型输出图像的精细控制。通过合理的正向和反向提示词设定,以及适当的参数调整,我们可以获得更加符合预期的输出结果。在实际应用中,多尝试、多实践是关键。希望本文对你有所帮助!