分享
Task3:进阶上分-实战优化
输入“/”快速插入内容
🔮
Task3:
进阶上分
-
实战优化
2024年8月2日创建
14146
17083
10
0
💡
教程贡献者说:
在上一个task中,我们对baseline进行了逐行精读,我们学会了使用AI工具来帮助我们更快更好地学习。另外我们制作了一个话剧连环画,同时我们对零代码文生图平台secpter webui也有了一个初步的理解。
我们今天的任务是了解微调的基本原理,然后我们会对微调的各种参数有一个更加清楚的了解,来实现一个更好的效果,并且在这个Task中会给大家介绍一下文生图的工作流平台工具ComfyUI,来实现一个更加高度定制的文生图。
加油,大家坚持住,行百里者半九十,成功就在眼前了。
那么事不宜迟, 我们现在就开始吧!
part1:工具初探一ComfyUI应用场景探索
1.
初识ComfyUI
1.1
什么是ComfyUI
GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。
ComfyUI
是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI 的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的图像生成过程。
1.2
ComfyUI核心模块
核心模块由模型加载器、提示词管理器、
采样器、解码器。
本小节内容来自魔搭社区,具体内容可点击查看:
魔搭官方教程
。
模型加载器:Load Checkpoint用于加载基础的模型文件,包含了Model、CLIP、VAE三部分
31%
CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入
31%
解码器:VAE模块的作用是将Latent space中的embedding解码为像素级别的图像
37%
采样器:用于控制模型生成图像,不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。
39%
Stable Diffusion的基本原理是通过降噪的方式(如完全的噪声图像),将一个原本的噪声信号变为无噪声的信号(如人可以理解的图像)。其中的降噪过程涉及到多次的采样。采样的系数在KSampler中配置:
•
seed:控制噪声产生的随机种子
•
control_after_generate:控制seed在每次生成后的变化
•
steps:降噪的迭代步数,越多则信号越精准,相对的生成时间也越长
•
cfg:classifier free guidance决定了prompt对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。
•
denoise: 多少内容会被噪声覆盖 sampler_name、scheduler:降噪参数。
61%
1.3
ComfyUI图片生成流程
画板