🔮
Task3：进阶上分-实战优化

2024年8月2日创建

14146

17083

💡

教程贡献者说：

在上一个task中，我们对baseline进行了逐行精读，我们学会了使用AI工具来帮助我们更快更好地学习。另外我们制作了一个话剧连环画，同时我们对零代码文生图平台secpter webui也有了一个初步的理解。​

我们今天的任务是了解微调的基本原理，然后我们会对微调的各种参数有一个更加清楚的了解，来实现一个更好的效果，并且在这个Task中会给大家介绍一下文生图的工作流平台工具ComfyUI，来实现一个更加高度定制的文生图。​

加油，大家坚持住，行百里者半九十，成功就在眼前了。

那么事不宜迟, 我们现在就开始吧！

part1：工具初探一ComfyUI应用场景探索

1.
初识ComfyUI​

1.1
什么是ComfyUI​

GUI 是 "Graphical User Interface"（图形用户界面）的缩写。简单来说，GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。​

ComfyUI 是GUI的一种，是基于节点工作的用户界面，主要用于操作图像的生成技术，ComfyUI 的特别之处在于它采用了一种模块化的设计，把图像生成的过程分解成了许多小的步骤，每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程，这样用户就可以根据需要定制自己的图像生成过程。​

1.2
ComfyUI核心模块​

核心模块由模型加载器、提示词管理器、采样器、解码器。

本小节内容来自魔搭社区，具体内容可点击查看：魔搭官方教程。

模型加载器：Load Checkpoint用于加载基础的模型文件，包含了Model、CLIP、VAE三部分

31%

CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入

31%

解码器：VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

37%

采样器：用于控制模型生成图像，不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。

39%

Stable Diffusion的基本原理是通过降噪的方式（如完全的噪声图像），将一个原本的噪声信号变为无噪声的信号（如人可以理解的图像）。其中的降噪过程涉及到多次的采样。采样的系数在KSampler中配置： ​

•
seed：控制噪声产生的随机种子 ​

•
control_after_generate：控制seed在每次生成后的变化 ​

•
steps：降噪的迭代步数，越多则信号越精准，相对的生成时间也越长 ​

•
cfg：classifier free guidance决定了prompt对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。 ​

•
denoise: 多少内容会被噪声覆盖 sampler_name、scheduler：降噪参数。​

61%

1.3
ComfyUI图片生成流程​

画板