本地部署Stable Diffusion完整教程：从环境配置到模型训练一站式指南

为什么选择本地部署Stable Diffusion？

本地部署Stable Diffusion让你拥有完全的控制权：无需订阅费用、不受API限制、可以训练自定义模型、保护隐私。本文将带你从零开始，完成Stable Diffusion的完整本地部署。

硬件要求

环境配置

第一步：安装Python和CUDA

# 安装Python 3.10+（推荐conda管理）
conda create -n sd python=3.10
conda activate sd

# 安装CUDA（NVIDIA GPU用户）
conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

第二步：选择WebUI

目前主流的Stable Diffusion WebUI有三个选择：

• Automatic1111 (A1111)：功能最丰富，插件生态最好
• ComfyUI：节点式工作流，灵活性最高
• Fooocus：最简单上手，Midjourney风格

第三步：安装Automatic1111

# 克隆仓库
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui

# 启动（Linux/macOS）
./webui.sh

# 启动（Windows）
webui-user.bat

首次启动会自动下载依赖，完成后访问 http://localhost:7860 即可使用。

模型下载与管理

基础模型

从Civitai或Hugging Face下载基础模型（checkpoint），放入 models/Stable-diffusion 目录：

• SD 1.5系列：兼容性好，资源占用低
• SDXL系列：画质更好，默认1024×1024分辨率
• Flux系列：最新架构，画质最佳但资源需求高

LoRA模型

LoRA是轻量级微调模型，可以快速改变生成风格：

# LoRA文件放入 models/Lora 目录
# 在WebUI中使用：
# 提示词中添加 <lora:model_name:0.8>

提示词工程基础

高质量的提示词是生成好图的关键。以下是SD提示词的基本结构：

# 正向提示词（想要的内容）
masterpiece, best quality, 1girl, sitting in a garden, cherry blossoms, soft lighting

# 反向提示词（不想要的内容）
worst quality, low quality, normal quality, blurry, deformed, ugly

# 参数设置
Steps: 20-30
CFG Scale: 7
Sampler: DPM++ 2M Karras
Size: 512x512 (SD1.5) / 1024x1024 (SDXL)

训练自定义LoRA模型

准备训练数据

• 收集15-50张高质量图片
• 统一分辨率（512×512或1024×1024）
• 为每张图片编写描述性caption

使用Kohya_ss训练

# 安装Kohya_ss
git clone https://github.com/bmaltais/kohya_ss
cd kohya_ss
./setup.sh

# 配置训练参数
# - 基础模型：sd_xl_base_1.0.safetensors
# - 训练步数：1000-2000
# - 学习率：1e-4
# - 批次大小：1-4（根据显存调整）

高级技巧

ControlNet精准控制

ControlNet允许你通过姿态、深度图、线稿等条件精确控制生成结果：

• OpenPose：控制人物姿态
• Canny/Lineart：基于线稿生成
• Depth：基于深度图控制空间关系
• IP-Adapter：基于参考图的风格迁移

高清修复（Hires Fix）

先生成低分辨率图像，再放大并细化，可以显著提升画质：

# 在WebUI中启用Hires Fix
Hires steps: 12-20
Upscaler: R-ESRGAN 4x+
Denoising strength: 0.4-0.6

常见问题

• OOM（显存不足）：添加 –medvram 或 –lowvram 参数启动
• 生成速度慢：启用xformers加速（conda install xformers）
• 模型加载失败：检查模型文件是否完整下载

通过本文的完整指南，你可以在本地搭建一个功能强大的Stable Diffusion图像生成系统，从基础使用到自定义训练，满足各种创作需求。