Guia de treinamento SDXL LoRA: lições de 10 modelos lançados

Este guia de treinamento SDXL LoRA sintetiza lições de dez criadores que publicaram LoRAs fotorrealistas no Civitai. SDXL LoRAs oferecem qualidade superior ao SD1.5, mas são menos tolerantes – a escolha do conjunto de dados, o estilo de legenda e os hiperparâmetros são mais importantes.

DR

• Use ViT-g-14-laion2B-s34B-b88K para legendas SDXL via clip-interrogator-ext
• Mínimo de 30 imagens diversas (preferencialmente 50) com resolução ≥1024×1024
• Classificação da rede: 256/128/64 para semelhança, 16/32 para estilo/conceito
• Taxa de aprendizagem: 0,0012 para poses/conceitos, 2e-6 para semelhança (o mesmo para TE/UNET)
• Agendador Constante + AdamW8Bit; pare na época 5 para semelhança
• Adicione regularização FFHQ para preservar o conhecimento geral da face
• Exemplos de prompts = legendas de imagens; resolução máxima de 768×1024

Guia de treinamento SDXL LoRA: princípios básicos

SDXL foi treinado em imagens 1024×1024 com dois codificadores de texto: CLIP ViT-L/14 e OpenCLIP ViT-bigG/14. Isso proporciona melhor alinhamento imediato do que SD1.5, mas torna os LoRAs mais sensíveis à qualidade dos dados, precisão da legenda e hiperparâmetros.

A menor capacidade do SD1.5 tolerou dados mais desleixados, mas produziu menos detalhes. Os LoRAs SDXL exigem mais atenção, mas oferecem resultados superiores quando treinados corretamente. Para informações arquitetônicas, consulte nosso Arquitetura SDXL explicada guia.

Escolhendo seu conjunto de dados de treinamento

Requisitos de resolução

A resolução nativa do SDXL é 1024×1024. As imagens de treinamento devem corresponder ou exceder isso.

• Dimensione a menor dimensão para exatamente 1024 pixels
• Preservar proporção – retrato ~1024×1536px, paisagem ~1536×1024px
• Usuários do Windows: Microsoft Powertoys adiciona predefinições de redimensionamento com o botão direito

Tamanho e diversidade do conjunto de dados

Conjuntos de dados pequenos (<30 imagens) produzem “pesos vagos” onde atributos indesejados se combinam. Dois criadores independentes relatam 30 imagens como mínimo para modelos de semelhança fotorrealistas.

Resultados documentados de um criador com 30 imagens:

• 20 repetições/época (600 amostras/época)
• 22 minutos no total no RTX 4090
• Época 5 ótima; overtraining depois

Consenso:

• Mínimo: 30 imagens diversas
• Recomendado: 50+ para robustez
• Veja nosso lista de verificação de preparação do conjunto de dados de treinamento

Imagens de regularização para treinamento de semelhança

Imagens de regularização evitam “desvios de linguagem” – perda de conhecimento geral da classe. Técnica do artigo DreamBooth (Ruiz et al., 2022) arXiv:2208.12242.

FFHQ oferece 70.000 faces diversas de 1024×1024 – ideal para semelhança fotorrealista. O conjunto de dados inclui diversidade de idade, etnia e origem.

git clone https://github.com/NVlabs/ffhq-dataset
cd ffhq-dataset
python download_ffhq.py -i

Legende imagens FFHQ usando o mesmo método do conjunto de dados primário.

Gerando legendas precisas

Por que as legendas baseadas em tags são importantes para SDXL

A legendagem baseada em tags se alinha com a representação interna do SDXL porque LAION-B usa tags separadas por vírgula junto com a linguagem natural. O BLIP gera descrições de formato livre; Os taggers WD14 produzem o formato separado por vírgula.

Durante o treinamento LoRA, as legendas baseadas em tags fornecem controle explícito do conceito e reduzem as alucinações. A maioria dos criadores de SDXL LoRA prefere abordagens baseadas em tags para obter consistência.

Ferramentas de legendagem recomendadas

ViT-g-14-laion2B-s34B-b88K via interrogador CLIP:

Uma fonte identifica este modelo CLIP como alinhado com o codificador de texto de pré-treinamento do SDXL. A extensão clip-interrogator-ext para Stable Diffusion WebUI fornece legendas em lote. Em VRAM ≤24 GB, descarregue primeiro o ponto de verificação SD para a RAM. Use o modo “rápido” – raramente é necessária revisão manual.

Modelos WD14 SmilingWolf:

Dois modelos confirmados em Hugging Face suportam classificações, personagens e tags gerais: Modelo | Transferências | Notas

|---|---|---

wd-v1-4-convnextv2-tagger-v2 | 239 | ConvNextV2 wd-convnext-tagger-v3 | 955 | compatível com Timm, ONNX Tagger v3 treinado em imagens Danbooru. Um criador executa todos os três modelos SmilingWolf simultaneamente e usa "Append TAGs" de Kohya-ss para evitar duplicatas.

Exemplos de solicitações durante o treinamento

Usar prompts idênticos às legendas economiza tempo e diagnostica problemas de dados. Uma fonte recomenda:

• Copie legendas de 2 a 4 imagens de treinamento como exemplos
• Mesma semente, CFG, resolução para cada
• Nenhum aviso negativo
• Máx. 768×1024 – maior causa troca/lentidão

Hiperparâmetros de treinamento

Taxas de aprendizagem

Uma fonte relata uma ampla variedade por tipo de LoRA:

Pose/Conceito (0,0012): LR mais alta para conceitos/estilos abstratos; treinar <2.000 passos Semelhança (2e-6): LR inferior para sujeitos; treinar >1.500 passos

Codificador de texto e UNET: Defina ambos os LRs iguais ao LR escolhido para adaptação balanceada.

Otimizador e Agendador

Uma fonte considera Constant Scheduler + AdamW8Bit mais consistente. Constante mantém LR fixo; AdamW8Bit tem uso eficiente de memória e é mais rápido em hardware de consumo.

Configuração de rede

A classificação da rede determina a capacidade. Recomendações de uma fonte: Tipo LoRA | Classificação da rede | Alfa

|---|---|---

Semelhança | 256, 128, 64 | 1 Estilo/Conceito | 16, 32 | 1 Alpha=1 em todas as configurações.

Referência rápida de configurações

Configuração | Pose/Conceito | Semelhança | Fonte

|---|---|---|---

Taxa de aprendizagem | 0,0012 | 2e-6 | Civitai 3701 Classificação da rede | 16 ou 32 | 64, 128, 256 | Civitai 3701 Rede alfa | 1 | 1 | Civitai 3701 Otimizador | AdamW8Bit | AdamW8Bit | Civitai 3701 Agendador | Constante | Constante | Civitai 3701 Sincronização TE/UNET LR | Sim | Sim | Civitai 3701 Resolução de amostra | 768×1024 máx. | 768×1024 máx. | Civitai 3701 Ponto ideal da época | Varia | 5 | Civitai 9205 Tamanho do conjunto de dados | 30 min, 50+ rec. | 30 min, 50+ rec. | Civitai 3701, 9205

Portabilidade de SDXL para SD1.5

Reduza os dados de treinamento em 50%, aplique as configurações SD1.5. Qualidade inferior ao SDXL nativo, mas mais fácil – útil para hardware mais antigo/geração mais rápida. Veja nosso Guia de migração de SDXL para SD1.5.

Erros e correções comuns

Gerenciamento de VRAM

Problema: Legendas ficam lentas/travam Correção: Configurações da WebUI → Ações → "Descarregar ponto de verificação SD na RAM" antes da legenda (≤24 GB VRAM)

Exemplo de incompatibilidade de prompt

Problema: as amostras não correspondem às imagens de treinamento Correção: Verifique manualmente de 2 a 4 legendas; ajustar conjunto de dados

Sobreajuste/treinamento excessivo

Problema: Apenas exemplos de treinamento exatos são gerados Correção: Mais regularização FFHQ, menos repetições, parada na época 3–4

Troca de resolução

Problema: O treinamento para em alta resolução de amostra Correção: Limitar amostras em 768×1024; monitorar VRAM

Perguntas frequentes

Qual taxa de aprendizagem para treinamento SDXL LoRA?

Pose/conceito: 0,0012, <2.000 passos. Semelhança: 2e-6, >1.500 passos. TE/UNET LR = LR escolhido.

Quantas imagens para SDXL LoRA fotorrealista?

Mínimo 30 diversos. Melhor: 50+. Os retratos precisam de mais diversidade; estilo/conceito funcionam com menos.

Marcador BLIP ou WD14 para legendas SDXL?

Os taggers WD14 produzem tags separadas por vírgula que correspondem ao formato de treinamento do SDXL. Modelos SmilingWolf amplamente utilizados. O interrogador CLIP com ViT-g-14-laion2B-s34B-b88K é uma alternativa.

Melhor otimizador para treinamento SDXL LoRA?

Constant Scheduler + AdamW8Bit — mais comumente recomendado entre as fontes.

Como prevenir o overtraining?

Monitore a qualidade da amostra. Semelhança: pare na época 5 por uma fonte. Degradação → reiniciar com menos repetições/LR inferior. A regularização FFHQ ajuda.

Qual resolução para imagens de treinamento SDXL?

Mínimo 1024×1024. Menor dimensão = 1024px, preserve a proporção (retrato ~1024×1536px, paisagem ~1536×1024px).

Regularização necessária para LoRAs de estilo/conceito?

Uma fonte: útil para semelhança, “muito menos necessária para outras categorias”.

Fontes

Fonte | Contribuição

|---|---

Civitai 3701 | retrospectiva de 10 modelos de jiwenji - LR, classificação, agendador, FFHQ, portabilidade Civitai 9205 | Guia Unshackled_AI – conjunto de dados, legendas WD14, época 5, tempo RTX 4090 Conjunto de dados FFHQ | 70.000 faces de 1024×1024, baixe o script -i sinalizador-i clipe-interrogador-ext | Extensão WebUI para CLIP Interrogator Inspetor LoRA | Inspecione pesos LoRA e parâmetros de treinamento Gerenciador de tags do conjunto de dados Booru | Editor de tags para conjuntos de dados de treinamento wd-v1-4-convnextv2-tagger-v2 | Tagger WD14 – classificações, personagens, tags gerais wd-convnext-tagger-v3 | Marcador WD14 v3 — compatível com timm, ONNX Kohya-ss/sd-scripts | Repositório de script de treinamento SDXL LoRA