Guía de capacitación de SDXL LoRA: lecciones de 10 modelos lanzados

Esta guía de formación SDXL LoRA sintetiza las lecciones de diez creadores que publicaron LoRA fotorrealistas en Civitai. Los SDXL LoRA ofrecen mayor calidad que los SD1.5, pero son menos indulgentes: la elección del conjunto de datos, el estilo de los subtítulos y los hiperparámetros son más importantes.

TL;DR

• Utilice ViT-g-14-laion2B-s34B-b88K para subtítulos SDXL a través de clip-interrogator-ext
• Mínimo 30 imágenes diversas (preferiblemente 50) con una resolución ≥1024×1024
• Rango de red: 256/128/64 por semejanza, 16/32 por estilo/concepto
• Tasa de aprendizaje: 0,0012 para poses/conceptos, 2e-6 para semejanza (lo mismo para TE/UNET)
• Programador constante + AdamW8Bit; deténgase en la época 5 para ver la semejanza
• Agregue la regularización de FFHQ para preservar el conocimiento facial general
• Indicaciones de muestra = títulos de imágenes; resolución máxima de 768 × 1024

Guía de capacitación de SDXL LoRA: principios básicos

SDXL se entrenó en imágenes de 1024×1024 con dos codificadores de texto: CLIP ViT-L/14 y OpenCLIP ViT-bigG/14. Esto proporciona una mejor alineación rápida que SD1.5, pero hace que los LoRA sean más sensibles a la calidad de los datos, la precisión de los subtítulos y los hiperparámetros.

La menor capacidad del SD1.5 toleraba datos más descuidados pero producía menos detalles. Los SDXL LoRA exigen más atención pero ofrecen resultados superiores cuando se entrenan correctamente. Para conocer los antecedentes arquitectónicos, consulte nuestro Arquitectura SDXL explicada guía.

Elegir su conjunto de datos de entrenamiento

Requisitos de resolución

La resolución nativa de SDXL es 1024×1024. Las imágenes de entrenamiento deben igualar o superar esto.

• Escale la dimensión más pequeña a exactamente 1024 píxeles
• Preservar la relación de aspecto: retrato ~1024×1536px, paisaje ~1536×1024px
• Usuarios de Windows: Microsoft Powertoys agrega ajustes preestablecidos de cambio de tamaño con el botón derecho

Tamaño y diversidad del conjunto de datos

Los conjuntos de datos pequeños (<30 imágenes) producen "pesos con fugas" donde se combinan atributos no deseados. Dos creadores independientes informan que 30 imágenes son el mínimo para modelos de semejanza fotorrealistas.

Resultados documentados de un creador con 30 imágenes:

• 20 repeticiones/época (600 muestras/época)
• 22 minutos en total en RTX 4090
• Época 5 óptima; sobreentrenamiento después

Consenso:

• Mínimo: 30 imágenes diversas
• Recomendado: 50+ para robustez
• Vea nuestro lista de verificación de preparación del conjunto de datos de entrenamiento

Imágenes de regularización para entrenamiento de semejanza

Las imágenes de regularización evitan la "desviación del lenguaje", es decir, la pérdida de conocimientos generales de la clase. Técnica del artículo DreamBooth (Ruiz et al., 2022) arXiv:2208.12242.

FFHQ proporciona 70.000 rostros diversos de 1024 × 1024, ideal para imágenes fotorrealistas. El conjunto de datos incluye diversidad en edad, origen étnico y origen.

git clone https://github.com/NVlabs/ffhq-dataset
cd ffhq-dataset
python download_ffhq.py -i

Subtitula imágenes FFHQ utilizando el mismo método que tu conjunto de datos principal.

Generando subtítulos precisos

Por qué los subtítulos basados ​​en etiquetas son importantes para SDXL

Los subtítulos basados ​​en etiquetas se alinean con la representación interna de SDXL porque LAION-B utiliza etiquetas separadas por comas junto con lenguaje natural. BLIP genera descripciones de formato libre; Los etiquetadores WD14 producen el formato separado por comas.

Durante el entrenamiento de LoRA, los subtítulos basados ​​en etiquetas brindan un control conceptual explícito y reducen las alucinaciones. La mayoría de los creadores de SDXL LoRA prefieren enfoques basados ​​en etiquetas para mantener la coherencia.

Herramientas de subtítulos recomendadas

ViT-g-14-laion2B-s34B-b88K mediante interrogador CLIP:

Una fuente identifica este modelo CLIP como alineado con el codificador de texto de preentrenamiento de SDXL. La extensión clip-interrogator-ext para Stable Diffusion WebUI proporciona subtítulos por lotes. En VRAM ≤24 GB, primero descargue el punto de control SD a la RAM. Utilice el modo "rápido": rara vez se necesita revisión manual.

Modelos WD14 SmilingWolf:

Dos modelos confirmados en Hugging Face admiten calificaciones, personajes y etiquetas generales: Modelo | Descargas | Notas

|---|---|---

wd-v1-4-convnextv2-tagger-v2 | 239 | ConvSiguienteV2 wd-convnext-tagger-v3 | 955 | compatible con timm, ONNX Tagger v3 entrenado en imágenes de Danbooru. Un creador ejecuta los tres modelos de SmilingWolf simultáneamente y utiliza "Agregar ETIQUETAS" de Kohya-ss para evitar duplicados.

Ejemplos de indicaciones durante el entrenamiento

El uso de indicaciones idénticas para los subtítulos ahorra tiempo y diagnostica problemas de datos. Una fuente recomienda:

• Copie títulos de 2 a 4 imágenes de entrenamiento como muestras
• Misma semilla, CFG, resolución para cada uno
• Sin mensaje negativo
• Máx. 768 × 1024: un valor más alto provoca intercambio/desaceleración

Hiperparámetros de entrenamiento

Tasas de aprendizaje

Una fuente informa una amplia gama por tipo de LoRA:

Pose/Concepto (0,0012): LR más alto para conceptos/estilos abstractos; entrenar <2000 pasos Semejanza (2e-6): LR inferior para los sujetos; entrenar >1.500 pasos

Codificador de texto y UNET: Establezca ambos LR iguales al LR elegido para una adaptación equilibrada.

Optimizador y programador

Una fuente considera que Constant Scheduler + AdamW8Bit es el más consistente. Constante mantiene LR fijo; AdamW8Bit ahorra memoria y es más rápido en hardware de consumo.

Configuración de red

El rango de la red determina la capacidad. Recomendaciones de una fuente: Tipo LoRA | Rango de red | Alfa

|---|---|---

Semejanza | 256, 128, 64 | 1 Estilo/Concepto | 16, 32 | 1 Alfa=1 en todas las configuraciones.

Referencia rápida de configuración

Configuración | Pose/Concepto | Semejanza | Fuente

|---|---|---|---

Tasa de aprendizaje | 0,0012 | 2e-6 | Civitai 3701 Rango de red | 16 o 32 | 64, 128, 256 | Civitai 3701 Red alfa | 1 | 1 | Civitai 3701 Optimizador | AdánW8Bit | AdánW8Bit | Civitai 3701 Programador | Constante | Constante | Civitai 3701 Sincronización TE/UNET LR | Sí | Sí | Civitai 3701 Resolución de muestra | 768×1024 máx. | 768×1024 máx. | Civitai 3701 Punto ideal de la época | Varía | 5 | Civitai 9205 Tamaño del conjunto de datos | 30 min, 50+ rec. | 30 min, 50+ rec. | Civitai 3701, 9205

Portabilidad de SDXL a SD1.5

Reduzca los datos de entrenamiento en un 50 %, aplique la configuración SD1.5. Menor calidad que el SDXL nativo pero más fácil: útil para hardware antiguo o de generación más rápida. Vea nuestro Guía de migración de SDXL a SD1.5.

Errores y soluciones comunes

Gestión de VRAM

Problema: Los subtítulos son lentos o fallan Solución: Configuración de WebUI → Acciones → "Descargar punto de control SD a RAM" antes de subtitular (≤24 GB de VRAM)

Ejemplo de discrepancia en el mensaje

Problema: Las muestras no coinciden con las imágenes de entrenamiento. Solución: Verifique manualmente entre 2 y 4 subtítulos; ajustar el conjunto de datos

Sobreajuste/Sobreentrenamiento

Problema: Solo se generan ejemplos de capacitación exactos Solución: Más regularización de FFHQ, menos repeticiones, parada en la época 3-4

Intercambio de resolución

Problema: El entrenamiento se detiene con una resolución de muestra alta Solución: Limitar muestras a 768×1024; monitorear VRAM

Preguntas frecuentes

¿Qué tasa de aprendizaje para el entrenamiento SDXL LoRA?

Pose/concepto: 0,0012, <2000 pasos. Semejanza: 2e-6, >1.500 pasos. TE/UNET LR = LR elegido.

¿Cuántas imágenes para SDXL LoRA fotorrealista?

Mínimo 30 diversos. Mejor: 50+. Los retratos necesitan más diversidad; El estilo/concepto funciona con menos.

¿Etiquetado BLIP o WD14 para subtítulos SDXL?

Los etiquetadores WD14 producen etiquetas separadas por comas que coinciden con el formato de entrenamiento de SDXL. Modelos SmilingWolf ampliamente utilizados. El interrogador CLIP con ViT-g-14-laion2B-s34B-b88K es una alternativa.

¿El mejor optimizador para el entrenamiento SDXL LoRA?

Constant Scheduler + AdamW8Bit: la más comúnmente recomendada entre las fuentes.

¿Cómo prevenir el sobreentrenamiento?

Monitorear la calidad de la muestra. Semejanza: deténgase en la época 5 por una fuente. Degradación → reiniciar con menos repeticiones/LR más bajo. La regularización de FFHQ ayuda.

¿Qué resolución para las imágenes de entrenamiento SDXL?

Mínimo 1024×1024. Dimensión más pequeña = 1024 px, conservar la relación de aspecto (retrato ~1024 × 1536 px, paisaje ~1536 × 1024 px).

¿Se necesita regularización para los LoRA de estilo/concepto?

Una fuente: útil para la semejanza, "mucho menos necesaria para otras categorías".

Fuentes

Fuente | Contribución

|---|---

Civitai 3701 | Retrospectiva de los 10 modelos de Jiwenji: LR, rango, planificador, FFHQ, portabilidad Civitai 9205 | Guía Unshackled_AI: conjunto de datos, subtítulos WD14, época 5, temporización RTX 4090 conjunto de datos FFHQ | 70.000 caras 1024×1024, descargar script -i flag-i clip-interrogador-ext | Extensión WebUI para CLIP Interrogator Inspector LoRA | Inspeccionar pesos LoRA y parámetros de entrenamiento Administrador de etiquetas de conjunto de datos Booru | Editor de etiquetas para conjuntos de datos de entrenamiento wd-v1-4-convnextv2-tagger-v2 | Etiquetador WD14: clasificaciones, caracteres, etiquetas generales wd-convnext-tagger-v3 | Etiquetador WD14 v3: compatible con timm, ONNX Kohya-ss/sd-scripts | Repositorio de scripts de entrenamiento SDXL LoRA