Illustrious & NoobAI: Personajes, Prompts, LoRA

TL;DR

• Illustrious XL (v2.0 STABLE) y NoobAI XL comparten línea. NoobAI ajusta Illustrious con tags de Danbooru + e621. Ambos reconocen miles de personajes de anime de forma nativa.
• Sintaxis de prompt: escribe una frase corta en inglés, luego añade tags de Danbooru separados por coma (1girl, red hair, school uniform). NoobAI premia tags de calidad/aestética (masterpiece, best quality).
• Punto de partida para LoRA de personajes: LR UNET 0.0003, LR TE 0.00003 (ratio 10:1), Dim 64 / Alpha 32, optimizador AdamW8bit. Para LoRA de estilo: LR UNET 0.00025, LR TE 0.00007, Dim 40 / Alpha 20.
• Dataset: mínimo 55–60 imágenes limpias y consistentes. Etiqueta con el tagger integrado de CivitAI o JoyTag, luego verifica todos los captions.
• Evitar: optimizador Prodigy (inestable en Illustrious/Pony), AI-Toolkit (la comunidad prefiere kohya_ss) y usar el nombre real de un artista como trigger word en LoRA de estilo.

¿Qué son estos modelos?

Illustrious XL es un derivado open-source de SDXL de OnomaAI Research. A diferencia de base SDXL (limitado a 1024×1024), genera nativamente a 1536×1536 y entiende un formato de prompt híbrido: inglés natural más tags Danbooru2023. El proyecto iteró desde v0.1 hasta v3.5 VPred; v2.0 STABLE introdujo annealing coseno para renderizados más predecibles y es la versión que más entrena LoRA como base. Para versiones del modelo, véase historial interno de versiones.

NoobAI XL viene de Laxhar Dream Lab. Toma Illustrious y continúa entrenamiento con los conjuntos completos de tags de Danbooru + e621, lanzando líneas ε-prediction (flujo de trabajo SDXL clásico) y v-prediction (color más rico, dependiente del sampler). La comunidad reporta mayor recall de tags de artistas y cobertura de personajes más fuerte cuando se guía con tags de estilo en lugar de un look incrustado.

¿Qué personajes funcionan sin LoRA?

El artículo de Civitai "Illustrious XL (v0.1) Recognized Characters List" probó personajes de franquicias — Marvel, DC, Pokémon, Digimon, Mario, Zelda, Overwatch, Elden Ring, Transformers, Star Wars, Dragon Ball, Star Fox, Undertale, Beastars, League of Legends y más — prompteando character_name (franchise) en WAI-illustrious-SDXL y checkers Hoseki. Colorea el reconocimiento:

Ejemplos reportados como Verde: Spider-Man, Iron Man, Deadpool, Superman, Batman, Venom, Mario, Link, Ganondorf, Optimus Prime, Charizard, Lucario, Rayquaza, Kratos, The Mandalorian, Boba Fett. Pokémon y Digimon necesitan un tag extra de especie: pokemon (creature) o digimon (creature).

El autor nota que, como Illustrious entrena con un dataset más reciente que Pony Diffusion XL, los personajes reconocidos por Pony probablemente también sean reconocidos por Illustrious — pero es una inferencia, no una equivalencia probada. La lista de Pony (artículo de Civitai 5102) es más grande y mejor mantenida; Ponychar.com la rastrea programáticamente.

Sintaxis de Prompt y Orden de Tags

Illustrious XL (Prompt Híbrido)

1. Frase descriptiva — una o dos cláusulas: A girl sitting in a cafe, sunlight through the window
2. Tags de Danbooru — especificidades separadas por coma: 1girl, red hair, school uniform, coffee, blush
3. Anclas de calidad (opcional pero común): masterpiece, best quality, highres

El modelo interpreta ambas a la vez. El orden de tags dentro del bloque Danbooru no importa estrictamente para la comprensión, pero muchos usuarios empiezan con el sujeto (1girl), luego el aspecto, luego el entorno.

NoobAI XL (Flujo por Tags Primero)

La documentación de NoobAI recomienda explícitamente empezar con tags de calidad/aestética:

masterpiece, best quality, 1girl, red hair, school uniform, cafe, sunlight

Luego añade tags de personaje y artista para control de estilo. La línea ε-pred funciona como SDXL estándar; la línea v-pred necesita ajustes pensados para v-prediction.

Nota: los nombres exactos de los samplers v-pred deben encontrarse en la documentación oficial de NoobAI o probarse en la práctica, ya que v-prediction requiere samplers configurados para la arquitectura v-pred.

Prompts Negativos (Ambos)

Funcionan embeddings negativos animados estándar:

worst quality, low quality, bad anatomy, watermark, censored, jpeg artifacts, signature, fewer digits, extra digits, bad hands

Para entrenamiento de LoRA de personajes, añade conflictos de estilo que no quieras incrustados: 3d, cgi, render, plastic skin, glossy, ((3d model)).

Ajustes de Entrenamiento de LoRA que Funcionan

Los ajustes siguientes se extraen de dos guías de la comunidad (artículo de Civitai 9148 y artículo de Civitai 31875). Ambos usan kohya_ss; un autor recomienda explícitamente evitar AI-Toolkit. Trata estos como puntos de partida — la única forma de saber qué funciona para tu dataset es entrenar, inspeccionar y ajustar. Para más guías de entrenamiento, véase recursos internos de entrenamiento.

LoRA de Personajes (General)

LoRA de Estilo / Artista

Trigger word: no uses el nombre real del artista — los modelos base ya lo asocian con un estilo. Inventa un token único (por ejemplo, style_of_artistname) o añade descriptores como comic, flat color a los captions donde corresponda.

Notas sobre Optimizadores

• AdamW8bit: eficiente en memoria, control preciso de LR. Recomendado por ambas fuentes. ^[9148], ^[31875]
• AdaFactor (predeterminado en línea de CivitAI): Cosine con restart, LR UNET 0.0005–0.0003, LR TE 0.00005–0.00003. ^[9148]
• CAME / RAWR: LR UNET 0.0002, LR TE 0.00002, 2500–3000 steps. ^[9148]
• Prodigy: múltiples reportes de malos resultados en Illustrious y Pony; evitar sin una razón específica. ^[9148]

Preparación del Dataset

1. Cantidad: 55–60 imágenes mínimo para LoRA de estilo; más es mejor. ^[31875]
2. Fuentes (ordenada por preferencia de la comunidad): Twitter/X → Pixiv → Gelbooru → Rule34.us → hitomi.la / imhentai / pawchive para descargas masivas. Evitar sitios con límite de velocidad (e621, Rule34.xxx) a menos que tengas herramientas.
3. Filtro de calidad: sin desenfoque, sin recortes, sin desorden, sin outliers de estilo. "La congruencia del dataset es el factor más importante." ^[31875]
4. Etiquetado: usa el tagger integrado de CivitAI (gratuito) o JoyTag (algíen prefiere). Exporta los captions como archivos .txt junto a las imágenes.
5. Paso manual: obligatorio. Revisa cada caption. Tags malos se incrustan en la LoRA y son difíciles de quitar.
6. Captions negativas (LoRA de personajes): añade una línea [Negative Prompt] a cada .txt con estilos conflictivos (3d, cgi, render...) para que no se filtren al adaptador.

Errores comunes y soluciones

FAQ

El archivo de LoRA es inesperadamente grande | Reduce la Red Dim; pon Alpha a la mitad de Dim. Véase la tabla Dim/Alpha de arriba. La LoRA de estilo no coincide con el artista previsto | Usa un token trigger único; añade descriptores de estilo (comic, flat color) a los captions. ^[31875] Las generaciones ignoran los tags de Danbooru | Revisa el formato del prompt: Illustrious usa oración + tags; NoobAI prefiere tags de calidad primero. ¿Cómo se llama el modelo base para entrenar una LoRA de personajes para Illustrious XL? | Base: Illustrious v2.0 STABLE. 55–60 imágenes limpias. Etiqueta con el tagger de CivitAI, verifica manualmente. kohya_ss, AdamW8bit, LR UNET 0.0003, LR TE 0.00003, Dim 64 / Alpha 32, batch 1–4, ~1000–3000 steps. Añade captions negativas para conflictos de estilo. ¿Puedo usar LoRA de Illustrious en NoobAI XL? | LustrousMix v2 (Hoseki) fusionó con modelos de NoobAI para compatibilidad. Reportes de la comunidad sugieren que la mayoría de LoRA de Illustrious transfieren, pero NoobAI v-pred puede necesitar ajuste de fuerza. Prueba antes de producción. Véase guía de compatibilidad de LoRA para detalles. ¿Cuál es el tamaño mínimo de dataset para una LoRA usable? | 55–60 imágenes para LoRA de estilo según ^[31875]. LoRA de personajes: sin mínimo consensuado; usa 55+ imágenes para consistencia. Más datos suele mejorar la fidelidad, pero el rank y los steps de entrenamiento importan más que el recuento crudo.

Sources