Illustrious & NoobAI: Personagens, Prompting, Treino de LoRA

TL;DR

• Illustrious XL (v2.0 STABLE) e NoobAI XL compartilham linhagem. NoobAI faz fine-tune do Illustrious em Danbooru + e621. Ambos reconhecem milhares de personagens de anime nativamente.
• Sintaxe de prompt: escreva uma frase curta em inglês, depois adicione tags Danbooru separadas por vírgula (1girl, red hair, school uniform). NoobAI premia tags de qualidade/estética (masterpiece, best quality).
• LoRA de personagem — ponto de partida: UNET LR 0.0003, TE LR 0.00003 (proporção 10:1), Dim 64 / Alpha 32, otimizador AdamW8bit. Para LoRAs de estilo: UNET LR 0.00025, TE LR 0.00007, Dim 40 / Alpha 20.
• Dataset: 55–60 imagens limpas e consistentes no mínimo. Marque com o tagger integrado do CivitAI ou JoyTag, depois verifique cada legenda.
• Evite: otimizador Prodigy (instável no Illustrious/Pony), AI-Toolkit (comunidade prefere kohya_ss) e usar o nome real do artista como trigger word para LoRAs de estilo.

O Que São Estes Modelos

O Illustrious XL é um derivado open-source do SDXL da OnomaAI Research. Diferente do SDXL base (limitado a 1024×1024), ele gera nativamente em 1536×1536 e entende um formato híbrido de prompt: inglês natural mais tags Danbooru2023. Veja arquitetura, versões e sistema de prompting no site oficial do Illustrious XL. O projeto iterou do v0.1 ao v3.5 VPred; o v2.0 STABLE introduziu recozimento cosseno para renderização mais previsível, com detalhes do checkpoint no Illustrious XL v2.0 no Hugging Face, e é a versão que a maioria dos treinadores de LoRA usa como base. Para mais sobre versões do modelo, veja histórico interno de versões.

O NoobAI XL vem do Laxhar Dream Lab. Veja linhagem, cobertura de tags, linhas ε-pred/v-pred e guia de uso no site oficial do NoobAI XL. Ele pega o Illustrious e continua o treinamento em conjuntos de tags completos do Danbooru + e621, entregando tanto linhas ε-prediction (fluxo SDXL clássico) quanto v-prediction (cores mais ricas, dependente do sampler). A comunidade relata recall mais amplo de tags de artista e cobertura de personagens mais forte quando você guia com tags de estilo em vez de confiar num visual "baked-in".

Quais Personagens Funcionam Sem LoRA

O artigo Illustrious XL (v0.1) Recognized Characters List do Civitai testou personagens de franquias — Marvel, DC, Pokémon, Digimon, Mario, Zelda, Overwatch, Elden Ring, Transformers, Star Wars, Dragon Ball, Star Fox, Undertale, Beastars, League of Legends e mais — usando prompt character_name (franchise) nos checkpoints WAI-illustrious-SDXL e Hoseki. Ele usa código de cor para reconhecimento:

Exemplos reportados como Verde: Homem-Aranha, Homem de Ferro, Deadpool, Superman, Batman, Venom, Mario, Link, Ganondorf, Optimus Prime, Charizard, Lucario, Rayquaza, Kratos, The Mandalorian, Boba Fett. Pokémon e Digimon precisam de tag extra de espécie: pokemon (creature) ou digimon (creature).

O autor observa que, como o Illustrious treina num dataset mais recente que o Pony Diffusion XL, personagens reconhecidos pelo Pony provavelmente também são reconhecidos pelo Illustrious — mas isso é uma inferência, não uma equivalência testada. A lista do Pony (artigo 5102 do Civitai) é maior e melhor mantida; Ponychar.com a acompanha programaticamente.

Sintaxe de Prompt e Ordem das Tags

Illustrious XL (Prompting Híbrido)

1. Frase descritiva — uma ou duas cláusulas: A girl sitting in a cafe, sunlight through the window
2. Tags Danbooru — especificidades separadas por vírgula: 1girl, red hair, school uniform, coffee, blush
3. Âncoras de qualidade (opcional mas comum): masterpiece, best quality, highres

O modelo interpreta ambos simultaneamente. A ordem das tags dentro do bloco Danbooru não importa estritamente para compreensão, mas muitos usuários começam com o assunto (1girl), depois aparência, depois cenário.

NoobAI XL (Fluxo Tag-First)

A documentação do NoobAI recomenda explicitamente começar com tags de qualidade/estética:

masterpiece, best quality, 1girl, red hair, school uniform, cafe, sunlight

Depois adicione tags de personagem e artista para controle de estilo. A linha ε-pred se comporta como SDXL padrão; a linha v-pred precisa de configurações cientes de v-prediction.

Nota: Nomes exatos de samplers v-pred devem ser encontrados na documentação oficial do NoobAI ou testados na prática, pois v-prediction requer samplers configurados para a arquitetura v-pred.

Prompts Negativos (Ambos)

Embeddings negativos padrão de anime funcionam:

worst quality, low quality, bad anatomy, watermark, censored, jpeg artifacts, signature, fewer digits, extra digits, bad hands

Para treino de LoRA de personagem, adicione conflitos de estilo que você não quer que entrem: 3d, cgi, render, plastic skin, glossy, ((3d model)).

Configurações de Treino de LoRA Que Funcionam

As configurações abaixo vêm de dois guias da comunidade (artigo 9148 do Civitai e artigo 31875 do Civitai). Ambos usam kohya_ss; um autor aconselha explicitamente contra AI-Toolkit. Trate estes como pontos de partida — a única forma de saber o que funciona para seu dataset é treinar, inspecionar e ajustar. Para mais guias de treino, veja recursos internos de treino.

LoRA de Personagem (Geral)

Tamanho do arquivo: Dim 64 / Alpha 32 ≈ 70 MB (baseado em LoRA Dim 64/Alpha 32 na escala SDXL por ^[9148]). Para personagens complexos (armadura, roupas intrincadas), alguns treinadores baixam para Dim 48 / Alpha 24.

LoRA de Estilo / Artista

Tamanho do arquivo: Dim 40 / Alpha 20 ≈ 272 MB (reportado por ^[31875]; não verificado independentemente).

Trigger word: Não use o nome real do artista — modelos base já o associam a um estilo. Invente um token único (ex.: style_of_artistname) ou adicione descritores como comic, flat color às legendas onde se aplicam.

Notas Sobre Otimizadores

• AdamW8bit: Eficiente em memória, controle preciso de LR. Recomendado por ambas as fontes. ^[9148], ^[31875]
• AdaFactor (padrão on-site do CivitAI): Cosine com restart, UNET LR 0.0005–0.0003, TE LR 0.00005–0.00003. ^[9148]
• CAME / RAWR: UNET LR 0.0002, TE LR 0.00002, 2500–3000 passos. ^[9148]
• Prodigy: Múltiplos relatos de resultados ruins no Illustrious e Pony; evite a menos que tenha motivo específico. ^[9148]

Preparação do Dataset

1. Quantidade: 55–60 imagens no mínimo para LoRAs de estilo; mais é melhor. ^[31875]
2. Fontes (ranqueadas por preferência da comunidade): Twitter/X → Pixiv → Gelbooru → Rule34.us → hitomi.la / imhentai / pawchive para downloads em massa. Evite sites com rate limit (e621, Rule34.xxx) a menos que tenha ferramentas.
3. Filtro de qualidade: Sem blur, sem cortes, sem ruído, sem outliers de estilo. "Congruência do dataset é o maior fator." ^[31875]
4. Marcação: Use o tagger on-site do CivitAI (gratuito) ou JoyTag (alguns preferem). Exporte legendas como arquivos .txt junto das imagens.
5. Passagem manual: Obrigatória. Revise cada legenda. Tags ruins entram na LoRA e são difíceis de remover.
6. Legendas negativas (LoRAs de personagem): Adicione linha [Negative Prompt] a cada .txt com estilos conflitantes (3d, cgi, render...) para que não vazem no adapter.

Erros Comuns e Correções

Perguntas Frequentes (FAQ)

Como o NoobAI XL difere do Illustrious XL? NoobAI é um fine-tune do Illustrious treinado em tags Danbooru + e621. Oferece linhas ε-pred e v-pred, recall mais profundo de tags de artista e premia tags de qualidade no início do prompt. Illustrious é a tela base mais neutra; NoobAI é o derivado "opinionated".

Que ordem de tags devo usar para prompting no Illustrious? Frase primeiro, depois tags Danbooru: A girl in a cafe, 1girl, red hair, school uniform, coffee. NoobAI prefere tags de qualidade primeiro: masterpiece, best quality, 1girl, red hair...

Como treino uma LoRA de personagem para Illustrious XL? Base: Illustrious v2.0 STABLE. 55–60 imagens limpas. Marque com tagger do CivitAI, verifique manualmente. kohya_ss, AdamW8bit, UNET LR 0.0003, TE LR 0.00003, Dim 64 / Alpha 32, batch 1–4, ~1000–3000 passos. Adicione legendas negativas para conflitos de estilo.

Posso usar LoRAs do Illustrious no NoobAI XL? LustrousMix v2 (Hoseki) foi fundido com modelos NoobAI para compatibilidade. Relatos da comunidade sugerem que a maioria das LoRAs do Illustrious transferem, mas NoobAI v-pred pode precisar ajuste de strength. Teste antes de produção. Veja guia de compatibilidade de LoRA para detalhes.

Qual o tamanho mínimo de dataset para uma LoRA usável? 55–60 imagens para LoRAs de estilo segundo ^[31875]. LoRAs de personagem: sem consenso mínimo; use 55+ imagens para consistência. Mais dados geralmente melhoram fidelidade, mas rank e passos de treino importam mais que contagem bruta isolada.

Por que minha LoRA parece 3D / plástico? Imagens estilo 3D entraram no dataset ou legendas negativas não foram usadas. Adicione 3d, cgi, render, plastic skin, glossy, ((3d model)) às legendas negativas por imagem durante o treino.