Treinar um LoRA Z-Image Turbo

TL;DR

• Dataset: 9–20 imagens diversas superam conjuntos maiores e uniformes; captions são opcionais — tags funcionam sem restrições.
• Precisão: A quantização fp8 (qfloat8) reduz a VRAM em ~50% vs bf16; placas de 16 GB conseguem treinar com low_vram: true; são necessários 24 GB+ para treinamento sem quantização.
• Adapter: Você precisa carregar o adapter de de-distilação do Ostris (ostris/zimage_turbo_training_adapter), ou o LoRA perde a velocidade de 8 passos.
• Configurações que diferem de Flux/SDXL: arch: zimage:turbo, sigmoid timestep (weighted), sem negative prompts, prompts em linguagem natural preferidos.

O que é Z-Image Turbo e por que o treinamento difere?

Z-Image Turbo é um difusion transformer de fluxo único (S3-DiT) de 6 bilhões de parâmetros, do Tongyi Lab (Alibaba), destilado para 8 passos de inferência via Decoupled-DMD [^1]. O modelo Z-Image base suporta classifier-free guidance (CFG), negative prompts e 28–50 passos; o Turbo descarta os três para ganhar velocidade [^2].

Como o modelo já está destilado, o fine-tuning padrão de LoRA quebra a destilação: o modelo "retorna a exigir mais passos de inferência" [^3]. A solução é um adapter de treinamento de de-distilação — um LoRA pré-treinado que já aprendeu a reverter a destilação. Você treina seu LoRA em cima desse adapter e depois o descarta na inferência.

Hardware e precisão: qual VRAM você realmente precisa?

Configuração | VRAM (prática) | Notas | Source

|---------------|------------------|-------|--------

Sem quantização (NONE) | 24 GB+ | "If you have over 24GB of VRAM you should be good to go with 'NONE'" [^4] | [^4] fp8 / qfloat8 (padrão) | 16–20 GB | quantize: true, qtype: qfloat8, dtype: bf16 reduz a VRAM em ~50% [^5] | [^5] fp8 + flag low_vram | 12–16 GB | low_vram: true habilita offload de CPU para ativações [^5] | [^5]

A card oficial de inferência afirma que o Turbo "cabe confortavelmente em dispositivos de consumo com 16G de VRAM" [^1]. Treinamento é mais pesado; configs da comunidade usam fp8 como padrão para todas as GPUs [^5]. Um guia afirma que "float8 seria mais lento" [^4]; configs usam qtype: qfloat8 com quantize: true como padrão para todas as GPUs [^5].

Diferença-chave do Flux/SDXL: Esses modelos normalmente treinam em bf16 ou fp16. As configs do Z-Image Turbo usam como padrão quantização fp8 tanto para o transformer quanto para o text encoder (quantize_te: true, qtype_te: qfloat8), porque a destilação é sensível à deriva de precisão.

Adapter de treinamento: v1 vs v2

O repositório do Ostris hospeda ostris/zimage_turbo_training_adapter com dois arquivos [^3]:

• zimage_turbo_training_adapter_v1.safetensors — estável, amplamente utilizado
• zimage_turbo_training_adapter_v2.safetensors — "em testes" segundo um guia [^6]; não existe changelog público

No AI Toolkit você o referencia via assistant_lora_path: ostris/zimage_turbo_training_adapter/zimage_turbo_training_adapter_v1.safetensors [^5]. Se você omitir o adapter, a destilação se desfaz "muito rapidamente" e "de forma imprevisível" [^3].

Dataset: tamanho, captions e diversidade

Fator | Recomendação | Evidência | Source

|--------|----------------|----------|--------

Número de imagens | 9–20 | "9 images (variety in angles and outfits helps)" e "20 is more than fine" [^6][^7] | [^6][^7] Captions | Opcional | "Yes, you can train ZIT Loras on tags instead of captions. No caveats. It works." [^8] | [^8]

Captions em linguagem natural podem gerar melhor aderência ao prompt; um guia observa "Use long, detailed, coherent natural language descriptions... The model responds much better to full sentences and paragraphs" [^8]. Para captioning local sem limites de upload, a extensão JoyCaption do ComfyUI suporta siglip-so400m-patch14-384, Meta-Llama-3.1-8B-bnb-4bit e joy-caption-pre-alpha [^9].

Configurações do AI Toolkit que realmente importam

Estes são os parâmetros não-padrão em que configs da comunidade e guias concordam [^5][^7][^6]:

Configuração | Valor | Por que difere de Flux/SDXL

|---------|-------|-------------------------------

arch | zimage:turbo | Arquitetura específica do modelo assistant_lora_path | ostris/zimage_turbo_training_adapter/...v1.safetensors | Necessário para preservar a destilação de 8 passos timestep_type | weighted (sigmoid) | Modelos destilados concentram sinal em timesteps específicos cache_text_embeddings | true | Acelera passes forward repetidos lr | 0.0001 (1e-4) | "Increasing it could cause it to crash" [^7] steps | 3000 | "Landed around ~1 hour on a 5090" [^6]; conceito emerge em 1000–1500 [^6] resolution | [512, 768, 1024] | Buckets multi-resolução; UI padrão é 1024×1024 [^6] linear / linear_alpha | 16 ou 32 (igual) | Rank do LoRA; nenhuma comparação sistemática publicada quantize / qtype | true / qfloat8 | fp8 para memória; dtype permanece bf16 sample_every | 250 | Intervalo de preview sample_lora_weight | 0.7–1.0 | "To see how strong it hits" [^6]

Trigger word: Deve aparecer em todos os prompts de amostra ou "early samples look like the base model and it's hard to tell what's working" [^6].

O que difere do treinamento de Flux e SDXL

Aspecto | Flux / SDXL | Z-Image Turbo

|--------|-------------|---------------

Destilação | Nenhuma (passo completo) | Decoupled-DMD de 8 passos Adapter de treinamento | Não necessário | Obrigatório (de-distila) Amostragem de timestep | Uniforme / logit-normal | Sigmoid (weighted) Negative prompts | Suportados | Não suportados — guidance_scale=0.0 [^2] CFG | Utilizado | Não utilizado Estilo de prompt | Tag soup funciona | Linguagem natural preferida [^8] Padrão de quantização | bf16 / fp16 | fp8 (qfloat8) para transformer + TE VRAM (treinamento, placa de 24 GB) | Confortável em bf16 | fp8 recomendado; "Illustrious costs way less VRAM than ZIT" [^8]

Um guia afirma "Train it the same way as Illustrious" [^8], mas as diferenças de configuração acima são estruturais — não opcionais.

Erros comuns e soluções

Sintoma | Causa | Solução | Source

|---------|-------|-----|--------

Treinamento trava / OOM | LR muito alta ou VRAM excedida | Mantenha LR em 1e-4; ative fp8 (quantize: true, qtype: qfloat8); adicione low_vram: true | [^7] Amostras iniciais = modelo base | Trigger word ausente nos prompts | Inclua trigger word em todos os prompts de amostra | [^6] Conceito não aprendido até 2000 passos | Dataset muito uniforme | Aumente a variedade de poses/ângulos/roupas | [^6] Artefatos estranhos no fundo | Overfitting ou quebra da destilação | Reduza passos; verifique se o adapter carregue; tente LoRA weight 0.7–0.8 | [^6] LoRA precisa de >8 passos na inferência | Destilação quebrou (treinamento longo sem adapter) | Retreine com adapter; pare em 3000 passos | [^3]

FAQ

Quanto de VRAM preciso para treinar um LoRA Z-Image Turbo?

Com quantização fp8 (quantize: true, qtype: qfloat8) e low_vram: true, 12–16 GB funciona. Treinamento sem quantização precisa de 24 GB+. O requisito oficial de inferência é 16 GB [^1].

O que é o adapter de treinamento Z-Image Turbo e por que preciso dele?

É um LoRA pré-treinado (ostris/zimage_turbo_training_adapter) que "de-destila" o modelo. Treinar seu LoRA em cima dele preserva a velocidade de 8 passos. Sem ele, "the distillation breaks down very quickly" [^3].

Posso treinar Z-Image Turbo em tags em vez de captions?

Sim. "No caveats. It works." [^8] Captions em linguagem natural podem gerar melhor aderência ao prompt; um guia observa "Use long, detailed, coherent natural language descriptions... The model responds much better to full sentences and paragraphs" [^8].

Por que meu LoRA Z-Image Turbo precisa de mais passos de inferência após o treinamento?

A destilação quebrou. Isso acontece quando se treina por muito tempo sem o adapter, ou com learning rate alta. Retreine com o adapter e limite a 3000 passos [^3][^6].

Qual a diferença entre adapter de treinamento v1 e v2?

v1 é estável; v2 está "em testes" sem changelog público [^6]. Use v1 a menos que esteja experimentando.

Negative prompts funcionam com Z-Image Turbo?

Não. A card do modelo lista explicitamente "Negative Prompting: ❌" para o Turbo [^2]. Não os inclua em prompts ou configs de amostra.

Quantos passos de treinamento devo usar?

3000 é o padrão da comunidade (~1 hora em RTX 5090) [^6]. O conceito tipicamente emerge em 1000–1500 passos [^6]. Não há dados publicados sobre retornos decrescentes além de 3000.

Posso usar o template Ostris no RunPod para treinar?

Sim. O template oficial do AI Toolkit está disponível no RunPod [^6]. Selecione-o, escolha sua GPU (RTX 5090 usado em execuções publicadas) e faça deploy.

Fontes

1. Z-Image Turbo model card — arquitetura, destilação, VRAM, suporte CFG/negative prompt — https://huggingface.co/Tongyi-MAI/Z-Image-Turbo
2. Z-Image base model card — tabela comparativa (CFG, passos, negative prompting, diversidade) — https://huggingface.co/Tongyi-MAI/Z-Image
3. Ostris training adapter card — mecanismo de de-distilação, alerta de quebra da destilação — https://huggingface.co/ostris/zimage_turbo_training_adapter
4. Ostris AI Toolkit repo — lista de modelos suportados inclui Z-Image Turbo e base — https://github.com/ostris/ai-toolkit
5. CitronLegacy config generator — YAML completo com fp8, sigmoid timestep, caminho do adapter, buckets de resolução — https://github.com/citronlegacy/ai-toolkit-zimage-config-generator/blob/main/example_configs/zimage_AnubisCitronOC_ZIT_v3.yaml
6. Civitai: "Here's how to Quickly Train a Z-Image Turbo LoRA" — teste com 9 imagens, 3000 passos, 1 hr em 5090, adapter v1/v2, trigger word, configs de amostra — https://civitai.com/articles/23233/heres-how-to-quickly-train-a-z-image-turbo-lora
7. Civitai: "Z Image Turbo - Character LoRA Training Guide" — dataset de 20 imagens, 19 prompts neutros, sigmoid timestep, cache embeddings, alerta de LR, nota de VRAM 24 GB — https://civitai.com/articles/23842/z-image-turbo-character-lora-training-guide-easy-how-to-guide
8. Civitai: "Z Image Turbo (ZIT) Anime Lora Training Experience" — tags vs captions, prompting em linguagem natural, comparação de VRAM com Illustrious, falhas com datasets pequenos — https://civitai.com/articles/24472/z-image-turbo-zit-anime-lora-training-experience
9. Civitai: "Z-Image Turbo LoRA training with AI Toolkit and Z-Image ControlNet" — capítulos ControlNet Union, modelo FP8 escalado 5.7 GB — https://civitai.com/articles/23314/z-image-turbo-lora-training-with-ai-toolkit-and-z-image-controlnet-full-tutorial-for-highest-quality
10. arXiv:2511.22699 — paper do Z-Image, custo de treinamento de 314K H800 GPU hours, destilação Decoupled-DMD — https://arxiv.org/abs/2511.22699
11. ComfyUI JoyCaption guide — modelos de captioning local para datasets NSFW/privados — https://www.runcomfy.com/comfyui-nodes/Comfyui_CXH_joy_caption

Leitura adicional

• Como fazer caption de datasets para treinamento de difusão
• AI Toolkit vs ComfyUI para treino de LoRA
• Entendendo quantização fp8 em modelos de difusão