ArtificialGuyBR

Home / Blog / ComfyUI

Flux no ComfyUI: Base, GGUF, Refiner SDXL, 360°

Workflows do Flux no ComfyUI — base texto-para-imagem, GGUF para VRAM baixa, refiner SDXL para animais, panorâmicas 360° equirretangulares.

18 sources cited ComfyUI

On this page

  1. Grafo Base de Texto-para-Imagem
  2. GGUF e Variantes de Baixa VRAM
  3. Combinando Flux com Passo de Refiner SDXL
  4. Panorâmicas 360° Equirretangulares
  5. Erros Comuns e Correções
  6. FAQ

TL;DR

Flux no ComfyUI: Grafo Base, GGUF, Refiner SDXL, Panorâmicas 360°

  • Use flux1-dev.safetensors em models/diffusion_models/ com codificador T5-XXL fp8 para 12–16 GB de VRAM; flux1-schnell.safetensors em models/unet/ roda em 4 passos com guidance 0.
  • Quantize com GGUF (Q4_K_S / Q5_K_M) via ComfyUI-GGUF; relatos da comunidade indicam Q4_K_S roda em placas de 12 GB com perda mínima de qualidade.
  • Para animais/criaturas, encadeie Flux → SDXL (Ratatoskr) como refiner; para panorâmicas 360°, use o LoRA do SeanScripts + workflow de correção de emenda por shift-inpaint.

Grafo Base de Texto-para-Imagem

O Flux usa um transformador de fluxo retificado (12 B parâmetros) com codificadores de texto duplos: CLIP-L e T5-XXL. O grafo do ComfyUI difere do SDXL em três aspectos. Para aprofundar nos fundamentos do ComfyUI, veja Tipos de nós e conexões no ComfyUI. Componente | Arquivo | Pasta do ComfyUI | Source

|-----------|------|----------------|--------

FLUX.1-dev model | flux1-dev.safetensors | models/diffusion_models/ | HF FLUX.1-schnell model | flux1-schnell.safetensors | models/unet/ | HF VAE | ae.safetensors | models/vae/ | HF CLIP-L encoder | clip_l.safetensors | models/text_encoders/ | HF T5-XXL fp16 | t5xxl_fp16.safetensors | models/text_encoders/ | HF T5-XXL fp8 (escalado) | t5xxl_fp8_e4m3fn_scaled.safetensors | models/text_encoders/ | HF Principais configurações dos exemplos oficiais Modelo | Passos | guidance_scale | max_sequence_length | Licença

|-------|-------|----------------|---------------------|---------

FLUX.1-dev | 50 | 3.5 | 512 | Não comercial FLUX.1-schnell | 4 | 0.0 | 256 | Apache 2.0 Source: FLUX.1-dev README, FLUX.1-schnell README, ComfyUI Flux examples

Nota: Guias da comunidade costumam citar 20 passos para o dev; o exemplo oficial usa 50. A configuração de 20 passos é um trade-off velocidade/qualidade, não um requisito do modelo.

Por Que o Flux Renderiza Texto Bem

O codificador T5-XXL fornece contexto de 512 tokens com forte ancoragem semântica. O fluxo retificado aprende trajetórias mais retas no espaço latente, preservando detalhes de glifos de alta frequência que modelos de difusão costumam borrar. HF FLUX.1-dev README

Prompts Negativos

O pipeline padrão do Flux não tem parâmetro negative_prompt; o condicionamento é controlado exclusivamente via guidance_scale. Nós da comunidade adicionam condicionamento negativo, mas o grafo base o omite completamente.

GGUF e Variantes de Baixa VRAM

Opções de Quantização

O ComfyUI-GGUF carrega checkpoints Flux quantizados em GGUF diretamente. O repositório afirma: "Enquanto a quantização não era viável para modelos UNET regulares (conv2d), modelos transformer/DiT como o flux parecem menos afetados pela quantização." ComfyUI-GGUF

Níveis comuns de quantização para Flux: Quant | Tamanho Aprox. | VRAM (apenas modelo, est.) | Nota de Qualidade

|-------|--------------|-------------------------|--------------

Q8_0 | ~23 GB | ~24 GB | Quase sem perdas Q5_K_M| ~15 GB | ~16 GB | Forte equilíbrio Q4_K_S| ~12 GB | ~13 GB | Relatos da comunidade funcionam em placas de 12 GB A VRAM exata depende da escolha do codificador T5 (fp16 ≈ 10 GB, fp8-escalado ≈ 5 GB) e configurações de offload. Números de VRAM são estimativas da comunidade; não há mínimos oficiais publicados.

Checkpoints FP8 (Alternativa)

Kijai publica flux1-dev-fp8.safetensors e flux1-schnell-fp8.safetensors (float8_e4m3fn / float8_e5m2). Os exemplos do ComfyUI alertam: "fp8 degrada a qualidade um pouco, então se você tem os recursos a versão oficial completa de 16 bits é recomendada." ComfyUI Flux examples Kijai FP8 repo

Economia de Memória do Codificador T5

Codificador | Tamanho do Arquivo | Impacto na VRAM

|---------|-----------|-------------

t5xxl_fp16.safetensors | 9,8 GB | ~10 GB t5xxl_fp8_e4m3fn_scaled.safetensors | 5,2 GB | ~5 GB Trocar para o codificador fp8-escalado é a maior redução de VRAM para Flux em placas de consumo. Para mais sobre trade-offs de quantização, veja GGUF vs FP8 vs bitsandbytes.

Combinando Flux com Passo de Refiner SDXL

Motivação

O Flux se destaca em texto, composição e coerência geral, mas relatos da comunidade notam fidelidade mais fraca para animais/criaturas/anthro. A solução: gere uma imagem base com Flux, depois rode um passo img2img através de um fine-tune SDXL especializado nesses domínios.

Workflow Refiner Ratatoskr

  1. Flux txt2img → saída latente ou pixel
  2. SDXL img2img com Ratatoskr (modelo Civitai 192854) em denoise baixo (0,2–0,4)
  3. Opcional: ControlNet (depth/canny) para preservar estrutura

O artigo do Civitai descreve o método como "use my model Ratatoskr as a refiner" Civitai 6547. O workflow anexo (16 MB) não era inspecionável publicamente no momento da pesquisa; o padrão de integração segue o encadeamento padrão ComfyUI Flux→SDXL.

Configurações Práticas

Estágio | Modelo | Denoise | Passos | CFG

|-------|-------|---------|-------|-----

Base | FLUX.1-dev | N/A | 20–50 | 3.5 Refine | SDXL (Ratatoskr) | 0,25–0,35 | 15–25 | 5–7 Denoise menor preserva composição do Flux; denoise maior injeta mais detalhe de criatura do SDXL. Para background de fine-tuning SDXL, veja Treinando LoRAs SDXL para personagens.

Panorâmicas 360° Equirretangulares

LoRA e Workflow

SeanScripts treinou um LoRA Flux (Flux Equirectangular 360° Panorama, v3, trigger equirectangular 360) com imagens equirretangulares profissionais. Civitai 735980 XLabs Realism LoRA Workflow atualizado com anotações: Civitai 745010

O Problema da Emenda

A projeção equirretangular mapeia esfera → retângulo: bordas esquerda/direita se encontram atrás do observador. A geração padrão produz uma emenda visível porque o modelo não tem restrição de consistência cíclica.

Correção de Emenda por Shift-Inpaint (Lógica do Workflow)

  1. Gere imagem equirretangular com LoRA
  2. Shift da imagem 50 % horizontalmente (modo wrap)
  3. Inpaint da nova região central (ex-emenda) em denoise baixo
  4. Shift back 50 % → textura 360° sem emenda

O artigo descreve: "shifting the image over halfway, then inpainting the center section of the image to remove the seam. Afterwards, it shifts back to get the original image composition." Civitai 7287

Passo Opcional de Upscale

Para resolução VR, upscale 2× → passo de baixo denoise nas versões normal e shiftada → shift back.

Nós Personalizados Necessários

Pacote de Nós | Repositório | Finalidade

|-----------|------------|---------

ComfyUI-GGUF | city96/ComfyUI-GGUF | Carregamento de modelo GGUF ComfyMath | evanspearman/ComfyMath | Operações matemáticas para cálculos de shift ComfyStereo | Dobidop/ComfyStereo | Panorâmicas estéreo 3D (opcional)

Visualizando a Saída

  • Web: visualizador 360 renderstuff.com
  • VR: SteamVR Media Player, Deo VR
  • Metadados: exiftool -XMP:ProjectionType="equirectangular" image.png injeta tag de projeção compatível com Google

Notas de Qualidade (Autorrelato)

  • Paisagens: resultados fortes
  • Cenas internas: podem precisar de múltiplas seeds ou passes img2img extras

Erros Comuns e Correções

Sintoma | Causa | Correção | Source

|---------|-------|-----|--------

OOM em 16 GB VRAM | T5-XXL fp16 ≈ 10 GB sozinho | Use t5xxl_fp8_e4m3fn_scaled.safetensors (~5 GB) | ComfyUI Flux examples Flux dev não aparece na lista de checkpoints | Modelo em checkpoints/ não diffusion_models/ | Mova para ComfyUI/models/diffusion_models/ | ComfyUI Flux examples Flux schnell não encontrado | Modelo em checkpoints/ não unet/ | Mova para ComfyUI/models/unet/ | ComfyUI Flux examples Panorama tem emenda visível | Sem consistência cíclica na geração | Shift 50 % → inpaint centro → shift back | Civitai 7287 Queda de qualidade com checkpoint FP8 | Perda de precisão float8 | Use fp16 se VRAM permitir | ComfyUI Flux examples

FAQ

Por que o FLUX.1-schnell usa 4 passos enquanto o dev usa 50? Schnell é um modelo estudante destilado via destilação adversarial latente de difusão para igualar a saída do dev em 1–4 passos. O dev usa destilação de guidance e requer mais passos para qualidade total. HF FLUX.1-schnell README

Preciso de prompts negativos com Flux? O pipeline base não tem entrada negative_prompt; o condicionamento é controlado por guidance_scale (dev: 3.5, schnell: 0). Nós da comunidade podem adicionar condicionamento negativo se desejado.

Consigo rodar Flux em 12 GB de VRAM? Relatos da comunidade sugerem que funciona com codificador T5 fp8 e/ou quantização GGUF Q4_K_S. Nenhum mínimo oficial é publicado. Civitai 6464

Como corrijo a emenda em imagens equirretangulares 360? Shift da imagem 50 % horizontalmente, inpaint da nova região central em denoise baixo, depois shift back. Isso é implementado no workflow do SeanScripts. Civitai 7287

Qual a diferença entre checkpoints fp8 e fp16 do Flux? FP8 (float8_e4m3fn) reduz o peso pela metade mas "degrada a qualidade um pouco" segundo exemplos do ComfyUI. Use fp16 quando a VRAM permitir. ComfyUI Flux examples

Qual codificador T5 devo escolher para VRAM baixa? t5xxl_fp8_e4m3fn_scaled.safetensors (~5 GB) em vez de t5xxl_fp16.safetensors (~10 GB). ComfyUI Flux examples

A quantização GGUF é segura para Flux? O autor do ComfyUI-GGUF afirma que modelos transformer/DiT como Flux são "menos afetados pela quantização" comparados a U-Nets baseados em conv. ComfyUI-GGUF

Onde coloco os arquivos do modelo Flux no ComfyUI?

  • flux1-dev.safetensors → models/diffusion_models/
  • flux1-schnell.safetensors → models/unet/
  • ae.safetensors → models/vae/
  • Codificadores de texto → models/text_encoders/

ComfyUI Flux examples