Upscaling Latente vs Modelos de Upscaling: Guia Completo de IA

TL;DR

• Upscaling latente preserva melhor a composição para trabalhos fotorrealistas, mas é mais lento (~280s no RTX 4090 com Flux) [https://civitai.com/articles/7181].
• Modelos de upscaling como o RealSR DF2K se combinam bem com difusão em tiles [https://openmodeldb.info/models/4x-realsr-df2k].
• Fluxos em tiles (MultiDiffusion) permitem fazer upscale além dos limites de VRAM processando a imagem em tiles sobrepostos [https://civitai.com/articles/7036].
• Use hires fix para aumentos rápidos de 2×; mude para upscaling latente quando a fidelidade da composição for o que mais importar [https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/].

Upscaling Latente vs Modelos de Upscaling: Diferença Central

O upscaling latente opera dentro da representação comprimida do modelo de difusão. O modelo gera detalhes em maior resolução mantendo a composição geral travada na estrutura latente original. Modelos de upscaling (variantes de RealSR, ESRGAN) operam no espaço de pixels — eles pegam uma imagem renderizada e reconstruem o detalhe usando priors aprendidos dos dados de treinamento. Abordagem | Espaço | Preservação da Composição | Caso de Uso Típico | Fonte

|----------|-------|--------------------------|------------------|--------

Upscaling latente | Latente | Alta — a estrutura permanece travada | Fotorrealista, cenas complexas | https://civitai.com/articles/7181 Modelo de upscaling (RealSR DF2K) | Pixel | Média — pode deslocar bordas | Anime, ilustração, upscale limpo | https://openmodeldb.info/models/4x-realsr-df2k Modelo de upscaling (variantes de ESRGAN) | Pixel | Varia conforme o modelo | Uso geral, fluxos legados | https://comfyanonymous.github.io/ComfyUI_examples/upscale_models/ O fluxo de trabalho do upscaler latente do Flux demonstra esse princípio: uma primeira passagem em baixa resolução estabelece a composição, e uma segunda passagem faz o upscale no espaço latente para cerca de 2× as dimensões originais [https://civitai.com/articles/7181]. Ocorre algum desvio composicional no ponto de duplicação, mas a estrutura geral se mantém.

Hires Fix: O Atalho Integrado

O hires fix não é um algoritmo separado — é um padrão de fluxo de trabalho. Gere em baixa resolução, faça upscale (latente ou de pixel) e execute uma segunda passagem de img2img com força de denoising baixa. No ComfyUI, txt2img e img2img usam o mesmo nó de sampler; o hires fix simplesmente alimenta um latente upscalado de volta ao sampler com denoise reduzido.

O exemplo documentado do ComfyUI mostra duas variantes [https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/]:

• Latent hires fix: faça upscale no espaço latente, fique no espaço latente
• Pixel hires fix: decodifique para pixels, aplique ESRGAN/RealSR, re-encode para latente

A variante de pixel introduz uma ida e volta de encode/decode do VAE, o que pode suavizar detalhes finos, mas dá acesso a modelos poderosos de espaço de pixel como o RealSR DF2K. Variante de Hires Fix | Etapa de Upscale | Fonte

|-------------------|--------------|--------

Latente | Upscale latente (nearest/bilinear) | https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/ Pixel (RealSR DF2K) | Modelo ESRGAN 4× | https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/

Fluxos em Tiles: MultiDiffusion para Imagens Grandes

Quando a resolução-alvo excede a VRAM, a difusão em tiles divide a imagem em janelas sobrepostas, processa cada uma independentemente e depois mescla as sobreposições. O MultiDiffusion formalizou isso como um problema de otimização que vincula múltiplos caminhos de difusão com restrições compartilhadas.

No ReForge (um fork do Forge do Automatic1111), o fluxo de trabalho documentado é [https://civitai.com/articles/7036]: Parâmetro | Valor Recomendado | Efeito | Fonte

|-----------|-------------------|--------|--------

Largura/altura do tile | Igual à resolução base | Garante que cada tile veja o contexto completo | https://civitai.com/articles/7036 Sobreposição de tiles | 64 pixels | Mescla emendas, previne artefatos | https://civitai.com/articles/7036 Tamanho de lote de tiles | 4 | Compromisso entre VRAM/throughput | https://civitai.com/articles/7036 Força de denoising | 0.2 | Preserva o detalhe upscalado, corrige artefatos | https://civitai.com/articles/7036 Isso processa cada tile na resolução nativa do modelo (ex.: 832×1216), evitando a perda de qualidade da geração em alta resolução nativa e permanecendo dentro dos limites de VRAM.

Fotorrealista vs Ilustração: Qual Método Funciona

Fotorrealista — Prefira Upscaling Latente

Imagens fotorrealistas dependem de iluminação coerente, texturas consistentes e geometria plausível. O upscaling latente preserva essas características porque a representação interna do modelo de difusão já codifica a estrutura 3D. A modulação de seed do Flux do Flux (terceira passagem em ~112s no RTX 4090) permite refazer detalhes finos mantendo a composição base travada — útil para corrigir dedos alucinados ou anomalias de textura sem recomeçar [https://civitai.com/articles/7181].

Modelos de upscaling treinados com dados fotográficos (o RealSR DF2K venceu o NTIRE 2020 de Super-Resolução do Mundo Real) são excelentes em restaurar nitidez de bordas e suprimir artefatos de compressão. Eles funcionam melhor como etapa prévia antes do refinamento latente [https://openmodeldb.info/models/4x-realsr-df2k].

Ilustração / Anime — Prefira Modelos de Upscaling + Difusão em Tiles

Conteúdo ilustrado tem regiões de cor plana, bordas duras e sombreamento estilizado. Modelos de espaço de pixel como o RealSR DF2K lidam melhor com a preservação de linhas limpas do que a difusão latente, que pode suavizar limites de cel-shading. O fluxo de trabalho do guy90 demonstra isso: geração base em 832×1216, upscale 2× com RealSR, depois img2img em tiles com denoise 0.2 e MultiDiffusion [https://civitai.com/articles/7036]. Tipo de Conteúdo | Método Principal | Passagem Secundária | Fonte

|--------------|----------------|----------------|--------

Fotorrealista | Flux latente em 2 passagens | Modulação de seed (3ª passagem) | https://civitai.com/articles/7181 Ilustração/Anime | RealSR DF2K 2× | img2img em tiles com MultiDiffusion | https://civitai.com/articles/7036

Erros Comuns e Correções

Sintoma | Causa | Correção | Fonte

|---------|-------|-----|--------

Emendas visíveis nas fronteiras de tiles | Sobreposição insuficiente | Aumente a sobreposição de tiles; verifique se Mixture of Diffusers está selecionado | https://civitai.com/articles/7036 Composição se desloca durante o upscale latente | Salto de resolução excede o intervalo coerente do modelo | Limite o upscale latente a 1.5–2×; adicione uma passagem intermediária | https://civitai.com/articles/7181 Arte de linha super-suavizada após upscale latente | O modelo de difusão desfoca bordas duras | Mude para upscaler de pixel (RealSR DF2K) na primeira passagem | https://civitai.com/articles/7036 VRAM OOM em alvos 4K+ | Geração em uma única passagem na resolução-alvo | Use Flux em tiles; reduza o tamanho de lote de tiles | https://civitai.com/articles/7036 ADetailer perde rostos pequenos | Limiar de detecção muito alto | Abaixe o limiar de confiança; ative a dilatação da máscara | https://github.com/Bing-su/adetailer

FAQ

O que é upscaling latente no Stable Diffusion?

O upscaling latente aumenta a resolução dentro do espaço latente comprimido do modelo, em vez do espaço de pixels. O modelo de difusão gera detalhes consistentes com seu prior aprendido, preservando a composição global melhor do que a interpolação de pixels.

Como o hires fix difere do upscaling em tiles?

O hires fix é um fluxo de trabalho em duas passagens com escala fixa de 2×. O upscaling em tiles processa resoluções arbitrárias dividindo em tiles sobrepostos, permitindo saídas de 4×, 8× ou maiores dentro do mesmo orçamento de VRAM.

Qual modelo de upscaling é o melhor para anime?

O RealSR DF2K é amplamente usado para conteúdo ilustrado. Ele venceu o NTIRE 2020 em super-resolução do mundo real e o fluxo de trabalho do guy90 o usa para geração de anime [https://civitai.com/articles/7036].

Posso combinar upscaling latente e de modelo?

Sim. Um pipeline comum: gere na resolução base, faça upscale latente de 1.5×, decodifique, faça upscale de pixel de 2× com RealSR DF2K e, em seguida, um refinamento opcional de img2img em tiles com denoise 0.2.

Por que o upscaling latente do Flux leva ~280 segundos no RTX 4090?

O Flux executa passos de difusão em duas resoluções sequencialmente. A variante Hyper Flux LoRA reduz isso para ~130s usando LoRAs destilados e um codificador de texto mais rápido, com leve compromisso de qualidade [https://civitai.com/articles/7181].

Qual sobreposição de tiles previne artefatos de emenda?

64px é a baseline documentada para tiles de 832×1216 no fluxo de trabalho do MultiDiffusion [https://civitai.com/articles/7036].

O ADetailer funciona com o Flux?

O ADetailer usa modelos de detecção YOLO (face_yolov8n.pt com 0.660 mAP50), que são agnósticos de modelo — eles detectam rostos na saída de pixels renderizada. Funciona com qualquer backend que produza saída de imagem padrão, incluindo o Flux via ComfyUI ou ReForge https://github.com/Bing-su/adetailer.

Fontes

1. Artigo 7181 da Civitai — Flux Latent Upscaler — fluxo de trabalho, números de desempenho, variante Hyper Flux
2. Artigo 7036 da Civitai — Generation Guide — fluxo de trabalho do ReForge, parâmetros do MultiDiffusion, uso do RealSR DF2K
3. Repositório ADetailer — especificações do modelo de detecção, instalação
4. OpenModelDB RealSR DF2K — model card, vencedor do NTIRE 2020
5. Exemplos de Hires Fix do ComfyUI — fluxos de hires fix latente vs pixel
6. Modelos Bingsu/adetailer — benchmarks de modelos de detecção de rosto/mão/pessoa

Relacionado: Fluxos de Trabalho de Geração de Imagens com IA Relacionado: Otimização de VRAM para Stable Diffusion Relacionado: Guia do Modelo Flux Relacionado: Realce de Rosto com ADetailer Relacionado: Melhores Modelos de Upscaling Comparados