Escalado latente frente a modelo: guía completa de imágenes de IA
Compare la mejora latente, los modelos de mejora, las contrataciones y los flujos de trabajo en mosaico. Descubra qué método funciona mejor para imágenes…
On this page
Escalado latente frente a modelo: guía completa de imágenes de IA
TL;DR
- Mejora de escala latente conserva mejor la composición para trabajos fotorrealistas pero funciona más lento (~280 s en RTX 4090 para Flux) [https://civitai.com/articles/7181].
- Los modelos mejorados como RealSR DF2K combinan bien con la difusión en mosaico [https://openmodeldb.info/models/4x-realsr-df2k].
- Los flujos de trabajo en mosaico (MultiDiffusion) le permiten escalar más allá de los límites de VRAM al procesar imágenes en mosaicos superpuestos [https://civitai.com/articles/7036].
- Utilice reparación de contrataciones para obtener aumentos rápidos de 2×; cambie a aumento de escala latente cuando la fidelidad de la composición sea más importante [https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/].
Mejora latente frente a mejoras de modelo: diferencia fundamental
La ampliación latente opera dentro de la representación comprimida del modelo de difusión. El modelo genera detalles de mayor resolución mientras mantiene la composición general fijada en la estructura latente original. Los escaladores de modelos (variantes RealSR, ESRGAN) funcionan en el espacio de píxeles: toman una imagen renderizada y reconstruyen los detalles utilizando datos previos aprendidos a partir de datos de entrenamiento. Enfoque | Espacio | Preservación de la composición | Caso de uso típico | Fuente
|----------|-------|--------------------------|------------------|----------------
Ampliación latente | Latente | Alto: la estructura permanece cerrada | Escenas fotorrealistas y complejas | https://civitai.com/articles/7181 Escalador de modelo (RealSR DF2K) | Píxel | Medio: puede cambiar los bordes | Anime, ilustración, limpieza de lujo | https://openmodeldb.info/models/4x-realsr-df2k Escalador de modelo (variantes de ESRGAN) | Píxel | Varía según el modelo | Propósito general, flujos de trabajo heredados | https://comfyanonymous.github.io/ComfyUI_examples/upscale_models/ El flujo de trabajo del escalador latente Flux demuestra este principio: un primer paso de baja resolución establece la composición, luego un segundo paso aumenta el espacio latente a aproximadamente 2 veces las dimensiones originales [https://civitai.com/articles/7181]. Se produce cierta deriva composicional en el punto de duplicación, pero la estructura general se mantiene.
Solución de contrataciones: el acceso directo integrado
La solución de contrataciones no es un algoritmo separado, es un patrón de flujo de trabajo. Genere a baja resolución, aumente la escala (latente o píxel), luego ejecute una segunda pasada img2img con baja intensidad de eliminación de ruido. En ComfyUI, txt2img e img2img usan el mismo nodo de muestra; La solución de contratación simplemente introduce una señal latente mejorada en el muestreador con un ruido reducido.
El ejemplo documentado de ComfyUI muestra dos variantes [https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/]:
- Solución de contrataciones latentes: Mejorar el espacio latente, permanecer en el espacio latente
- Corrección de contratación de píxeles: decodificar en píxeles, aplicar ESRGAN/RealSR, volver a codificar en latente
La variante de píxeles introduce un recorrido de ida y vuelta de codificación/decodificación VAE, que puede suavizar los detalles finos pero brinda acceso a potentes modelos de espacio de píxeles como RealSR DF2K. Contrata la variante Fix | Paso de lujo | Fuente
|------------------|--------------|----------------
Latente | Exclusivo latente (más cercano/bilineal) | https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/ Píxel (RealSR DF2K) | Modelo 4×ESRGAN | https://comfyanonymous.github.io/ComfyUI_examples/2_pass_txt2img/
Flujos de trabajo en mosaico: multidifusión para imágenes grandes
Cuando la resolución objetivo excede la VRAM, la difusión en mosaico divide la imagen en ventanas superpuestas, procesa cada una de ellas de forma independiente y luego combina las superposiciones. MultiDiffusion formalizó esto como un problema de optimización que vincula múltiples rutas de difusión con restricciones compartidas.
En ReForge (una bifurcación de Forge de Automatic1111), el flujo de trabajo documentado es [https://civitai.com/articles/7036]: Parámetro | Valor recomendado | Efecto | Fuente
|-----------|-------------------|----------------|--------
Ancho/alto del azulejo | Resolución base del partido | Garantiza que cada mosaico vea el contexto completo | https://civitai.com/articles/7036 Superposición de azulejos | 64 píxeles | Combina costuras, previene artefactos | https://civitai.com/articles/7036 Tamaño del lote de azulejos | 4 | Compensación VRAM/rendimiento | https://civitai.com/articles/7036 Fuerza de eliminación de ruido | 0,2 | Conserva detalles mejorados y corrige artefactos | https://civitai.com/articles/7036 Esto procesa cada mosaico con la resolución nativa del modelo (por ejemplo, 832 × 1216), evitando la pérdida de calidad de la generación nativa de alta resolución mientras se mantiene dentro de los límites de VRAM.
Fotorrealista versus ilustración: qué método funciona
Fotorrealista: favorece la ampliación latente
Las imágenes fotorrealistas se basan en una iluminación coherente, texturas consistentes y una geometría plausible. La ampliación latente los conserva porque la representación interna del modelo de difusión ya codifica la estructura 3D. La modulación inicial del flujo de trabajo Flux (tercera pasada a ~112 s en RTX 4090) le permite volver a aplicar detalles finos mientras bloquea la composición base, lo que resulta útil para corregir dedos alucinados o anomalías de textura sin reiniciar [https://civitai.com/articles/7181].
Los escaladores de modelos entrenados con datos fotográficos (RealSR DF2K ganó NTIRE 2020 Real-World Super-Resolution) se destacan en restaurar la agudeza de los bordes y suprimir los artefactos de compresión. Funcionan mejor como paso previo al refinamiento latente [https://openmodeldb.info/models/4x-realsr-df2k].
Ilustración / Anime — Favor Model Upscalers + Difusión en mosaico
El contenido ilustrado tiene regiones de color planas, bordes definidos y sombreados estilizados. Los modelos de espacio de píxeles como RealSR DF2K manejan la preservación de líneas limpias mejor que la difusión latente, que puede suavizar los límites de sombra de celdas. El flujo de trabajo de Guy90 demuestra esto: generación base a 832 × 1216, 2 × RealSR mejorado, luego img2img en mosaico con 0,2 de ruido con MultiDiffusion [https://civitai.com/articles/7036]. Tipo de contenido | Método primario | Pase secundario | Fuente
|----------------------|----------------|----------------|----------------
Fotorrealista | Flujo latente 2 pasadas | Modulación de semillas (tercer paso) | https://civitai.com/articles/7181 Ilustración/Animé | RealSR DF2K 2× | Azulejos MultiDiffusión img2img | https://civitai.com/articles/7036
Errores y soluciones comunes
Síntoma | Causa | Arreglar | Fuente
|---------|-------|-----|--------
Costuras visibles en los límites de las baldosas | Superposición insuficiente | Aumentar la superposición de baldosas; verificar Mezcla de Difusores seleccionados | https://civitai.com/articles/7036 La composición cambia durante el lujo latente | El salto de resolución supera el rango coherente del modelo | Limitar el aumento latente a 1,5–2×; añadir pase intermedio | https://civitai.com/articles/7181 Arte lineal demasiado suavizado después de un lujo latente | El modelo de difusión difumina los bordes duros | Cambie al escalador de píxeles (RealSR DF2K) para el primer paso | https://civitai.com/articles/7036 VRAM OOM en objetivos 4K+ | Generación de un solo paso con resolución objetivo | Utilice un flujo de trabajo en mosaico; reducir el tamaño del lote de mosaicos | https://civitai.com/articles/7036 ADetailer extraña las caras pequeñas | Umbral de detección demasiado alto | Umbral de confianza más bajo; habilitar la dilatación de la máscara | https://github.com/Bing-su/adetailer
Preguntas frecuentes
¿Qué es la ampliación latente en difusión estable?
La mejora de escala latente aumenta la resolución dentro del espacio latente comprimido del modelo en lugar del espacio de píxeles. El modelo de difusión genera detalles consistentes con su aprendizaje previo, preservando la composición global mejor que la interpolación de píxeles.
¿En qué se diferencia la solución de contrataciones de la mejora en mosaico?
Hires fix es un flujo de trabajo de dos pasos a una escala fija de 2×. La ampliación en mosaico procesa resoluciones arbitrarias dividiéndolas en mosaicos superpuestos, lo que permite salidas de 4×, 8× o más dentro del mismo presupuesto de VRAM.
¿Qué modelo de escalador es mejor para el anime?
RealSR DF2K se utiliza ampliamente para contenido ilustrado. Ganó NTIRE 2020 por su súper resolución en el mundo real y el flujo de trabajo de Guy90 lo utiliza para la generación de anime [https://civitai.com/articles/7036].
¿Puedo combinar la ampliación latente y de modelo?
Sí. Una canalización común: generar en resolución base, aumento latente 1,5×, decodificación, aumento de píxeles 2× con RealSR DF2K, luego refinamiento opcional de img2img en mosaico con 0,2 eliminación de ruido.
¿Por qué el escalado latente de Flux tarda ~280 segundos en RTX 4090?
Flux ejecuta pasos de difusión a dos resoluciones de forma secuencial. La variante Hyper Flux LoRA reduce esto a ~130 s mediante el uso de LoRA destilados y un codificador de texto más rápido, con una ligera compensación de calidad [https://civitai.com/articles/7181].
¿Qué superposición de baldosas evita los artefactos en las costuras?
64px es la base documentada para mosaicos de 832×1216 en el flujo de trabajo MultiDiffusion [https://civitai.com/articles/7036].
¿ADetailer funciona con Flux?
ADetailer utiliza modelos de detección YOLO (face_yolov8n.pt en 0.660 mAP50) que son independientes del modelo: detectan rostros en la salida de píxeles renderizados. Funciona con cualquier backend que produzca una salida de imagen estándar, incluido Flux a través de ComfyUI o ReForge. https://github.com/Bing-su/adetailer.
Fuentes
- Artículo 7181 de Civitai: Escalador latente de flujo — flujo de trabajo, cifras de rendimiento, variante Hyper Flux
- Artículo 7036 de Civitai: Guía de generación — Flujo de trabajo de ReForge, parámetros de MultiDiffusion, uso de RealSR DF2K
- Repositorio ADetailer — especificaciones del modelo de detección, instalación
- OpenModelDB RealSR DF2K — tarjeta modelo, ganadora de NTIRE 2020
- Ejemplos de arreglos de contrataciones de ComfyUI — las contrataciones latentes frente a las de píxeles corrigen los flujos de trabajo
- Modelos Bingsu/adetailer — puntos de referencia del modelo de detección de cara/mano/persona
Relacionado: Flujos de trabajo de generación de imágenes de IA Relacionado: Optimización de VRAM para una difusión estable Relacionado: Guía del modelo de flujo Relacionado: Mejora facial ADetailer Relacionado: Mejores modelos Upscaler comparados