Inpainting con prompt vacío en Stable Diffusion: A1111 vs ComfyUI y cuándo los prompts dañan las ediciones

TL;DR

• IP-Adapter con scale=1.0 y text_prompt="" funciona tanto en A1111 como en ComfyUI para inpainting limpio
• Los preprocesadores inpaint_only+lama de ControlNet dan mejor alineación de bordes que la guía solo por texto en A1111 (fuente)
• Los pesos de prompt altos pueden degradar los resultados; la escala óptima es 0.5 para guía combinada de imagen más texto (fuente)

Mecanismo central

Un prompt vacío genera el embedding incondicional, que no lleva información direccional. El modelo vuelve a su distribución incondicional; por eso el inpainting sin prompt y sin acondicionamiento de imagen produce una salida aleatoria que no encaja con la imagen existente (fuente).

IP-Adapter aporta la señal de imagen que falta. Usa un encoder de imagen CLIP para extraer características de la imagen circundante y luego las proyecta al espacio de cross-attention del UNet mediante un adaptador ligero. El adaptador tiene solo 22M de parámetros, pero puede igualar o superar a un modelo de image prompt ajustado (fine-tuned) en consistencia (fuente). Con scale=1.0 y text_prompt="", el adaptador se convierte en la única señal de guía (fuente).

Para un contexto más amplio sobre configuraciones de inpainting, ver flujos de trabajo de inpainting en ComfyUI. Para un desglose completo de los ajustes de IPAdapter, tipos de peso y máscaras regionales, ver IPAdapter vs ControlNet vs Regional Prompter.

A1111 vs ComfyUI: comparación técnica

Método | A1111 | ComfyUI | Fuente --------|-------|---------|-------- ControlNet Inpaint | preprocesadores inpaint_only e inpaint_only+lama; modo de control "ControlNet is more important" (fuente) | comfyui_controlnet_aux proporciona preprocesadores de inpainting; el nodo Apply IP Adapter acepta una entrada opcional de inpainting (fuente) | NODES.md IP-Adapter | Integrado en la extensión sd-webui-controlnet (fuente) | ComfyUI_IPAdapter_plus con Unified Loaders encadenados (daisy-chained); parámetro weight_type para mezcla (fuente) | IP-Adapter Regional Prompting | No integrado; no hay extensión dedicada para texto regional por máscara | Flujo de trabajo de ProfessorLich con nodos Get/Set y scripts personalizados (fuente) | 9534

La tabla anterior muestra que A1111 ofrece un camino más simple al inpainting sin prompt con su extensión ControlNet, mientras que ComfyUI ofrece un control más granular a nivel de nodos y admite regional prompting, de lo que carece A1111. Si estás solucionando problemas con configuraciones de ControlNet, reparar e instalar A1111 Forge puede ser relevante (fuente, fuente).

Decisión: cuándo usar prompts vacíos vs prompts de texto

Escenario | Configuración | Por qué funciona | Fuente ----------|--------------|------------------|-------- Borrar un objeto no deseado, mantener el estilo existente | ControlNet inpaint_only+lama (A1111) o IP-Adapter scale=1.0, text_prompt="" (ambos) | El contexto de la imagen circundante guía la generación para que coincida con el estilo y la paleta de colores existentes | IP-Adapter Extender el lienzo con contenido realista | IP-Adapter scale=1.0, text_prompt="" combinado con una pasada de hires fix | Solo las características de imagen generan contenido coherente con la composición existente | NODES.md Prompts diferentes para distintas regiones de la imagen | ComfyUI: flujo de Regional Prompting con máscaras por región | Cada área con máscara recibe su propio prompt de texto mediante nodos Get/Set | 9534 Prueba rápida de reemplazo | Cualquiera de las dos plataformas: inpainting ingenuo solo con máscara al 100% de denoising | Rápido, pero los resultados pueden ser aleatorios sin acondicionamiento | 1907

Errores comunes y soluciones

Error: IP-Adapter carga los modelos dos veces

Síntoma: desperdicio de memoria y cómputo duplicado al usar varios nodos de IP-Adapter.

Causa: el encadenamiento (daisy-chaining) no se hizo correctamente; la entrada ipadapter del primer Unified Loader quedó conectada.

Corrección: deja la entrada ipadapter del primer loader sin conexión; encadena los loaders siguientes a través de los puertos ipadapter in/out.

Cita verificable: "Multiple unified loaders should always be daisy chained through the ipadapter in/out. Failing to do so will cause all models to be loaded twice. For the first unified loader the ipadapter input should never be connected." (fuente)

Error: las imágenes no cuadradas dan malos resultados

Síntoma: falta información de borde a la izquierda/derecha o arriba/abajo del contenido generado fuera del cuadrado central.

Causa: CLIP recorta al centro (center-crop) las imágenes de entrada a 224x224, descartando datos fuera de la región central (fuente).

Corrección: redimensiona las imágenes a cuadrado antes de pasarlas a IP-Adapter, o acepta la limitación del center-crop.

Cita verificable: "As the image is center cropped in the default image processor of CLIP, IP-Adapter works best for square images. But you can just resize to 224x224 for non-square images." (fuente)

Error: los pesos altos queman la imagen

Síntoma: artefactos visuales, pérdida de detalles de la imagen o colores quemados (blown-out) con ajustes de peso altos de IP-Adapter.

Causa: el parámetro embeds_scaling por defecto produce artefactos con pesos superiores a 1.0 (fuente).

Corrección: usa el embeds_scaling "K+mean(V) w/ C penalty" para pesos más altos.

Cita verificable: "This parameter has a small impact on how the model reacts to text prompting. K+mean(V) w/ C penalty grants good quality at high weights (>1.0) without burning the image." (fuente)

FAQ

¿Qué pasa cuando usas un prompt vacío en inpainting de Stable Diffusion?

Un prompt vacío genera el embedding incondicional, que no lleva información direccional. El modelo vuelve a su distribución incondicional, produciendo contenido aleatorio que no encaja con la imagen existente. Por eso el Stable Diffusion estándar "no funciona realmente bien sin un prompt de texto" (fuente).

Ver también: la tarjeta de modelo (model card) de Stable Diffusion Inpainting confirma que el modelo se entrenó con classifier-free guidance sampling que descarta el acondicionamiento de texto el 10% de las veces, lo que significa que fue construido para depender del texto como su señal de acondicionamiento principal (fuente).

¿Cómo funciona el inpainting con IP-Adapter sin un prompt de texto?

IP-Adapter usa un encoder de imagen CLIP para extraer características de la imagen existente y luego las proyecta al espacio de cross-attention del UNet mediante un adaptador de 22M de parámetros (fuente). Con scale=1.0 y text_prompt="", el adaptador se convierte en la única señal de guía. El cross-attention del UNet recibe solo características basadas en imagen, que llevan información semántica suficiente para generar contenido coincidente con el estilo, la paleta de colores y la composición de la imagen. Para un recorrido completo de los ajustes de IPAdapter en ComfyUI, ver IPAdapter vs ControlNet vs Regional Prompter.

¿Por qué mi resultado de inpainting sale aleatorio sin un prompt?

Los resultados aleatorios significan que estás usando Stable Diffusion estándar sin acondicionamiento de imagen. El modelo SD Inpainting se entrenó con 440k pasos de inpainting a resolución 512x512 además de sus 595k pasos de entrenamiento base, pero aún depende del acondicionamiento de texto como su señal principal (fuente).

Añade guía basada en imagen: el preprocesador ControlNet inpaint_only+lama para alineación de bordes, o IP-Adapter con scale=1.0 y text_prompt="" para preservar el estilo (fuente).

¿Cuál es la diferencia entre el preprocesador inpaint_only y inpaint_only+lama?

Ambos son opciones de preprocesado de ControlNet disponibles en la extensión sd-webui-controlnet de A1111 y vía comfyui_controlnet_aux en ComfyUI (fuente):

• inpaint_only: preprocesado básico que usa la generación de inpaint hint de ControlNet
• inpaint_only+lama: usa el algoritmo de inpainting LaMa para rellenar previamente el área con máscara con contenido plausible antes de pasarlo como hint a ControlNet

La variante +lama suele dar mejores resultados en escenarios de inpainting difíciles, pero con un coste computacional mayor.

¿Cuándo añadir un prompt de texto daña la calidad del inpainting?

La documentación de IP-Adapter señala que, para guía solo de imagen, hay que usar scale=1.0 y text_prompt="" o frases genéricas como "best quality". Para guía combinada de imagen más texto, scale=0.5 suele dar buenos resultados (fuente). Escalas más altas pueden reducir la consistencia con el image prompt, porque el modelo intenta equilibrar direcciones de señal contradictorias.

¿Cómo hacer inpainting sin prompt en ComfyUI vs Automatic1111?

Automatic1111 (A1111):

• Usa la extensión sd-webui-controlnet (fuente)
• ControlNet inpaint_only+lama con la opción "ControlNet is more important" (fuente)
• Interfaz más simple, pero opciones avanzadas limitadas

ComfyUI:

• Usa comfyui_controlnet_aux más ComfyUI_IPAdapter_plus (fuente)
• Entrada de inpainting de IP-Adapter en el nodo Apply IP Adapter para guía combinada de imagen más ControlNet (fuente)
• Soporte para flujo de Regional Prompting vía los nodos Get/Set de ProfessorLich (fuente)

ComfyUI ofrece un control más granular, pero requiere entender el grafo de nodos. A1111 da un acceso más sencillo para inpainting sin prompt básico.