Inpainting com prompt vazio no Stable Diffusion: A1111 vs ComfyUI e quando prompts prejudicam as edições

TL;DR

• IP-Adapter com scale=1.0 e text_prompt="" funciona no A1111 e no ComfyUI para inpainting limpo
• Os preprocessors inpaint_only+lama do ControlNet proporcionam melhor alinhamento de bordas do que a orientação apenas por texto no A1111 (fonte)
• Pesos altos de prompt podem degradar os resultados; a escala ideal é 0.5 para orientação combinada de imagem e texto (fonte)

Mecanismo central

Um prompt vazio gera o embedding incondicional, que não carrega nenhuma informação direcional. O modelo reverte para sua distribuição incondicional, e é por isso que inpainting sem prompt e sem condicionamento por imagem produz uma saída aleatória que não se encaixa na imagem existente (fonte).

O IP-Adapter fornece o sinal de imagem que falta. Ele usa um codificador de imagem CLIP para extrair características da imagem ao redor e depois projeta essas características no espaço de cross-attention do UNet via um adapter leve. O adapter contém apenas 22M de parâmetros, mas consegue igualar ou superar um modelo de prompt de imagem fine-tuned em consistência (fonte). Com scale=1.0 e text_prompt="", o adapter se torna o único sinal de orientação (fonte).

Para contexto mais amplo de configuração de inpainting, veja workflows de inpainting no ComfyUI. Para uma análise completa das configurações de IPAdapter, tipos de peso e mascaramento regional, veja IPAdapter vs ControlNet vs Regional Prompter.

A1111 vs ComfyUI: comparação técnica

Method | A1111 | ComfyUI | Fonte --------|-------|---------|-------- ControlNet Inpaint | preprocessadores inpaint_only e inpaint_only+lama; modo de controle "ControlNet is more important" (fonte) | comfyui_controlnet_aux fornece preprocessadores de inpaint; o nó Apply IP Adapter aceita entrada opcional de inpaint (fonte) | NODES.md IP-Adapter | Integrado à extensão sd-webui-controlnet (fonte) | ComfyUI_IPAdapter_plus com Unified Loaders em cadeia; parâmetro weight_type para mistura (fonte) | IP-Adapter Regional Prompting | Não embutido; sem extensão dedicada para prompting regional por máscara baseado em texto | workflow do ProfessorLich usando nós Get/Set e scripts customizados (fonte) | 9534

A tabela acima mostra que o A1111 oferece um caminho mais simples para inpainting sem prompt com sua extensão ControlNet, enquanto o ComfyUI oferece controle granular em nível de nó e suporta prompting regional, que o A1111 não tem. Se você estiver solucionando problemas de configurações relacionadas ao ControlNet, reparo e instalação do A1111 Forge pode ser relevante fonte fonte.

Decisão: quando usar prompts vazios vs prompts de texto

Scenario | Setup | Why it Works | Fonte ----------|-------|-------------|-------- Apagar objeto indesejado, manter o estilo existente | ControlNet inpaint_only+lama (A1111) ou IP-Adapter scale=1.0, text_prompt="" (ambos) | O contexto da imagem ao redor guia a geração para combinar com o estilo e a paleta de cores existentes | IP-Adapter Estender a tela com conteúdo realista | IP-Adapter scale=1.0, text_prompt="" combinado com passe de hires fix | Apenas as características da imagem geram conteúdo consistente com a composição existente | NODES.md Prompts diferentes para diferentes regiões da imagem | ComfyUI: workflow de Regional Prompting com máscaras por região | Cada área mascarada recebe seu próprio prompt de texto via nós Get/Set | 9534 Substituição rápida de teste | Qualquer plataforma: inpaint ingênuo apenas com máscara a 100% de denoising | Rápido, mas os resultados podem ser aleatórios sem condicionamento | 1907

Erros comuns e correções

Erro: IP-Adapter carrega modelos duas vezes

Sintoma: Desperdício de memória e computação duplicada ao usar vários nós de IP-Adapter.

Causa: Encadeamento não feito corretamente; a entrada ipadapter do primeiro Unified Loader foi conectada.

Correção: Deixe a entrada ipadapter do primeiro loader desconectada; encadeie os loaders subsequentes pelas portas de entrada/saída ipadapter.

Citação verificável: "Multiple unified loaders should always be daisy chained through the ipadapter in/out. Failing to do so will cause all models to be loaded twice. For the first unified loader the ipadapter input should never be connected." (fonte)

Erro: imagens não quadradas produzem resultados ruins

Sintoma: Falta de informações de borda à esquerda/direita ou em cima/baixo no conteúdo gerado fora do quadrado central.

Causa: O CLIP faz center-crop das imagens de entrada para 224x224, descartando dados fora da região central (fonte).

Correção: Redimensione as imagens para quadrado antes de enviar ao IP-Adapter ou aceite a limitação de center-crop.

Citação verificável: "As the image is center cropped in the default image processor of CLIP, IP-Adapter works best for square images. But you can just resize to 224x224 for non-square images." (fonte)

Erro: pesos altos queimam a imagem

Sintoma: Artefatos visuais, clareamento dos detalhes da imagem ou cores estouradas em configurações altas de peso do IP-Adapter.

Causa: O parâmetro embeds_scaling padrão produz artefatos em pesos acima de 1.0 (fonte).

Correção: Use "K+mean(V) w/ C penalty" para embeddings_scaling em pesos maiores.

Citação verificável: "This parameter has a small impact on how the model reacts to text prompting. K+mean(V) w/ C penalty grants good quality at high weights (>1.0) without burning the image." (fonte)

FAQ

O que acontece quando você usa um prompt vazio no inpainting do Stable Diffusion?

Um prompt vazio gera o embedding incondicional, que não carrega nenhuma informação direcional. O modelo reverte para sua distribuição incondicional, produzindo conteúdo aleatório que não encaixa na imagem existente. É por isso que o Stable Diffusion básico "não funciona muito bem sem um prompt de texto" (fonte).

Veja também: o card do modelo Stable Diffusion Inpainting confirma que o modelo foi treinado com amostragem de guidance com classifier-free, que descarta a condicionamento de texto 10% do tempo, o que indica que ele foi construído para depender do texto como sinal de condicionamento principal (fonte).

Como o inpainting com IP-Adapter funciona sem um prompt de texto?

O IP-Adapter usa um codificador de imagem CLIP para extrair características da imagem existente e depois projeta essas características para o espaço de cross-attention do UNet via um adapter de 22M de parâmetros (fonte). Com scale=1.0 e text_prompt="", o adapter se torna o único sinal de orientação. O cross-attention do UNet recebe apenas características baseadas em imagem, que carregam informações semânticas suficientes para gerar conteúdo que combina com o estilo, a paleta de cores e a composição da imagem. Para um passo a passo completo das configurações de IPAdapter no ComfyUI, veja IPAdapter vs ControlNet vs Regional Prompter.

Por que o resultado do inpainting é aleatório sem um prompt?

Resultados aleatórios significam que você está usando o Stable Diffusion básico sem condicionamento por imagem. O modelo SD Inpainting foi treinado com 440k de passos de inpainting em resolução 512x512 sobre seus 595k de passos de treino base, mas ainda depende do texto como sinal de condicionamento principal (fonte).

Adicione orientação baseada em imagem usando o preprocessador inpaint_only+lama do ControlNet para alinhamento de bordas ou o IP-Adapter com scale=1.0 e text_prompt="" para preservação de estilo (fonte).

Qual é a diferença entre os preprocessadores inpaint_only e inpaint_only+lama?

Ambos são opções de pré-processamento do ControlNet disponíveis na extensão sd-webui-controlnet do A1111 e via comfyui_controlnet_aux no ComfyUI (fonte):

• inpaint_only: pré-processamento básico usando a geração de dicas de inpaint do ControlNet
• inpaint_only+lama: usa o algoritmo de inpainting LaMa para preencher área mascarada com conteúdo plausível antes de enviar como dica ao ControlNet

A variante +lama geralmente produz melhores resultados em cenários de inpainting desafiadores, mas com maior custo computacional.

Quando adicionar um prompt de texto piora a qualidade do inpainting?

A documentação do IP-Adapter observa que, para orientação apenas por imagem, defina scale=1.0 e text_prompt="" ou frases genéricas como "best quality". Para orientação combinada de imagem e texto, definir scale=0.5 geralmente produz bons resultados (fonte). Escalas maiores podem reduzir a consistência com o prompt de imagem, pois o modelo tenta equilibrar direções de sinal conflitantes.

Como fazer inpainting sem prompt no ComfyUI vs Automatic1111?

Automatic1111 (A1111):

• Usa a extensão sd-webui-controlnet (fonte)
• ControlNet inpaint_only+lama com opção "ControlNet is more important" (fonte)
• Interface mais simples, mas opções avançadas limitadas

ComfyUI:

• Usa comfyui_controlnet_aux mais ComfyUI_IPAdapter_plus (fonte)
• Entrada de inpaint do IP-Adapter no nó Apply IP Adapter para orientação combinada de imagem e ControlNet (fonte)
• Suporte ao workflow de Regional Prompting via nós Get/Set do ProfessorLich (fonte)

O ComfyUI oferece mais controle granular, mas exige familiaridade com o gráfico de nós. O A1111 oferece acesso mais fácil para inpainting básico sem prompt.