ControlNet para trabalho de personagens e quadrinhos: Canny, Normal e Panel Continuity

ControlNet adiciona condicionamento espacial a modelos de difusão através de caminhos de convolução zero. Para quadrinhos, isso permite controle de linha, poses repetidas de personagens e continuidade de estilo entre painéis. Este artigo aborda a detecção de bordas Canny, mapas normais para rotação 3D, referência para transferência de estilo e empilhamento de vários ControlNets juntos.

Para depurar gerações espacialmente inconsistentes, consulte Erros e correções comuns do ControlNet.

DR

1. Use a detecção de bordas do Canny para arte de linha e estrutura de pose editadas à mão.
2. Use mapas normais de um editor 3D quando precisar de rotação precisa da cabeça ou do corpo.
3. Use o Reference ControlNet para atmosfera e continuidade de iluminação em painéis de quadrinhos.
4. Stack Canny + Pose + Reference para o controle painel a painel mais confiável.

Tipo de controle | Melhor para --- | --- Astuto | Estrutura de linha, poses exageradas, armas OpenPose | Esqueleto humano, anatomia padrão Normais | Rotação estilo 3D, controle de orientação profissional Referência | Cor, iluminação, continuidade da atmosfera Profundidade | Layout de cena espacial Fonte: pontos fortes do tipo controle extraídos dos artigos originais do dossiê (494, 1100, 275) e da referência ControlNet.

Fonte: Padrões comuns de uso do ControlNet; veja Guia de mixagem ComfyUI. Guia ControlNet Multi-ControlNet Guia de configuração de referência do ControlNet Referência de mapa normal do ControlNet

O que é o controle de borda Canny

Canny aplica histerese de limite duplo para detectar gradientes de intensidade, produzindo mapas de bordas binárias com linhas brancas em preto. O modelo ControlNet Canny (control_v11p_sd15_canny.pth) foi treinado em mapas de Canny gerados com limites aleatórios, tornando-o robusto à variação de limites.

O pré-processador Canny usa cv2.Canny(img, low_threshold, high_threshold) com valores padrão de baixo=100 e alto=200. No ControlNet, Canny restringe a estrutura da linha sem ditar a textura, para que você possa reutilizar a mesma folha de borda em várias gerações de estilos.

Configurações de limite astutas

O pré-processador ControlNet Canny expõe dois limites: baixo e alto. Com padrões próximos de baixo=100 e alto=200, a abordagem recomendada é manter o máximo de linhas possível, evitando linhas duplas (artigo fonte 494).

Como preservar a consistência das linhas nos painéis de quadrinhos

Mantenha um mapa mestre do Canny para o personagem e reutilize-o em todos os painéis que compartilham essa pose. Para batidas de ação, duplique o mapa mestre e pinte apenas os membros alterados. Para close-ups dramáticos, redesenhe a folha Canny e mantenha a espessura da linha consistente com o esboço original. Etapa do painel | Ação --- | --- 1 | Bloqueie a pose do personagem em uma camada de esboço e verifique a legibilidade da silhueta 2 | Gere um mapa Canny básico e corte o ruído em frações de segundo 3 | Reutilize a mesma pilha Canny para cada painel que compartilhe o design 4 | Nas passagens de pintura, mascare apenas a região em mudança e mantenha o peso de Canny constante Para fundos de quadrinhos, combine Canny com Reference. A referência herda a cor e a atmosfera de um quadro de referência, o que ajuda na continuidade do fundo sem exigir que o artista do fundo combine exatamente cada painel. Se o fundo precisar permanecer idêntico, use a Referência ControlNet com peso 0,6–0,8 com controle de etapa final em torno de 0,75.

Mapas normais para rotação da cabeça em estilo 3D

ControlNet Normal aceita um mapa onde RGB codifica a orientação da superfície (azul para frente, vermelho para esquerda, verde para cima). Quando um editor 3D exporta esse mapa de um modelo girado, as normais dos pixels mudam de acordo, dando ao modelo uma sugestão de rotação compatível com 3D sem sombreamento incorporado.

Comece com Peso de Controle em torno de 0,5, depois aumente somente se o novo ângulo não for respeitado. Não defina o peso para 1,0; Normal fornece um controle mais fraco do que os tipos baseados em linha e pode distorcer rapidamente se o modelo base for diferente do estilo de destino.

Consulte ControlNet para continuidade

O Reference ControlNet orienta a difusão vinculando a atenção a uma imagem de referência, tornando-o útil para continuidade de cores cômicas, transições de iluminação e atmosfera. As duas variantes são reference-adain e referência-adain+attn; a variante attn geralmente funciona melhor porque evita uma tela inicial em branco.reference-adain+attn

Mantenha a fidelidade do estilo perto de 0,8–0,9. Valores mais altos aumentam o risco de sangramento de cor e superexposição. Termine a influência de referência na etapa 0,75 para que a remoção de ruído posterior dê espaço criativo ao modelo.

Tipos de controle de empilhamento para quadrinhos

No A1111 habilite o Multi-ControlNet e conecte cada tipo de controle à sua própria unidade. No ComfyUI, encadeie Apply ControlNet nós em sequência e termina com verificações de saldo. Boas pilhas de quadrinhos incluem Canny + OpenPose para controle corporal, Canny + Depth para profundidade do ambiente e Canny + Reference para continuidade artística. Combinação | Objetivo --- | --- Canny + Referência | Estrutura de linha com herança de cor/iluminação Astuto + Profundidade | Estrutura de linha com layout espacial Canny + OpenPose | Estrutura de linha com correção de esqueleto Referência + Profundidade | Atmosfera de fundo com sensação espacial Ao empilhar, equilibre os parâmetros de força para evitar que um tipo de controle domine a saída.

Erros e correções comuns

Sintoma | Causa | Correção --- | --- | --- Contrata conserto atrapalha Saída de referência | Os mapas de atenção de referência são calculados na resolução básica; Contrata aprimora latentes após injeção, desalinhando mapas de atenção | Use peso ControlNet mais baixo ou aplique manualmente a correção Hires após gerar o resultado em resolução total. Considere usar reference_only com style_fidelity em torno de 0,5.style_fidelity Mapa normal distorce rosto | Peso acima de 0,5 com referência 3D incompatível | Reduza o peso para 0,5 e combine com Canny

Perguntas frequentes

Como combino Canny e Pose ControlNet para um personagem com proporções exageradas?

Use Canny como controle principal e Pose como guia secundário. Defina o peso do Canny como 0,9 e a pose como 0,6–0,8. Isso dá ao Canny domínio sobre a estrutura da linha, enquanto o Pose mantém a linguagem corporal legível.

Posso usar o mapa Normal de um editor 3D para girar a cabeça de um personagem?

Sim. Carregue um modelo no Editor 3D A1111, mude o modo de exibição para NORMAL, gire a vista e envie-a para ControlNet. Defina Control Weight próximo de 0,5 e desative o pré-processador se o mapa vier diretamente do renderizador.

Qual é a melhor maneira de conseguir continuidade painel a painel em uma história em quadrinhos?

Faça uma folha de borda mestre Canny para cada pose de personagem e um quadro de referência para cada tom de fundo. Reutilize essas pilhas em todos os painéis. Se os painéis compartilharem o mesmo local, reutilize a mesma imagem de referência sem retocar a fidelidade do estilo.

Por que o Reference ControlNet perde detalhes com a correção do Hires?

A atenção de referência foi projetada na resolução básica. O upscaling de alta resolução move a tela após a injeção, desalinhando a orientação do estilo. Use peso de referência inferior e controle de referência final na etapa 0,75; caso contrário, gere na resolução desejada em vez de depender do aumento de escala (fonte: artigo 275).

Como equilibro vários ControlNets sem sobrecarregar o prompt?

A classificação controla por importância: o mais forte primeiro, o mais fraco por último. Termine os controles mais fracos na etapa 0,5–0,7. Mantenha o prompt simples – uma descrição clara da cena funciona melhor do que muitas tags de estilo quando a força do controle é alta.

Fontes

Fonte | Contribuição --- | --- https://github.com/lllyasviel/ControlNet-v1-1-nightly#controlnet-11-canny | Arquivo de modelo Canny, dados de treinamento, limites padrão https://raw.githubusercontent.com/lllyasviel/ControlNet/main/gradio_canny2image.py | Padrão baixo = 100, alto = 200 e implementação do pré-processador https://github.com/lllyasviel/ControlNet-v1-1-nightly#controlnet-11-normal | Arquivo de modelo de mapa normal e documentação do protocolo NYU-V2 https://github.com/Mikubill/sd-webui-controlnet#reference-only-control | Pré-processador somente de referência e orientação de estilo baseada em atenção https://robot9.me/2024/07/15/ReferenceNet-ReferenceOnly-Reference-ControlNet/ | Mecanismo de referência, comportamento de fidelidade de estilo https://docs.comfy.org/tutorials/controlnet/mixing-controlnets | Encadeamento Multi-ControlNet e conselhos de balanceamento de força https://civitai.com/articles/494 | Canny vs OpenPose e Depth para quadrinhos e mãos https://civitai.com/articles/1100 | Editor 3D Fluxo de trabalho normal e recomendação de peso https://civitai.com/articles/275 | Uso de referência, fidelidade de estilo e limitações de correção de contratações