ControlNet para trabajos de personajes y cómics: continuidad astuta, normal y de panel

ControlNet agrega acondicionamiento espacial a los modelos de difusión a través de vías de convolución cero. En el caso de los cómics, esto permite el control de líneas, las poses repetidas de los personajes y la continuidad del estilo en todos los paneles. Este artículo cubre la detección de bordes de Canny, mapas normales para rotación 3D, referencia para transferencia de estilo y apilamiento de múltiples ControlNets juntos.

Para depurar generaciones espacialmente inconsistentes, consulte Errores comunes y soluciones de ControlNet.

TL;DR

1. Utilice la detección de bordes de Canny para líneas artísticas y estructuras de poses editadas a mano.
2. Utilice mapas normales de un editor 3D cuando necesite una rotación precisa de la cabeza o el cuerpo.
3. Utilice Reference ControlNet para la atmósfera y la continuidad de la iluminación en los paneles de cómics.
4. Stack Canny + Pose + Reference para obtener el control panel a panel más confiable.

Tipo de control | Lo mejor para --- | --- Astuto | Estructura de líneas, poses exageradas, armas. Pose abierta | Esqueleto humano, anatomía estándar. Normales | Rotación estilo 3D, control de orientación profesional. Referencia | Color, iluminación, continuidad del ambiente. Profundidad | Diseño de escena espacial Fuente: fortalezas de tipo control extraídas de los artículos fuente del expediente (494, 1100, 275) y la referencia de ControlNet.

Fuente: Patrones de uso comunes de ControlNet; ver Guía de mezcla ComfyUI. Guía ControlNet Multi-ControlNet Guía de configuración de referencia de ControlNet Referencia del mapa normal de ControlNet

¿Qué es el control de bordes Canny?

Canny aplica histéresis de doble umbral para detectar gradientes de intensidad, produciendo mapas de bordes binarios con líneas blancas sobre negro. El modelo ControlNet Canny (control_v11p_sd15_canny.pth) se entrenó en mapas Canny generados con umbrales aleatorios, lo que lo hace resistente a la variación de umbrales.

El preprocesador Canny utiliza cv2.Canny(img, low_threshold, high_threshold) con valores predeterminados de bajo=100 y alto=200. En ControlNet, Canny restringe la estructura de líneas sin dictar la textura, por lo que puede reutilizar la misma hoja de borde en múltiples generaciones de estilos.

Configuración de umbral astuto

El preprocesador ControlNet Canny expone dos umbrales: bajo y alto. Con valores predeterminados cercanos a bajo=100 y alto=200, el enfoque recomendado es mantener tantas líneas como sea posible evitando líneas dobles (artículo fuente 494).

Cómo preservar la coherencia de las líneas en los paneles de cómics

Mantenga un mapa maestro de Canny para el personaje y reutilícelo en todos los paneles que comparten esa pose. Para ritmos de acción, duplica el mapa maestro y pinta solo las extremidades modificadas. Para primeros planos espectaculares, vuelva a dibujar la hoja de Canny y mantenga el grosor de la línea coherente con el boceto original. Paso del panel | acción --- | --- 1 | Bloquear la pose del personaje en una capa de boceto y comprobar la legibilidad de la silueta 2 | Genere un mapa Canny base y recorte el ruido en una fracción de segundo 3 | Reutilice la misma pila Canny para cada panel que comparta el diseño 4 | En pases de pintura, enmascare solo la región cambiante y mantenga constante el peso de Canny. Para fondos de cómic, combina Canny con Reference. Reference hereda el color y la atmósfera de un marco de referencia, lo que ayuda a la continuidad del fondo sin necesidad de que el artista del fondo haga coincidir cada panel exactamente. Si el fondo debe permanecer idéntico, utilice ControlNet Reference con un peso de 0,6 a 0,8 con un control de paso final de alrededor de 0,75.

Mapas normales para rotación de cabeza estilo 3D

ControlNet Normal acepta un mapa donde RGB codifica la orientación de la superficie (azul para adelante, rojo para izquierda, verde para arriba). Cuando un editor 3D exporta ese mapa desde un modelo rotado, las normales de píxeles cambian en consecuencia, dándole al modelo una señal de rotación compatible con 3D sin sombreado.

Comience con el Peso de Control alrededor de 0,5, luego levántelo sólo si no se respeta el nuevo ángulo. No establezca el peso en 1,0; Normal proporciona un control más débil que los tipos basados ​​en líneas y puede distorsionarse rápidamente si el modelo base difiere del estilo de destino.

ControlNet de referencia para continuidad

Reference ControlNet guía la difusión vinculando la atención a una imagen de referencia, lo que la hace útil para la continuidad del color de los cómics, las transiciones de iluminación y la atmósfera. Las dos variantes son reference-adain y referencia-adain+attn; la variante attn suele funcionar mejor porque evita un lienzo inicial en blanco.reference-adain+attn

Mantenga la fidelidad del estilo entre 0,8 y 0,9. Los valores más altos aumentan el corrimiento del color y el riesgo de sobreexposición. Termine la influencia de referencia en el paso 0,75 para que luego la eliminación de ruido le dé al modelo espacio creativo.

Tipos de control de apilamiento para cómics

En A1111, habilite Multi-ControlNet y conecte cada tipo de control a su propia unidad. En ComfyUI, cadena Apply ControlNet nodos en secuencia y finalizar con comprobaciones de saldo. Las buenas pilas de cómics incluyen Canny + OpenPose para el control del cuerpo, Canny + Depth para la profundidad del entorno y Canny + Reference para la continuidad artística. Combinado | Propósito --- | --- Astuto + Referencia | Estructura de líneas con herencia de color/iluminación. Astuto + Profundidad | Estructura de líneas con disposición espacial. Astuto + OpenPose | Estructura de líneas con corrección de esqueleto. Referencia + Profundidad | Atmósfera de fondo con sensación espacial. Al apilar, equilibre los parámetros de fuerza para evitar que un tipo de control domine la salida.

Errores y correcciones comunes

Síntoma | Causa | Arreglar --- | --- | --- La solución de contrataciones interrumpe la salida de referencia | Los mapas de atención de referencia se calculan con una resolución base; Contrataciones mejoran las señales latentes después de la inyección, desalineando los mapas de atención | Utilice un peso ControlNet más bajo o aplique manualmente la corrección Hires después de generar el resultado de resolución completa. Considere usar reference_only con style_fidelity alrededor de 0,5.style_fidelity El mapa normal distorsiona la cara | Peso superior a 0,5 con referencia 3D no coincidente | Baja el peso a 0,5 y combínalo con Canny

Preguntas frecuentes

¿Cómo combino Canny y Pose ControlNet para un personaje con proporciones exageradas?

Utilice Canny como control principal y Pose como guía secundaria. Establezca el peso de Canny en 0,9 y Pose en 0,6–0,8. Esto le da a Canny dominio sobre la estructura de las líneas, mientras que Pose mantiene el lenguaje corporal legible.

¿Puedo usar el mapa Normal de un editor 3D para rotar la cabeza de un personaje?

Sí. Cargue un modelo en el editor 3D A1111, cambie el modo de visualización a NORMAL, gire la vista y envíela a ControlNet. Establezca el Peso de control cerca de 0,5 y el preprocesador esté apagado si el mapa proviene directamente del renderizador.

¿Cuál es la mejor manera de lograr la continuidad de un panel a otro en un cómic?

Crea una hoja maestra de Canny Edge para cada pose de personaje y un marco de referencia para cada tono de fondo. Reutilice esas pilas en todos los paneles. Si los paneles comparten la misma ubicación, reutilice la misma imagen de referencia sin retocar la fidelidad del estilo.

¿Por qué Reference ControlNet pierde detalles con la corrección de Hires?

La atención de referencia se diseñó con una resolución base. La mejora de escala de alta resolución mueve el lienzo después de la inyección, desalineando la guía de estilo. Utilice un peso de referencia más bajo y finalice el control de referencia en el paso 0,75; de lo contrario, generar con la resolución objetivo en lugar de depender de la ampliación (fuente: artículo 275).

¿Cómo equilibro varios ControlNets sin abrumar el mensaje?

Controles de clasificación por importancia: los más fuertes primero, los más débiles al final. Ponga fin a los controles más débiles en los pasos 0,5 a 0,7. Mantenga el mensaje simple: una descripción clara de la escena funciona mejor que muchas etiquetas de estilo cuando el nivel de control es alto.

Fuentes

Fuente | Contribución --- | --- https://github.com/lllyasviel/ControlNet-v1-1-nightly#controlnet-11-canny | Archivo de modelo Canny, datos de entrenamiento, umbrales predeterminados https://raw.githubusercontent.com/lllyasviel/ControlNet/main/gradio_canny2image.py | Valor predeterminado bajo=100, alto=200 e implementación de preprocesador https://github.com/lllyasviel/ControlNet-v1-1-nightly#controlnet-11-normal | Archivo de modelo de mapa normal y documentación del protocolo NYU-V2 https://github.com/Mikubill/sd-webui-controlnet#reference-only-control | Preprocesador de solo referencia y guía de estilo basada en la atención https://robot9.me/2024/07/15/ReferenceNet-ReferenceOnly-Reference-ControlNet/ | Mecanismo de referencia, comportamiento de fidelidad de estilo. https://docs.comfy.org/tutorials/controlnet/mixing-controlnets | Asesoramiento sobre encadenamiento y equilibrio de fuerza Multi-ControlNet https://civitai.com/articles/494 | Canny vs OpenPose y Depth para cómics y manos https://civitai.com/articles/1100 | Editor 3D Flujo de trabajo normal y recomendación de peso. https://civitai.com/articles/275 | Limitaciones de corrección de uso de referencia, fidelidad de estilo y contrataciones