Dibujar a imagen con Scribble y Lineart ControlNet
Cuánto detalle necesita su boceto, qué tipo de ControlNet usar y el presupuesto de eliminación de ruido que preserva su composición a través de pasos…
On this page
Dibujar a imagen con Scribble y Lineart ControlNet
TL;DR
- Utilice Scribble ControlNet para bocetos a mano alzada y Lineart ControlNet para contornos con pluma y tinta; Ambos funcionan mejor cuando el dibujo es el insumo principal y el mensaje lo complementa en lugar de reemplazarlo.
- Mantenga el peso ControlNet entre 0,5 y 0,95; 0.6 es un punto de partida común para canalizaciones de boceto a imagen.
- Un presupuesto de eliminación de ruido de 0,3 en la pasada final preserva la composición al tiempo que agrega detalles: los valores más bajos protegen la estructura, los valores más altos agregan textura a costa de la fidelidad.
¿Qué tipo de dibujo necesitas?
Scribble ControlNet está diseñado para bocetos a mano alzada: formas aproximadas, figuras de palitos y contornos sueltos. No requiere líneas limpias ni proporciones precisas. el Página de ejemplos de ComfyUI proporciona una demostración de Scribble ControlNet utilizando el modelo AnythingV3 y un simple boceto a lápiz como entrada.
Lineart ControlNet es un modelo separado destinado a trazos más limpios y definidos: dibujos en tinta, bocetos arquitectónicos y dibujos lineales de anime. La guía ComfyUI de RunComfy enumera la variante Lineart como adecuada para "dibujos de líneas limpias" junto con las variantes Scribble diseñadas para manejar entradas más aproximadas. fuente.
el PintorNodo en ComfyUI le permite dibujar directamente en la interfaz del nodo y canalizar el resultado a ControlNet, con soporte para pinceles MyPaint y herramientas de simetría. Para obtener una guía de configuración completa de ComfyUI, consulte Introducción a ComfyUI.Primeros pasos con ComfyUI
¿Cuántos detalles necesita tu dibujo?
No existe un umbral cuantitativo publicado sobre cuánto detalle debe contener un boceto de ControlNet, pero la práctica de la comunidad de dibujo a imagen indica que deben estar presentes elementos estructurales clave: siluetas reconocibles, proporciones principales y un límite claro del tema. Es mejor dejar los detalles finos como rasgos faciales, texto u objetos pequeños a la capacidad generativa del modelo en lugar de dibujarlos explícitamente.
Un boceto a lápiz con las formas y posturas principales suele ser suficiente para que Scribble ControlNet produzca un resultado coherente. Agregar más detalles aumenta la dependencia del modelo en su dibujo y reduce su libertad para interpretar la indicación. Si encuentra que el resultado ignora su mensaje, es posible que el dibujo sea demasiado detallado; Si el resultado pierde estructura, el dibujo puede ser demasiado vago.
Scribble ControlNet espera dibujos lineales simplificados como entrada. La página de ejemplos de ComfyUI señala que los modelos ControlNet requieren imágenes preprocesadas en un formato específico: el nodo ControlNetApply no convierte fotografías normales automáticamente; debes preprocesarlos por separado fuente.
El presupuesto de Denoise: manteniendo su composición
En el flujo de trabajo de "corrección de alta resolución" de XL6 Hephaistos, la pasada de segunda generación utiliza un valor de eliminación de ruido de 0,3, que se describe como que funciona "como una corrección de alta resolución". La guía es bajarlo cuando el resultado altere demasiado la imagen y subirlo cuando quieras más detalles. fuente.
El modelo de aceleración LCM: utilizado en el flujo de trabajo de dibujo2img con LCM_LoRA_Weights_SD15.safetensors — reduce los pasos de inferencia a 2–8 para los modelos SD 1.5 fuente, lo que hace que sea práctico iterar rápidamente al ajustar el presupuesto de denoise. La escala de guía recomendada está entre 1,0 y 2,0, o está deshabilitada por completo fuente. Obtenga más información sobre aceleración LCM LoRA.
Comparación de flujo de trabajo
Aspecto | Scribble ControlNet (dibujo2img) | Corrección de alta resolución de XL6 Hephaistos | Cascada estable
|--------|----------------------------------|-----------------------|----------------
Modelo básico | SD 1.5 con LCM LoRA | SD 1.0XL | Cascada estable 3.6B ControlPeso neto | 0,6 (rango sugerido 0,5–0,95) | N/A (utiliza refinador + exclusivo) | 0.5 (ejemplo de ControlNet) Pasos | 2–8 (LCM acelerado) | 75 base + 5 refinador + segundo pase | 30 (anterior) + 10 (decodificador) Denoise (pase final) | N/A | 0,3 | N/A Requisito de VRAM | ~8 GB (SD 1,5 LCM) | ~12GB (bf16) | 5–22 GB dependiendo de la precisión Método exclusivo | N/A | superresolución x4 + reducción de escala x0.5 | N/A Fuente | dibujo2img.json | civitai.com/articles/1648 | civitai.com/articles/4161 Ver el [Fuentes(#sources) sección para URL completas y referencias por columna.
Errores y soluciones comunes
El modelo parece ignorar el boceto. El dibujo puede ser demasiado vago: ControlNet necesita una estructura de trazos clara para guiar la generación. Intente aumentar el grosor de la línea o agregar contornos más definidos. fuente.
La composición de salida se desvía del boceto. Esto generalmente significa que el valor de eliminación de ruido es demasiado alto en la pasada final. Bájelo a 0,2 o menos para reforzar la fidelidad de la composición, o súbalo a 0,4-0,5 si desea más detalles y está dispuesto a aceptar cambios estructurales. El autor de XL6 Hephaistos recomienda 0,3 como punto de partida equilibrado fuente.
Errores de falta de memoria con Stable Cascade. Utilice las variantes bf16 o Lite: Stage B bf16 + Stage C bf16 se ejecuta a ~12 GB y el combo Lite a ~5 GB. fuente. La combinación Stage B + Stage C de precisión total requiere ~22 GB fuente.fuente
La aceleración LCM no se activa. Asegúrese de que el programador esté cambiado a LCMScheduler y guiado_scale está entre 1,0 y 2,0 (o establecido en 0 para generación sin orientación) fuente.fuente
Preguntas frecuentes
¿Cuál es la diferencia entre Scribble y Lineart ControlNet?
Scribble ControlNet está capacitado para realizar bocetos aproximados a mano alzada y tolera líneas imprecisas. Lineart ControlNet espera trazos limpios y definidos y produce una adherencia estructural más nítida. Utilice Scribble para bocetos conceptuales aproximados y Lineart para dibujos refinados. fuente. Para obtener más información, consulte Explicación de los tipos de ControlNet.Tipos de ControlNet explicados
¿LCM-LoRA es compatible con todos los modelos SD?
LCM-LoRA viene en variantes específicas del modelo: una versión SD 1.5 (67,5 millones de parámetros) y una versión SDXL (197 millones de parámetros). Debes hacer coincidir el LoRA con tu modelo base. El flujo de trabajo de dibujo2img utiliza la variante SD 1.5 fuente, fuente.fuente
¿Puedo utilizar este flujo de trabajo en una GPU de 8 GB?
La variante Stable Cascade lite (Stage B Lite + Stage C Lite) funciona a ~8 GB. El flujo de trabajo SD 1.5 LCM requiere menos VRAM. Para cualquier GPU con al menos 6 GB de VRAM, el flujo de trabajo SD 1.5 LCM con aceleración LCM a 512×512 puede ejecutarse cómodamente fuente.
¿Con qué peso ControlNet debo empezar?
El flujo de trabajo de dibujo2img lo establece en 0,6 y el nodo Nota asociado sugiere el rango entre 0,5 y 0,95. fuente. Comience en 0,5 y aumente si la salida es demasiado floja; disminuir si el boceto domina el resultado.
¿Stable Cascade es compatible con ControlNet?
La tarjeta modelo de Stable Cascade en HuggingFace incluye "ControlNet" entre sus extensiones compatibles junto con capacitación y ajuste de LoRA fuente.
¿Cómo conservo la composición de mi boceto mediante la ampliación?
El flujo de trabajo de XL6 Hephaistos utiliza un enfoque de dos pasadas: generar con resolución base, aumentar 4×, reducir 50% y luego ejecutar una segunda pasada con baja eliminación de ruido (0,3). El paso de reducción de escala vuelve a anclar la composición antes del paso de refinamiento final. fuente.
Fuentes
- https://raw.githubusercontent.com/ecjojo/ComfyUI-Templates/main/Civitai_Workflow/drawing2img.json — JSON de flujo de trabajo de dibujo2img: intensidad ControlNetApply 0,6, nodo de nota "0,5 ~ 0,95", entrada PainterNode, LCM LoRA SD15
- https://civitai.com/articles/1648 — Flujo de trabajo de XL6 Hephaistos: pasos de refinación, eliminación de ruido 0.3, canalización de corrección de alta resolución
- https://civitai.com/articles/4161 — Requisitos de VRAM en cascada estable, tamaños de modelos y compatibilidad con ControlNet
- https://huggingface.co/stabilityai/stable-cascade — Arquitectura en cascada estable, factor de compresión 42, compatibilidad con ControlNet
- https://huggingface.co/latent-consistency/lcm-lora-sdxl — LCM-LoRA SDXL: 2 a 8 pasos, escala_guía 1,0–2,0, ejemplo de ControlNet con escala_acondicionamiento=0,5
- https://huggingface.co/latent-consistency/lcm-lora-sdv1-5 — LCM-LoRA SD 1.5: 2 a 8 pasos, ejemplo de ControlNet con condition_scale=0,8
- https://comfyanonymous.github.io/ComfyUI_examples/controlnet/ — Ejemplo de Scribble ControlNet, requisitos de preprocesamiento, eficiencia del adaptador T2I
- https://raw.githubusercontent.com/AlekPet/ComfyUI_Custom_Nodes_AlekPet/master/PainterNode/README.md — Funciones de PainterNode para entrada de bocetos