Qwen-Image en ComfyUI: configuración y desplazamiento
Configuración de Qwen-Image en ComfyUI: archivos del modelo, codificador de texto, solución al desplazamiento de imagen y comparación con FLUX y SDXL
On this page
Qwen-Image en ComfyUI: solución al desplazamiento y configuración
TL;DR
- Qwen-Image es un modelo MMDiT de 20B con codificador de texto Qwen2.5-VL-7B para edición de imágenes con doble codificación [1][2][3]
- El problema de desplazamiento se corrige escalando la entrada a 1024 px en el lado más corto antes de la codificación VAE [8]
- Los samplers RES4LYF ofrecen 69 opciones con muestreo RES_3S optimizado a 8 pasos [10]
- Qwen-Image supera a FLUX/SDXL en la representación de texto complejo en chino e inglés [12][13]
Qwen-Image es un modelo base MMDiT de 20B parámetros para generación de texto a imagen y de imagen a imagen. En ComfyUI, requiere tres archivos principales de modelo — un UNET, un VAE y un codificador de texto — además del tokenizador Qwen2.5-VL-7B. La comunidad ha desarrollado flujos de trabajo que abordan un conocido problema de desplazamiento de imagen mediante escalado de entrada, mientras que los samplers RES4LYF proporcionan un muestreo optimizado a 8 pasos para la dinámica AuraFlow de Qwen-Image.
Archivos del modelo y configuración del codificador de texto
Componentes principales de la arquitectura
Qwen-Image es un modelo base MMDiT de 20B parámetros [1]. El modelo requiere tres archivos clave para la configuración en ComfyUI [2]:
- Pesos UNET:
qwen_image_edit_fp8_e4m3fn.safetensors(cuantizado FP8 E4M3FN) - Pesos VAE:
qwen_image_vae.safetensors - Codificador de texto:
qwen_2.5_vl_7b_fp8_scaled.safetensorscon tipo CLIPqwen_image
El codificador de texto carga Qwen2.5-VL-7B usando QwenImageTokenizer y QwenImageTEModel desde los módulos principales de codificador de texto de ComfyUI [3]. El tokenizador envuelve Qwen2Tokenizer de HuggingFace transformers con una longitud de contexto de 99999999 (efectivamente ilimitada), distinguiéndose de los tokenizadores CLIP estándar [3]. Usa sistemas de plantillas llama con plantillas separadas para imagen y texto, permitiendo la representación bilingüe de texto (inglés/chino) de Qwen-Image durante la generación de texto a imagen y de imagen a imagen [3].
Configuración de nodos en ComfyUI
El nodo CLIPLoader carga el codificador de texto con configuraciones específicas de widgets [4]:
- Archivo del codificador de texto:
qwen_2.5_vl_7b_fp8_scaled.safetensors - Configuración del tipo CLIP:
qwen_image - Dispositivo de cálculo:
cpu
El nodo TextEncodeQwenImageEdit es un nodo personalizado para el pipeline Qwen-Image-Edit que acepta tres entradas — clip, vae e image — permitiendo el mecanismo de doble codificación donde Qwen2.5-VL proporciona control semántico mientras que el codificador VAE proporciona control de apariencia [5].
ComfyUI mapea nativamente Qwen-Image al formato latente Wan21 con un desplazamiento de muestreo de 1.15, consistente en la clase de pipeline QwenImage [6].
El problema de desplazamiento de imagen y cómo solucionarlo
Comprensión del problema
Qwen-Image-Edit genera imágenes de salida donde la composición está espacialmente desalineada respecto a la entrada — las proporciones de los personajes están distorsionadas y la imagen general está desplazada [7]. La causa raíz dentro de la trayectoria de denoising del modelo no está documentada en el material fuente; el flujo de trabajo mitiga el síntoma mediante estandarización de entrada [7].
Flujo de trabajo de corrección del desplazamiento
El flujo de trabajo de corrección del desplazamiento aplica una solución de varios pasos usando nodos utilitarios [2][7]:
- Estandarización de entrada: LayerUtility: ImageScaleByAspectRatio V2 redimensiona las imágenes de entrada preservando la relación de aspecto usando relleno de letterbox con fondo negro (
#000000) y remuestreo Lanczos, escalando el lado más corto a 1024 píxeles [8]. Esto asegura que la entrada al codificador VAE tenga dimensiones consistentes antes de la codificación.
- Coherencia del espacio latente: FluxKontextImageScale vuelve a escalar la representación latente de la imagen para mantener la coherencia espacial en el espacio latente durante el procesamiento [8]. El nodo se conecta a VAEEncode.pixels y es específico de la arquitectura tipo flux/kontext.
- Comparación visual: AILab_ImageStitch combina la imagen de entrada procesada (izquierda) con la salida generada (derecha) para una comparación lado a lado [8]. El modo de unión se establece en "right" con fondo blanco (
#FFFFFF). Un nodo secundario Image Comparer de rgthree proporciona una comparación A/B visual adicional.
La corrección principal opera escalando la entrada a una dimensión consistente (1024 px en el lado más corto) antes de la codificación, evitando la desalineación dependiente de la dimensión que Qwen-Image-Edit muestra en resoluciones nativas [8]. El flujo de trabajo contiene 20 nodos en total, incluyendo los nodos utilitarios específicos del desplazamiento y componentes estándar de ComfyUI [8].
Aclaración importante sobre el uso de LoRA
El artículo de corrección del desplazamiento enlaza al modelo Civitai 1934100 ("Anime2Real") como LoRA para la generación de imágenes [7]. Sin embargo, este LoRA es un Flux.2 Klein LoRA para transferencia de estilo anime a realista — no un LoRA de Qwen-Image. El flujo de trabajo de corrección del desplazamiento real usa Qwen-Image-Lightning-4steps-V1.0.safetensors y Temp\Anime to Realism-plus-1.0.safetensors, que son distintos del modelo 1934100 [8][9]. La inclusión del enlace del modelo 1934100 en el artículo fuente puede indicar otras obras del autor o una plantilla de flujo de trabajo compartida, pero su conexión directa con la corrección de desplazamiento de Qwen-Image no está establecida.
Muestreo RES4LYF para Qwen-Image
RES4LYF reemplaza el KSampler estándar de ComfyUI por ClownsharKSampler_Beta, proporcionando 69 samplers seleccionables entre modos ODE y SDE [10]. El desglose de samplers incluye 44 samplers explícitos, 18 samplers completamente implícitos y 7 samplers implícitos diagonales [10]. Para la dinámica AuraFlow de Qwen-Image, los samplers res_3s y res_2s a 8 pasos con el scheduler bong_tangent producen salidas de alta calidad [8][7].
El nodo ModelSamplingAuraFlow anula el desplazamiento predeterminado de 1.15 a 1.98 en el flujo de trabajo hires, expandiendo la trayectoria de muestreo para capturar detalles finos en resoluciones más altas [11]. La documentación de RES4LYF lista soporte para modelos de flujo rectificado incluyendo SD3.5, AuraFlow, Flux, HiDream y Chroma, por lo que la compatibilidad con Qwen-Image se infiere de su uso de la dinámica de flujo rectificado AuraFlow [10].
Qwen-Image frente a FLUX y SDXL
Capacidades de representación de texto
El principal diferenciador de Qwen-Image es la representación compleja de texto mediante entrenamiento progresivo de no texto a descripciones a nivel de párrafo, con soporte nativo para scripts alfabéticos (inglés) y logográficos (chino) [12]. FLUX y SDXL no igualan la fidelidad de representación de texto de Qwen-Image para caracteres chinos ni para diseños complejos de múltiples regiones [13].
Los modelos FLUX usan una arquitectura de flujo rectificado similar a Qwen-Image pero emplean codificadores de texto separados CLIP-L y T5-XXL [14]. SDXL usa una arquitectura UNet con codificadores de texto CLIP-L/OpenCLIP-G, que son estructuralmente más simples y menos capaces para la representación multilingüe de texto [13]. Ni FLUX ni SDXL incluyen un codificador visual comparable a Qwen2.5-VL para el condicionamiento de imagen durante la generación de texto.
Compromisos del ecosistema
FLUX y SDXL tienen ecosistemas comunitarios mucho más grandes, soporte más extenso de nodos ComfyUI y mejor documentación [13]. Las capacidades de edición de Qwen-Image-Edit — control dual semántico más apariencia y edición precisa de texto bilingüe — son únicas entre estos modelos pero tienen el costo de una base de usuarios más pequeña y menos flujos de trabajo comunitarios [5].
Comparación de arquitecturas
| Modelo | Parámetros | Arquitectura | Codificadores de texto |
|---|---|---|---|
| Qwen-Image | 20B | MMDiT | Tokenizador personalizado Qwen2.5-VL |
| FLUX | 12B DiT | Flujo rectificado DiT | CLIP-L + T5-XXL |
| SDXL | ~3.5B UNet | UNet + VAE | CLIP-L + OpenCLIP-G |
FAQ
¿Cómo configuro el codificador de texto para Qwen-Image en ComfyUI? Usa el nodo CLIPLoader con qwen_2.5_vl_7b_fp8_scaled.safetensors y establece el tipo CLIP en qwen_image. Esto carga QwenImageTokenizer que usa el sistema de plantillas llama.
¿Qué causa el problema de desplazamiento de imagen en Qwen-Image-Edit y cómo lo soluciono? El desplazamiento es una desalineación espacial donde la composición de salida se desplaza respecto a la entrada. La solución escala la entrada a un lado más corto consistente de 1024 px usando relleno de letterbox antes de la codificación VAE, evitando la desalineación dependiente de la dimensión.
¿Cómo ayuda el nodo AILab_ImageStitch con el desplazamiento de imagen en los flujos de trabajo de Qwen? Proporciona una comparación visual lado a lado de las salidas originales versus generadas usando un diseño de unión derecha con fondo blanco, permitiendo la evaluación visual de la corrección del desplazamiento.
¿Qué diferencia hay entre KSampler y ClownsharKSampler_Beta para Qwen-Image? ClownsharKSampler_Beta ofrece 69 samplers incluyendo RES_3S optimizado a 8 pasos para la dinámica AuraFlow, mientras que el KSampler estándar carece de optimización dedicada de flujo rectificado.
¿Puedo usar samplers RES4LYF con Qwen-Image-Edit o solo con la base Qwen-Image? La documentación de RES4LYF soporta modelos de flujo rectificado en general. Los flujos de trabajo usan ModelSamplingAuraFlow que se mapea al comportamiento de muestreo AuraFlow, por lo que la compatibilidad se infiere pero no se confirma explícitamente en la documentación de RES4LYF.
¿Qué es QwenImageTokenizer y en qué se diferencia de CLIPTokenizer? QwenImageTokenizer envuelve Qwen2Tokenizer con plantillas de prompt llama, proporciona una longitud de contexto de 99999999 (efectivamente ilimitada) y maneja scripts en inglés y chino de forma nativa — a diferencia de CLIPTokenizer, diseñado para la familia de codificadores de texto CLIP.
¿Cuál es la relación entre Qwen-Image y Flux en términos de arquitectura? Ambos usan dinámicas de flujo rectificado, pero Qwen-Image añade el codificador visual Qwen2.5-VL para doble condicionamiento (semántico + apariencia) y entrenamiento progresivo especializado para representación de texto.
Errores comunes y soluciones
| Síntoma | Causa | Solución |
|---|---|---|
| Desplazamiento de imagen / distorsión de proporciones de personajes | Desalineación espacial entre las dimensiones de entrada y la cuadrícula latente esperada por el modelo | Escalar la entrada al lado más corto de 1024 px con relleno de letterbox antes de la codificación [8] |
| Representación de texto deficiente | Modelo CLIP o tipo de datos incorrectos | Usar qwen_2.5_vl_7b_fp8_scaled.safetensors para CLIP y qwen_image_edit_fp8_e4m3fn.safetensors para UNET [4] |
| Generación lenta | El KSampler estándar carece de optimización RES/de flujo rectificado | Reemplazar KSampler por ClownsharKSampler_Beta, usar res_3s a 8 pasos [10] |
| La pasada hires degrada la composición | Desalineación de transformación espacial entre las pasadas base y hires | Aplicar FluxKontextImageScale en ambas pasadas para coherencia espacial [8] |
| Inestabilidad numérica con valores de desplazamiento altos | Desplazamiento de ModelSamplingAuraFlow que excede el rango estable | Mantener el desplazamiento predeterminado 1.15 para la base Qwen-Image; usar 1.98 para hires con suficiente desnoisificado [11] |
Para ejemplos adicionales de configuración de ComfyUI, consulta Guías de nodos personalizados. Técnicas avanzadas de muestreo. Comparación de modelos.
Sources
Source | Qué aporta | URL
|------|------------|-----|
| Qwen-Image 20B MMDiT foundation model (arXiv) | Modelo base MMDiT de 20B y currículo de entrenamiento progresivo | https://arxiv.org/abs/2508.02324 |
| Qwen/Qwen-Image HuggingFace model card | Tarjeta del modelo base Qwen-Image | https://huggingface.co/Qwen/Qwen-Image |
| Qwen/Qwen-Image-Edit HuggingFace model card | Tarjeta del modelo de edición Qwen-Image-Edit | https://huggingface.co/Qwen/Qwen-Image-Edit |
| Civitai article 19251 | "Solve the image offset problem of Qwen-image-edit" | https://civitai.com/articles/19251 |
| Civitai article 22862 | "Quickly sharing two versions of my Qwen-Image workflow" | https://civitai.com/articles/22862 |
| ComfyUI supported models | Formato latente Wan21 y desplazamiento de muestreo 1.15 | https://github.com/comfyanonymous/ComfyUI/blob/master/comfy/supported_models.py |
| RES4LYF repository | 69 samplers y ModelSamplingAuraFlow | https://github.com/ClownsharkBatwing/RES4LYF |