HunyuanVideo img2vid LoRA vs LTX-Video
Ejecuta HunyuanVideo img2vid con la LoRA Leapfusion, compáralo con LTX-Video y ajusta el denoise y la atención para obtener frames estables.
On this page
- TL;DR
- HunyuanVideo Image-to-Video LoRA: Ruta no oficial, configuración y comparación con LTX-Video
- La ruta no oficial con LoRA: Leapfusion
- Configuración que mantiene el movimiento coherente
- Encadenar a LTX-Video para la refinación de movimiento
- Comparación lado a lado: Hunyuan LoRA i2v vs LTX-Video I+V2V
- Errores comunes y soluciones
- FAQ
- Corrección de afirmaciones comunes
HunyuanVideo img2vid LoRA vs LTX-Video
TL;DR
- Usa la LoRA Leapfusion de AeroScripts (
img2vid544p.safetensorspara v2/544p oimg2vid.safetensorspara v1/320p) sobre el checkpoint oficialhunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensorspara image-to-video en ComfyUI. - Ajusta la fuerza de denoise entre 0.60–0.75 y cambia el modo de atención del HunyuanVideo Model Loader a
sageattn_varlenpara evitar la salida en pantalla negra en GPUs consumidoras. - Para la refinación de movimiento, enruta la salida de Hunyuan al flujo de trabajo I+V2V de LTX-Video (
example_ltx_iv2v.json) con una imagen de referencia para conservar la identidad del sujeto y mejorar la consistencia temporal.
HunyuanVideo Image-to-Video LoRA: Ruta no oficial, configuración y comparación con LTX-Video
HunyuanVideo se entregó como un modelo text-to-video. La comunidad añadió image-to-video a través de una LoRA entrenada por AeroScripts, que se marca como Leapfusion. Funciona condicionando al modelo base con el primer frame codificado — no se requiere reentrenamiento completo. Este artículo cubre el flujo de trabajo con LoRA, la configuración que mantiene el movimiento coherente y cómo se compara la salida cuando se entrega a LTX-Video para una segunda pasada.
La ruta no oficial con LoRA: Leapfusion
AeroScripts lanzó dos versiones de LoRA (repositorio):
| Versión | Resolución | Nombre de archivo | Repositorio de Hugging Face |
|---|---|---|---|
| v1 | 512×320 (320p) | img2vid.safetensors | leapfusion-image2vid-test/image2vid-512x320 |
| v2 | 960×544 (544p) | img2vid544p.safetensors | leapfusion-image2vid-test/image2vid-960x544 |
El flujo de trabajo de ejemplo de ComfyUI vive en kijai/ComfyUI-HunyuanVideoWrapper bajo example_workflows/hyvideo_leapfusion_img2vid_example_01.json.
Cómo condiciona la LoRA a la imagen de entrada
El mecanismo es explícito en el script de inferencia. Tu imagen de entrada se codifica a través del VAE 3D de Hunyuan hasta los latentes (encode_image.py escribe target_latent.pt). Durante el muestreo, el primer frame del tensor latente ruidoso se sustituye por esos latentes objetivo en cada paso:
x_noised[:, :, [0,], :, :] = target_image[:, :, [0,], :, :]Esta sustitución de frame es toda la estrategia de condicionamiento — la LoRA aprende a propagar ese primer frame hacia delante.
Lista de verificación de modelos necesarios
| Componente | Archivo / Repositorio | Notas |
|---|---|---|
| Checkpoint base | hunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensors | FP8 cfg-distill, no FastVideo (ver Corrección de afirmaciones comunes) |
| LoRA (v2) | img2vid544p.safetensors | 544p, preferido por calidad |
| LoRA (v1) | img2vid.safetensors | 320p, más rápido |
| VAE | hunyuan_video_vae_bf16.safetensors | Precisión bf16 |
| Codificadores de texto | llava-llama-3-8b + clip-vit-large-patch14 | Descargados automáticamente por los nodos |
| Upscaler (opcional) | 4x-UniScaleV2_Sharp.pth | Reportado por la comunidad en flujos encadenados |
Configuración que mantiene el movimiento coherente
Fuerza de denoise: 0.60–0.75
La documentación del flujo de trabajo de ThinkDiffusion denomina a este rango el "sweet spot" para los pasos video-to-video e image-to-video. Valores más bajos preservan más la imagen de entrada; valores más altos añaden más movimiento pero con riesgo de desviarse del frame de origen.
Modo de atención: sageattn_varlen
El backend de atención predeterminado puede producir una pantalla negra en GPUs consumidoras. Cambiar el nodo HunyuanVideo Model Loader a sageattn_varlen habilita el kernel de SageAttention con secuencias de longitud variable, evitando OOM y el fallo de pantalla negra total.
El número de frames debe ser 4n + 1
El VAE 3D de HunyuanVideo comprime el tiempo 4×. El número de frames latentes debe ser entero, así que los frames de entrada = 4n + 1 (por ejemplo, 97, 101, 129). Incumplir esto lanza:
video_length-1 must be a multiple of 4, got 34Elige un número de frames conforme antes de cargar el video.
Tamaño del chunk del VAE y tiling
Los scripts de Leapfusion usan --vae_chunk_size 32 y habilitan el tiling espacial con --vae_spatial_tile_sample_min_size 128. El flujo de trabajo de ThinkDiffusion usa vae_chunk_size=16 y noise_aug_strength=256 en el nodo HyVideoEncode. Ambas configuraciones funcionan; el tamaño del chunk intercambia VRAM por velocidad.
Pasos de inferencia
El ejemplo generate.py usa 30 steps. Los flujos de trabajo de la comunidad suelen ejecutar 20–30 steps en el paso de LoRA.
Encadenar a LTX-Video para la refinación de movimiento
El autor de AeroScripts reportó que Hunyuan produce más movimiento pero menor resolución, mientras que LTX-Video por sí solo tiene dificultades con la calidad de animación. La solución: ejecutar primero el i2v con LoRA de Hunyuan y luego alimentar esa salida al flujo de trabajo I+V2V (Image + Video to Video) de LTX-Video con la imagen de referencia original.
Flujo de trabajo I+V2V de LTX-Video
El repositorio oficial ComfyUI-LTXVideo (antes ComfyUI-LTXTricks, ahora obsoleto) incluye example_ltx_iv2v.json. Condiciona con:
- Una imagen de referencia (apariencia del frame 0)
- Un video fuente (plantilla de movimiento)
Esto conserva la identidad del sujeto mientras redibuja el movimiento con mayor fidelidad.
Restricciones de LTX-Video
- La resolución debe ser divisible por 32
- El número de frames debe ser 8n + 1 (por ejemplo, 257)
- El modelo distilado 2B se ejecuta 15× más rápido que el modelo completo y no necesita STG/CFG (model card)
Comparación lado a lado: Hunyuan LoRA i2v vs LTX-Video I+V2V
| Aspecto | Hunyuan Leapfusion LoRA | LTX-Video I+V2V |
|---|---|---|
| Entrada | Imagen única + prompt | Imagen de referencia + video fuente + prompt |
| Calidad del movimiento | Más fuerte, más expresivo (reportado por la comunidad) | Más suave, mejor consistencia temporal |
| Resolución | 320p (v1) o 544p (v2) nativo | Hasta 720p nativo; hay LoRAs de upscaler espacial disponibles |
| VRAM (fp8) | ~16 GB en 4070 Ti Super (reporte de un solo usuario) | 32 GB+ recomendado para 22B; 2B cabe en menos VRAM |
| Velocidad | ~5–6 min por clip (reporte de un solo usuario, sin verificar) | Capaz de tiempo real con 2B distilado |
| Corrección de atención | sageattn_varlen para pantalla negra | SDPA / FlashAttention nativos |
| Restricción de frames | 4n + 1 | 8n + 1 |
| Fuente del flujo | kijai/ComfyUI-HunyuanVideoWrapper | Lightricks/ComfyUI-LTXVideo |
Las cifras de VRAM y velocidad son reportadas por la comunidad; no existen benchmarks independientes. Los flujos alternativos en Civitai, como el Hunyuan Image2Video con upscaling e interpolación de frames o el SkyReels I2V con upscaling e interpolación de frames, muestran cómo la comunidad extiende el pipeline con upscaler e interpolación de frames.
Errores comunes y soluciones
| Síntoma | Causa | Corrección | Source |
|---|---|---|---|
video_length-1 must be a multiple of 4, got 34 | Frames de entrada ≠ 4n+1 | Usa 97, 101, 129 o 161 frames | https://github.com/Tencent-Hunyuan/HunyuanVideo |
Can\'t import SageAttention: No module named \'sageattention\' | SageAttention no instalado o incompatibilidad CUDA/PyTorch | Instala SageAttention, o cambia el Model Loader a sageattn_varlen / usa la versión Beta | https://learn.thinkdiffusion.com/unleashing-creativity-how-hunyuan-redefines-video-generation/ |
| Salida en pantalla negra | Backend de atención incompatible con GPU/driver | Configura HunyuanVideo Model Loader → attention_mode: sageattn_varlen | https://learn.thinkdiffusion.com/unleashing-creativity-how-hunyuan-redefines-video-generation/ |
Los tres están documentados en la guía de ThinkDiffusion.
FAQ
¿Por qué mi HunyuanVideo genera una pantalla negra? El modo de atención predeterminado falla en algunas GPUs consumidoras. Cambia el nodo Model Loader a sageattn_varlen.
¿Qué significa "video_length-1 must be a multiple of 4"? El VAE 3D comprime el tiempo 4×. Tu número de frames debe ser 4n+1 (por ejemplo, 101 frames → 25 frames latentes).
¿Puedo usar la LoRA Leapfusion con el repo oficial de HunyuanVideo-I2V? El repo oficial de Tencent (HunyuanVideo-I2V) se lanzó en marzo de 2025 con sus propios checkpoints y scripts de entrenamiento de LoRA. Leapfusion es un esfuerzo comunitario independiente; no son intercambiables.
¿Qué modelo de LTX-Video debo usar para la segunda pasada? El 2B distilado (ltxv-2b-0.9.6-distilled o más reciente) se ejecuta 15× más rápido y no necesita STG/CFG. Los modelos 13B/22B dan más calidad pero necesitan 32 GB+ de VRAM.
¿Necesito instalar SageAttention para ejecutar HunyuanVideo? No — sageattn_varlen es una opción de kernel dentro del Model Loader. Si da error, vuelve a la versión Beta o instala SageAttention por separado.
¿Qué upscaler funciona después de la salida del LoRA de Hunyuan? Los flujos de trabajo de la comunidad citan 4x-UniScaleV2_Sharp.pth. LTX-Video también incluye un LoRA de upscaler espacial (ltx-2.3-spatial-upscaler-x2-1.1.safetensors) para su propio pipeline.
¿El repo LTXTricks sigue en mantenimiento? No. El README lo marca como DEPRECATED; todos los nodos pasaron a Lightricks/ComfyUI-LTXVideo bajo tricks/.
¿Puedo ejecutar esto en una GPU de 12 GB? No con el checkpoint fp8 de Hunyuan a 544p. El modelo 2B distilado de LTX podría caber con offloading agresivo, pero no existen configuraciones verificadas.
Corrección de afirmaciones comunes
| Afirmación vista en publicaciones de la comunidad | Realidad verificada |
|---|---|
| "ltx-video-2b-v0.9.1.safetensors" | El listado oficial de HF incluye 0.9.6, 0.9.8-distilled; 0.9.1 podría ser un renombrado comunitario |
| "hunyuan_video_FastVideo_720_fp8_e4m3fn.safetensors" | Nombre real del archivo: hunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensors (cfg-distill, no FastVideo) |
| "5–6 minutos en 4070 Ti Super 16 GB" | Reporte de un solo usuario; sin verificación independiente |
| "Leapfusion workflow en github.com/obraia/ComfyUI" | El enlace devuelve 404; el flujo de trabajo canónico está en kijai/ComfyUI-HunyuanVideoWrapper |
| "LTXTricks está actual" | Repositorio obsoleto; usa Lightricks/ComfyUI-LTXVideo |