HunyuanVideo img2vid LoRA: Configurações e LTX-Video

TL;DR

• Use o LoRA AeroScripts Leapfusion (img2vid544p.safetensors para v2/544p ou img2vid.safetensors para v1/320p) sobre o checkpoint oficial hunyuan_video_720_cfgdistill_fp8_e4m3fn.safetensors para image-to-video no ComfyUI.
• Defina a força do denoise entre 0.60–0.75 e alterne o modo de atenção do HunyuanVideo Model Loader para sageattn_varlen para evitar saída de tela preta em GPUs de consumo.
• Para refinamento de movimento, encaminhe a saída do Hunyuan para o workflow I+V2V do LTX-Video (example_ltx_iv2v.json) com uma imagem de referência para preservar a identidade do sujeito enquanto melhora a consistência temporal.

HunyuanVideo Image-to-Video LoRA: Caminho não oficial, configurações e comparação com LTX-Video

O HunyuanVideo foi lançado como um modelo text-to-video. A comunidade adicionou image-to-video através de um LoRA treinado pela AeroScripts (repo), chamado Leapfusion. Ele funciona condicionando o modelo base em um primeiro frame codificado — sem fine-tune completo necessário. Este artigo cobre o workflow baseado em LoRA, as configurações que mantêm o movimento coerente e como a saída se compara quando você a passa para o LTX-Video para uma segunda passada.

O Caminho Não Oficial do LoRA: Leapfusion

A AeroScripts lançou duas versões do LoRA:

Ambos ficam sobre o checkpoint oficial t2v do HunyuanVideo. O workflow de exemplo canônico do ComfyUI está em kijai/ComfyUI-HunyuanVideoWrapper sob example_workflows/hyvideo_leapfusion_img2vid_example_01.json.

Como o LoRA Condiciona na Imagem de Entrada

O mecanismo é explícito no script de inferência. Sua imagem de entrada é codificada através da VAE 3D do Hunyuan em latentes (encode_image.py escreve target_latent.pt). Durante a amostragem, o primeiro frame do tensor de latentes ruidosos é substituído por aqueles latentes alvo a cada passo:

x_noised[:, :, [0,], :, :] = target_image[:, :, [0,], :, :]

Esta substituição de frame é toda a estratégia de condicionamento — o LoRA aprende a propagar aquele primeiro frame adiante.

Lista de Verificação de Modelos Necessários

Configurações que Mantêm o Movimento Coerente

Força do Denoise: 0.60–0.75

A documentação do workflow da ThinkDiffusion chama isso de "ponto ideal" para passes video-to-video e image-to-video. Valores menores preservam mais a entrada; valores maiores introduzem mais movimento, mas arriscam desviar do frame fonte.

Modo de Atenção: sageattn_varlen

O backend de atenção padrão pode produzir uma tela preta em GPUs de consumo. Alternar o nó HunyuanVideo Model Loader para sageattn_varlen habilita o kernel SageAttention com sequências de comprimento variável, evitando OOM e o modo de falha totalmente preto.

Contagem de Frames Deve Ser 4n + 1

A VAE 3D do HunyuanVideo comprime o tempo em 4×. A contagem de frames latentes deve ser um inteiro, então frames de entrada = 4n + 1 (ex.: 97, 101, 129). Violar isso lança:

video_length-1 must be a multiple of 4, got 34

Escolha uma contagem de frames compatível antes de carregar o vídeo.

Tamanho do Chunk da VAE e Tiling

Os scripts da Leapfusion usam --vae_chunk_size 32 e habilitam tiling espacial com --vae_spatial_tile_sample_min_size 128. O workflow da ThinkDiffusion define vae_chunk_size=16 e noise_aug_strength=256 no nó HyVideoEncode. Ambas as configurações funcionam; o tamanho do chunk troca VRAM por velocidade.

Passos de Inferência

O generate.py de exemplo usa 30 passos. Workflows da comunidade costumam rodar 20–30 passos para a passada do LoRA.

Encadeando para LTX-Video para Refinamento de Movimento

O autor da AeroScripts reportou que o Hunyuan produz movimento mais forte mas resolução menor, enquanto o LTX-Video sozinho tem dificuldade com qualidade de animação. A solução: rode o Hunyuan LoRA i2v primeiro, depois alimente essa saída no workflow I+V2V (Image + Video to Video) do LTX-Video com a imagem de referência original.

Workflow I+V2V do LTX-Video

O repo oficial ComfyUI-LTXVideo (anteriormente ComfyUI-LTXTricks, agora depreciado) fornece example_ltx_iv2v.json. Ele condiciona em:

1. Uma imagem de referência (aparência do frame 0)
2. Um vídeo fonte (template de movimento)

Isso preserva a identidade do sujeito enquanto re-renderiza o movimento com fidelidade maior.

Restrições do LTX-Video

• Resolução deve ser divisível por 32
• Contagem de frames deve ser 8n + 1 (ex.: 257)
• O modelo destilado 2B roda 15× mais rápido que o modelo completo e não precisa de STG/CFG (model card)

Lado a Lado: Hunyuan LoRA i2v vs LTX-Video I+V2V

Figuras de VRAM e velocidade são reportadas pela comunidade; não existem benchmarks independentes. Fluxos alternativos no Civitai, como o Hunyuan Image2Video com upscaling e interpolação de frames, mostram como a comunidade estende o pipeline com upscaler e frame-interp.

Erros comuns e correções

Todas as três são documentadas no guia da ThinkDiffusion.

FAQ

Por que meu HunyuanVideo gera tela preta? O modo de atenção padrão falha em algumas GPUs de consumo. Alterne o nó Model Loader para sageattn_varlen.

O que significa "video_length-1 must be a multiple of 4"? A VAE 3D comprime o tempo 4×. Sua contagem de frames deve ser 4n+1 (ex.: 101 frames → 25 frames latentes).

Posso usar o LoRA Leapfusion com o repo oficial HunyuanVideo-I2V? O repo oficial da Tencent (HunyuanVideo-I2V) foi lançado em março de 2025 com seus próprios checkpoints e scripts de treinamento de LoRA. Leapfusion é um esforço comunitário separado; eles não são intercambiáveis.

Qual modelo LTX-Video devo usar para a segunda passada? O 2B destilado (ltxv-2b-0.9.6-distilled ou mais novo) roda 15× mais rápido e não precisa de STG/CFG. Os modelos 13B/22B dão qualidade maior mas precisam de 32 GB+ VRAM.

Preciso instalar SageAttention para rodar HunyuanVideo? Não — sageattn_varlen é uma opção de kernel dentro do Model Loader. Se der erro, use a versão Beta como fallback ou instale SageAttention separadamente.

Qual upscaler funciona após a saída do Hunyuan LoRA? Workflows comunitários citam 4x-UniScaleV2_Sharp.pth. O LTX-Video também inclui um LoRA de upscaler espacial (ltx-2.3-spatial-upscaler-x2-1.1.safetensors) para seu próprio pipeline.

O repo LTXTricks ainda é mantido? Não. O README o marca como DEPRECATED; todos os nós foram movidos para Lightricks/ComfyUI-LTXVideo sob tricks/.

Posso rodar isso em uma GPU de 12 GB? Não com o checkpoint fp8 do Hunyuan a 544p. O modelo 2B destilado do LTX pode caber com offloading agressivo, mas não existem configs verificadas.

Correções a Alegações Comuns

• Referência de nós de vídeo no ComfyUI
• Otimização de VRAM da GPU para modelos de vídeo
• Tutorial LTX-Video I+V2V