Ferramentas de Legenda 2026: JoyCaption vs WD Tagger Manual
Compare 12 estilos do JoyCaption Beta One e controle de palavras contra inferência ONNX do WD Tagger, além de fluxos manuais que escalam.
On this page
Ferramentas de Legenda 2026: JoyCaption vs WD Tagger vs Manual
TL;DR
- JoyCaption Beta One oferece 12 estilos de legenda (Descritivo, Direto, Prompt SD, tags Danbooru, etc.) e controle de contagem de palavras de 20–260, rodando em ~17 GB VRAM (bfloat16) com opções de quantização 8-bit/4-bit via ComfyUI.
- WD Tagger v3 (ViT ou SwinV2) usa ONNX com dimensão de lote não fixa, permitindo processar milhares de imagens em uma única chamada — ideal para pipelines de preparação de datasets.
- Legenda manual permanece o teto de qualidade: o fluxo "Datasets for Dummies" do Civitai mescla tags de booru com tags de IA e exige uma passagem manual completa por arquivo.
Por que a escolha da ferramenta de legenda importa
Treinar modelos de difusão vive ou morre pela qualidade da legenda. Um modelo treinado com legendas vagas, repetitivas ou censuradas vai alucinar, ignorar prompts ou recusar conceitos NSFW. Os três caminhos principais — legenda VLM (JoyCaption), conjuntos de taggers (WD Tagger) e human-in-the-loop — atingem pontos diferentes no triângulo velocidade/qualidade/custo.
O que é JoyCaption Beta One?
JoyCaption Beta One é um Visual Language Model (VLM) construído sobre arquitetura LLaVA: um codificador de visão SigLIP2-SO400M fundido ao Llama-3.1-8B-Instruct. Os pesos do modelo são licenciados Apache-2.0, gratuitos para download e execução local. Diferente de VLMs comerciais, foi treinado com equilíbrio explícito SFW/NSFW e sem eufemismos como "objeto cilíndrico".
Especificações principais:
| Parâmetro | Valor |
|---|---|
| LLM base | meta-llama/Llama-3.1-8B-Instruct |
| Codificador de visão | google/siglip2-so400m-patch14-384 |
| dtype nativo | bfloat16 |
| VRAM (bfloat16) | ~17 GB |
| Quantização | 8-bit, 4-bit NF4 (quant dupla) |
| Amostras de treino (Beta One) | 2,4 milhões |
| Rodadas DPO | 2 (10k + 20k pares de preferência) |
Métricas de desempenho:
| Métrica | Valor |
|---|---|
| Taxa de glitch (geral) | 1,5% após DPO |
| Taxa de glitch (SD Prompt) | ~3% |
| Acurácia avaliação humana | 67% (Beta One) |
| Acurácia avaliação humana | 55% (Alpha Two, GPT-4o) |
| Score aumento de tags | 6,51/10 (juiz VLM SOTA) |
Estilos de legenda e controle de tamanho no JoyCaption
O nó ComfyUI expõe 12 tipos de legenda e um seletor de tamanho de modo duplo.
Menu de tipo de legenda
| Tipo de legenda | Caso de uso |
|---|---|
| Descritivo | Legendas de dataset, alt text |
| Descritivo (Casual) | Descrições legíveis por humanos |
| Direto | Meio termo |
| Prompt Stable Diffusion | Prompting direto (imita prompts de usuário) |
| MidJourney | Modificadores artísticos estilo MJ |
| Lista de tags Danbooru | Treino estilo booru (categoria:tag) |
| Lista de tags e621 | Treino formato e621 |
| Lista de tags Rule34 | Treino formato Rule34 |
| Lista de tags tipo Booru | Treino booru genérico |
| Crítico de Arte | Análise/feedback |
| Listagem de Produto | Legendas e-commerce |
| Post em Rede Social | Alt text Instagram/Twitter |
Controle de tamanho
O seletor aceita rótulos descritivos (very short … very long) ou contagens exatas de palavras (20, 30, … 260 em passos de 10). Isso oferece preenchimento determinístico de template para casos casuais e técnicos.
WD Tagger v3: arquiteturas e inferência em lote
O guia "Datasets for Dummies" (Civitai 2217) descreve um pipeline híbrido: raspar boorus, marcar tudo com IA via WD Tagger (via script wd14_tagger.py do Kohya-ss ou Colab Dataset Helper do Holostrawberry), mesclar conjuntos de tags e depois rodar uma passagem QA manual completa por arquivo. Equipes paralelizam entre anotadores com guia de estilo compartilhado. Estimativa: ~30–60 s/imagem. O guia "Datasets for Dummies" descreve um pipeline híbrido:
- Raspar de boorus — pré-marcados, mas ruidosos.
- Marcar tudo com IA — rodar WD Tagger (via script
wd14_taggerdo Kohya-ss ou Colab Dataset Helper do Holostrawberry) mesmo em imagens de booru. - Mesclar conjuntos de tags — concatenação PowerShell/Notepad++, deduplicar, ordenar alfabeticamente.
- Lista negra tags de contagem/relacionamento —
1girl,2girls,multiple girls,brother and sister, etc. (tagger não consegue contar relacionamentos). - Passagem QA manual — todo arquivo, confirmar/remover/adicionar tags. "Marque tudo: cada item de roupa, cor dos olhos, cor do cabelo."
Estimativa de tempo: ~30–60 s/imagem para revisão completa, mas produz os conjuntos de treino mais limpos. Equipes paralelizam a passagem manual entre anotadores.
Comparação de ferramentas em lote
| Ferramenta | Modo lote | Throughput | Hardware | Melhor para |
|---|---|---|---|---|
| JoyCaption (vLLM) | API compatível OpenAI, prefix caching | ~2–4 img/s | 24 GB+ GPU | Conteúdo misto, linguagem natural |
| JoyCaption (ComfyUI) | Loop de nó, quantização | ~1–2 img/s (4-bit) | 12–16 GB GPU | Experimentação local, variedade de estilos |
| WD Tagger ONNX | Modelo ONNX com dim. lote não fixa | 50–200 img/s | 8–16 GB GPU / CPU | Extração pura de tags, anime/booru |
Kohya-ss wd14_tagger.py | Percurso de diretório, sequencial | ~5–10 img/s | 8 GB+ GPU | Prep de dataset drop-in, integra com treino |
| Manual (equipe) | Humano paralelo | ~1–2 img/min/pessoa | Qualquer | Qualidade crítica, datasets pequeno/médio |
Nota: JoyCaption vLLM (vllm serve fancyfeast/llama-joycaption-beta-one-hf-llava --max-model-len 4096 --enable-prefix-caching) é o único caminho de produção para legenda em linguagem natural.
Erros comuns e correções
| Sintoma | Causa | Correção |
|---|---|---|
| JoyCaption OOM em 24 GB | Modelo bfloat16 + KV cache > VRAM | Use quantização 4-bit NF4 ou vLLM com --gpu-memory-utilization 0.85 |
| JoyCaption repete tags no modo Booru | Modelo pré-DPO ou temperatura alta | Atualize para Beta One; defina temperature=0.3, top_p=0.9 |
| WD Tagger perde tags de personagem | Tags de personagem filtradas em <600 imagens | Adicione personagens conhecidos manualmente; use aumento de tags do JoyCaption |
processor.apply_chat_template produz <bos> duplicado | Combo errado de chat template | Use snippet do HF model card: chamadas exatas apply_chat_template e processor |
| Kohya-ss tagger escreve quebras de linha duplicadas | Artefato script PowerShell merge | Rode sed -i 's/\r\n/, /g' *.txt após merge, depois deduplicar |
FAQ
Qual estilo de legenda para fine-tuning SDXL? Direto ou Prompt Stable Diffusion. Direto dá linguagem natural limpa (~50–100 palavras) que SDXL entende bem. Modo SD Prompt imita prompts de usuário mas tem 3% taxa de glitch e menor variedade após DPO.
JoyCaption roda em 12 GB VRAM? Sim, com quantização 4-bit NF4 (preset "Maximum Savings" ComfyUI). Espere ~1–2 img/s. Para cargas em lote, use vLLM em placa 24 GB+.
Qual backbone WD Tagger é melhor: ViT ou SwinV2? SwinV2 (wd-swinv2-tagger-v3) pontua F1 maior (0,4541 vs 0,4402) e tem 7× mais downloads. Para anime/booru, prefira SwinV2; para fotorrealista, ViT pode generalizar melhor.
Como mesclar tags de booru com tags de IA sem duplicatas? O guia Civitai usa PowerShell para concatenar arquivos .txt de mesmo nome de duas pastas, depois Notepad++ regex replace \r\n → , , depois deduplicar. wd14_tagger do Kohya-ss tem --undesired_tags para filtrar tags específicas; deduplicação é pós-merge com ferramentas de texto.
JoyCaption suporta aumento de tags? Sim, Beta One adiciona aumento de tags: passe tags booru separadas por vírgula e o modelo as integra (julgado 6,51/10 por VLM SOTA). Use extra_options: "tag_augmentation: tag1, tag2, tag3" no nó ComfyUI.
Qual a taxa de glitch do JoyCaption Beta One? Geral 1,5% após DPO (SD Prompt: ~3%). VLMs comerciais (GPT-4o) reportam ~0,01%.
Posso usar WD Tagger ONNX em CPU? Sim. Provider CPU onnxruntime funciona; throughput ~5–10 img/s, sem GPU necessário. Instale onnxruntime≥1,17,0 e carregue o arquivo .onnx.
Como avaliar qualidade de legenda automaticamente? Não existe métrica automatizada padrão. O autor do JoyCaption usa avaliação manual rigorosa: +1 por detalhe correto, −1 por detalhe incorreto, normalizado contra legenda "perfeita" escrita por humano. Beta One marca 67% vs Alpha Two 55% vs GPT-4o 55%.