Monte um Dataset LoRA: Fontes, Limpeza e Legendagem

Para fluxos de trabalho relacionados, veja otimização de parâmetros de treinamento LoRA, estratégias de bucketing de dataset e design de conceito LoRA.

TL;DR

Fontes, Limpeza, Legendagem, Principais correções

• Fontes: Danbooru/Safebooru/Gelbooru para anime, Pixiv/DeviantArt/Twitter para artistas específicos, Spriters Resource/Creative Uncut para sprites de jogos.
• Limpeza: GIMP para correções pontuais, Experte para remoção de objetos por IA, Birme para corte em massa, ferramentas web (WatermarkRemover → Imglarger → Imgupscaler) em modo incógnito.
• Legendagem: JoyCaption Alpha Two (9 tipos, 17 opções) para legendas descritivas; WD14 tagger para etiquetas estilo tag; revisão manual para imagens críticas.
• Principais correções: Limpar cookies entre sessões de ferramentas gratuitas; usar filtro de atributo imutável do JoyCaption para LoRAs de personagem; rodar remoção de marca d'água primeiro.

Onde Encontrar Imagens de Treinamento

Sites Booru: Fonte Primária para Dados Estilo Anime

Painéis de imagens estilo Booru são o ponto de partida mais comum para dados de treinamento LoRA. Danbooru, Safebooru e Gelbooru usam a taxonomia de tags do Danbooru, o que permite buscar por personagem, artista, estilo e tags conceituais simultaneamente. Gelbooru é funcionalmente similar aos dois primeiros, enquanto SankakuComplex usa um sistema de tags comparável mas carrega mais conteúdo com temática madura. O catálogo de tags de cada site está documentado em grupos de tags do Danbooru e as imagens estão disponíveis em Safebooru e Gelbooru.

Plataformas de Artistas e Redes Sociais

Pixiv — a plataforma japonesa de artistas — organiza obras principalmente por série e personagem em vez de características visuais. Uma extensão do Chrome chamada Powerful Pixiv Downloader agiliza a coleta em lote. DeviantArt hospeda uma ampla variedade de estilos e ocasionalmente pacotes de modelos 3D, embora a qualidade das imagens varie consideravelmente. Para coletar dados de artistas específicos no Twitter/X, a extensão Twitter Media Downloader captura páginas inteiras de artistas, enquanto Buhitter permite busca baseada em tags além do que a interface da própria plataforma oferece. Zerochan fornece imagens adicionais com tagging anime com um conjunto de tags menor mas distinto. As obras podem ser acessadas em Pixiv e DeviantArt.

Arte e Sprites de Jogos

Para sprites de jogos retrô e arte de console, Spriters Resource organiza material por console e franquia. Creative Uncut fornece uma fonte secundária de material visual relacionado a jogos, útil para LoRAs de fantasia ou pixel art. Esses servidores podem ser acessados em Spriters Resource e Creative Uncut.

Como Limpar e Preparar Imagens

Edição Manual

Para correções pontuais — remover uma linha perdida, cortar uma borda branca ou retocar um pequeno artefato — GIMP continua sendo o editor gratuito de referência. Um guia de descensura em 4 passos demonstra como combinar GIMP com o próprio Stable Diffusion para limpeza estilo inpainting. O download do GIMP está disponível aqui.

Remoção de Objetos com IA

O Image Cleaner do Experte permite destacar elementos indesejados e a IA mescla o contexto ao redor, preservando a resolução original. Funciona bem para remover logos, assinaturas ou pequenos artefatos em lotes grandes. O serviço está disponível em Experte Image Cleaner.

Operações em Massa

Pinetools lida com inversão em lote e transformações básicas. Birme se destaca no corte em massa: informe as dimensões alvo e ele corta todas as imagens para aquele tamanho automaticamente. O utilitário está disponível em Birme.net.

Ferramentas Web Gratuitas para Upscaling e Limpeza

Ferramentas web gratuitas para upscaling, redução de ruído e remoção de marca d'água operam por sessão. Use-as em modo incógnito e apague cookies entre sessões para resetar limites. A ordem recomendada é:

Etapa | Ferramenta | Finalidade ------|----------|----------- 1 | WatermarkRemover.io | Remover marcas d'água primeiro 2 | Imglarger Denoiser | Remover ruído da imagem 3 | Imgupscaler | Aumentar resolução por último

Ferramentas de Legendagem para Preparação de Dataset

JoyCaption Alpha Two gera legendas de treinamento através de um modelo visão-linguagem de pesos abertos. Lançado em setembro de 2024, expandiu dos três tipos de legenda do Alpha One para nove: Descritiva, Descritiva (Informal), Prompt de Treinamento, MidJourney, Lista de tags Booru, Lista de tags estilo Booru, Crítico de Arte, Listagem de Produto e Postagem em Rede Social. O demo oferece seleção de comprimento e 17 opções extras que se anexam ao prompt de legenda.

O desenvolvedor testou Alpha Two contra 15 imagens de validação, pontuando precisão de detalhes +1/-1 contra legendas humanas de ~200 palavras. Alpha Two fez média de 22.8 vs. 22.7 do GPT-4o com variância maior (DP 5.32 vs. 3.88). O desenvolvedor descreve isso como "lutando de igual para igual" com GPT-4o enquanto perde em consistência. O lançamento também corrigiu um bug onde legendas próximas do limite de 256 tokens truncavam no meio da frase.

Para treinamento LoRA, um recurso de nome de personagem permite especificar o nome para referências de personagem. Opções extras permitem excluir atributos imutáveis como etnia ou gênero enquanto incluem mutáveis como penteado.

Limitação importante: Modos Prompt de Treinamento, tags Booru e MidJourney são pouco confiáveis. Legendas estilo informal permanecem inconsistentes.

Extensão WD14 Tagger

O WD14 tagger é uma extensão para o WebUI do Automatic1111 que aplica tags automatizadas a imagens em lote. Suporta um dropdown com múltiplos modelos e pode processar diretórios inteiros.

Nota: O repositório do GitHub anteriormente retornava erro 404. Verifique a localização atual antes de confiar nele. O projeto está no repositório do toriato no GitHub.

Legendagem Manual

Legendagem manual continua sendo o método mais preciso para datasets pequenos. O processo combina descrição visual com palavras-chave estilo tag. Para equipes, um fluxo prático é usar JoyCaption Alpha Two para uma primeira passagem, depois revisar e corrigir manualmente as legendas das imagens mais importantes.

Erros Comuns e Correções

Erro | Causa | Correção -------|-------|--------- WD14 tagger URL do GitHub retorna 404 | Repositório renomeado ou arquivado | Verifique o perfil GitHub do toriato para localização atual Ferramentas web gratuitas param após poucas imagens | Cookies do naveador rastreiam limites de sessão | Use modo incógnito e limpe cookies entre sessões JoyCaption gera legendas truncadas perto de 256 tokens | Bug de treinamento causava truncamento no meio da frase | Use o lançamento mais recente do Alpha Two, que corrige este bug Legendas mencionam traços físicos indesejados para LoRAs de personagem | Modo descritivo padrão inclui todos os detalhes visíveis | Use a opção extra "Do NOT include information about people/characters that cannot be changed" e forneça um nome de personagem Imagens de treinamento têm dimensões inconsistentes | Imagens baixadas em lote variam em proporção | Use Birme ou GIMP para padronizar tamanhos de corte antes do treinamento Marcas d'água persistem após limpeza | Sobreposições de marca d'água são difíceis de detectar | Rode WatermarkRemover.io antes de outras etapas de limpeza

{
  "type": "line",
  "title": "Avaliação de detalhes do JoyCaption Alpha Two vs GPT-4o (15 imagens de validação, 0-25)",
  "xKey": "model",
  "yKey": "score",
  "source": "https://civitai.com/articles/7697/joycaption-alpha-two-release",
  "data": [
    {"model": "GPT-4o", "score": 22.7},
    {"model": "JoyCaption Alpha Two", "score": 22.8}
  ]
}

A tabela acima resume a comparação de média, mas o desvio padrão foi maior no JoyCaption (5.32 vs 3.88).

Perguntas Frequentes (FAQ)

Qual a melhor fonte para imagens de treinamento estilo anime? A rede de tags Danbooru — incluindo Danbooru, Safebooru, Gelbooru e SankakuComplex — fornece o sistema de tagging mais estruturado para buscas de imagem baseadas em conceitos. Usar múltiplas fontes aumenta seu conjunto utilizável.

Como legendar imagens automaticamente para treinamento LoRA? JoyCaption Alpha Two é um modelo de pesos abertos que gera legendas descritivas através de um demo no Hugging Face. Oferece nove tipos de legenda e 17 instruções alternáveis. Para legendas estilo tag, a extensão WD14 tagger processa imagens em lote.

Posso usar sprites de jogos para treinamento LoRA? Sim. Spriters Resource e Creative Uncut hospedam spritesheets e arte organizados por console e franquia. Funcionam bem para LoRAs de pixel art ou estilo retrô, embora você possa precisar extrair sprites individuais.

Qual a diferença entre JoyCaption e GPT-4o para legendagem? Num conjunto de validação de 15 imagens, JoyCaption Alpha Two empatou com GPT-4o na média (22.8 vs. 22.7) mas mostrou mais variância. GPT-4o foi mais consistente, enquanto JoyCaption ocasionalmente pontuou mais alto em imagens individuais. Fonte

Como limpar marcas d'água de imagens de treinamento em escala? Rode primeiro um removedor de marca d'água web gratuito, depois passe a saída por um denoiser, e finalmente faça upscale se necessário. Use modo incógnito com limpeza de cookies entre sessões para evitar limites de tier gratuito.

Posso misturar estilos de legenda num mesmo dataset de treinamento? O fluxo do criador de dataset suporta alternar entre salvar imagens e legendas como arquivos separados. No entanto, misturar estilos de legenda numa única execução de treinamento pode confundir o modelo. Formatação de legenda consistente em todo o dataset é recomendada.

Sources

Source | What it contributed -------|--------------------- https://civitai.com/articles/3627/loradataset-creator-v2 | ComfyUI dataset creator workflow details, LoraData folder structure, 4-file limit, global sampler/IP adapter/3 LoRAs config https://civitai.com/articles/7697/joycaption-alpha-two-release | JoyCaption Alpha Two release notes, 9 caption types, 17 extra options, validation scores, bug fix, character LoRA feature https://github.com/toriato/stable-diffusion-webui-wd14-tagger | WD14 tagger extension for Automatic1111 (repo current status unverified) https://danbooru.donmai.us/wiki_pages/tag_groups | Danbooru tag group taxonomy documentation https://safebooru.org/ | Safebooru image board with tag search https://gelbooru.com/ | Gelbooru image board with tag search https://www.pixiv.net/en/ | Pixiv artist platform with series/character-based tagging https://www.deviantart.com/ | DeviantArt with wide-range image quality https://www.spriters-resource.com/ | Retro game sprites organized by console and series https://www.creativeuncut.com/ | Game artwork secondary source https://www.gimp.org/downloads/ | GIMP free image editor https://www.experte.com/image-cleaner | AI image object removal tool https://www.birme.net/ | Mass cropping tool for same-size images https://www.watermarkremover.io/ | Web-based watermark removal https://imgupscaler.com/ | Web-based image upscaler https://deluge-torrent.org/ | Deluge torrent client https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two | JoyCaption Alpha Two demo