LLM Dataset Studio: curar dados de SFT, DPO e trace de agente localmente

TL;DR

• A ferramenta cura dataset de texto, conversa, SFT, DPO e trace de agente localmente em SQLite — e o README é explícito: não é framework de treino de modelo.
• O arquivo de origem fica intacto, a checagem automática produz evidência inspecionável, e a decisão final continua explícita e reversível.
• O importador estruturado reconhece os formatos que as pessoas de fato têm no disco: chat OpenAI/TRL, ShareGPT, Alpaca, TRL DPO, prompt-completion SFT e trace de agente.
• A exportação é pronta para treino: JSONL, Parquet, dataset do Hugging Face, manifesto, receita de split e relatório de auditoria.

O que é e para quem

O LLM Dataset Studio é um app local para a parte do ajuste fino que ninguém documenta: transformar um monte de texto, conversa e trace em dataset com trilha de auditoria, e saber quais registros são ruins antes que a execução de treino descubra do jeito caro.

É para quem está montando um conjunto de SFT a partir de conversas, para a equipe que constrói pares de DPO e precisa ver escolhido contra rejeitado lado a lado, e para quem tem trace de agente com passos e chamada de ferramenta que nenhum visualizador de JSONL mostra direito.

Importação e proveniência

A importação aceita JSONL, Parquet, TXT, pasta, ZIP e dataset do Hugging Face, e o importador estruturado reconhece e deduplica os formatos comuns:

• Chat OpenAI / TRL: {"messages": [{"role": "user", "content": "..."}]}
• ShareGPT: {"conversations": [{"from": "human", "value": "..."}]}
• Alpaca: instruction, input opcional e output
• TRL DPO: prompt, chosen, rejected
• Prompt-completion SFT: prompt, completion
• Trace de agente e raciocínio: trace, steps, tool_calls, trajectory ou trace_type

Toda importação preserva caminho de origem, bytes originais, hash SHA-256, estimativa de token, metadados, licença e proveniência. A estimativa de token na importação é o que deixa a estatística honesta depois, porque a contagem vem do arquivo importado em vez de um chute.

Revisão em um Explorer só

Um único Explorer trata texto puro, registro de instrução, conversa multi-turno, mensagem de SFT, par de DPO e trace, então busca, status, ordenação e ação de revisão ficam no mesmo lugar enquanto o leitor se adapta ao registro selecionado. Os modos Read e Rapid review cobrem tanto a passada cuidadosa quanto a fila que precisa de decisão rápida no teclado.

Pares de DPO são revisados como resposta A contra resposta B, sem mudar o fluxo normal de registro. Dado com cara de trace ganha filtros como Has tool calls e Missing final response, e é isso que torna um dataset de agente revisável: sem esses sinais, você está lendo JSON e torcendo.

Estatística, validação e duplicata

Estatística e métrica de token ficam numa view só: número de documento, total e média de tokens, caracteres, palavras, faixa de token, cobertura de idioma, formatos, fontes e distribuição de decisão.

A validação cobre idioma, repetição, tamanho, spam, código, segredo, toxicidade, segurança, schema e contaminação. A duplicata é encontrada em três níveis — exata, próxima e semântica opcional — e as decisões são reversíveis: keep, review, quarantine, reject e restore. A ferramenta também cria rótulo, tag, decisão de preferência, dataset derivado, amostra, mix e split.

A contaminação é a checagem que mais importa num conjunto de avaliação e a que mais ferramenta de dataset pula: uma pergunta de benchmark que aparece no seu dado de treino transforma uma nota boa em nota sem significado.

Versões e exportação

As versões são imutáveis, com manifesto, checksums, diff e restauração — então experimento num subconjunto nunca sobrescreve o dataset que você tinha. A exportação escreve JSONL, Parquet e dataset do Hugging Face, mais manifesto, receita de split e relatório de auditoria.

O repositório também expõe MCP e uma superfície REST/OpenAPI, então um agente pode conduzir a curadoria com ações explícitas e auditáveis em vez de um script privado.

Como usar

O fluxo é: importar, ler a estatística, revisar no Explorer, rodar validação e duplicata, decidir, exportar e versionar. O sample-corpus embutido é o caminho de um clique para ver o formato do app antes de importar dado real.

Quando usar, quando não usar

Use quando um conjunto de SFT montado de três fontes precisa virar um dataset passável, quando um arquivo de pares de DPO nunca foi lido par a par, quando trace de agente precisa de filtro por chamada de ferramenta, ou antes de rodar um conjunto de avaliação que pode estar contaminado.

Não use para treinar modelo, e não espere que ele escreva suas instruções ou preferências — o estúdio cura e valida, e a decisão de conteúdo continua sua. Também não use como plataforma de anotação para equipe grande: ele gerencia um dataset e suas versões.

Sources

1. LLM Dataset Studio — repositório — tour do produto, lista de recursos, formatos de treino suportados e escopo de exportação citados acima.
2. README.md — formatos suportados, licença (MIT).

Página do projeto: LLM Dataset Studio

Para o que o dado curado vira depois, veja o ajuste fino de instrução do Llama 3.2 1B Synthia; para a mesma família de estúdio no lado de imagem, Images Dataset Studio.

FAQ

Ele treina modelo? Não. O README o chama de estúdio de curadoria de dataset, não framework de treino; ele importa, revisa, valida, versiona e exporta.

Quais formatos de chat o importador reconhece? Chat OpenAI/TRL, ShareGPT, Alpaca, TRL DPO, prompt-completion SFT e trace de agente com trace, steps, tool_calls, trajectory ou trace_type.

Como pares de DPO são revisados? Como comparação de resposta A contra resposta B, no mesmo Explorer, sem mudar o fluxo normal de registro.

Ele checa contaminação? Sim, junto com validação de idioma, repetição, tamanho, spam, código, segredo, toxicidade, segurança e schema.