LLM Dataset Studio: curar datos de SFT, DPO y trazas de agente en local

TL;DR

• La herramienta cura datasets de texto, conversación, SFT, DPO y trazas de agente en local sobre SQLite — y el README es explícito: no es un framework de entrenamiento.
• Los archivos de origen quedan intactos, las comprobaciones automáticas producen evidencia inspeccionable, y las decisiones finales siguen siendo explícitas y reversibles.
• El importador estructurado reconoce los formatos que la gente realmente tiene en disco: chat OpenAI/TRL, ShareGPT, Alpaca, TRL DPO, prompt-completion SFT y trazas de agente.
• La exportación es lista para entrenar: JSONL, Parquet, datasets de Hugging Face, manifiestos, recetas de split y reportes de auditoría.

Qué es y para quién

LLM Dataset Studio es una app local para la parte del ajuste fino que nadie documenta: convertir un montón de texto, conversaciones y trazas en un dataset con rastro de auditoría, y saber qué registros son basura antes de que la ejecución de entrenamiento lo descubra de la forma cara.

Es para quien arma un conjunto de SFT a partir de conversaciones, para el equipo que construye pares de DPO y necesita ver elegido contra rechazado lado a lado, y para quien tiene trazas de agente con pasos y llamadas a herramientas que ningún visor de JSONL muestra bien.

Importación y procedencia

La importación acepta JSONL, Parquet, TXT, carpetas, ZIP y datasets de Hugging Face, y el importador estructurado reconoce y deduplica los formatos comunes:

• Chat OpenAI / TRL: {"messages": [{"role": "user", "content": "..."}]}
• ShareGPT: {"conversations": [{"from": "human", "value": "..."}]}
• Alpaca: instruction, input opcional y output
• TRL DPO: prompt, chosen, rejected
• Prompt-completion SFT: prompt, completion
• Trazas de agente y razonamiento: trace, steps, tool_calls, trajectory o trace_type

Cada importación preserva rutas de origen, bytes originales, hashes SHA-256, estimación de tokens, metadatos, licencias y procedencia. La estimación de tokens en la importación es lo que hace honesta la estadística después, porque la cuenta viene del archivo importado y no de una suposición.

Revisión en un solo Explorer

Un único Explorer maneja texto plano, registros de instrucción, conversaciones multiturno, mensajes de SFT, pares de DPO y trazas, así que búsqueda, estado, orden y acciones de revisión quedan en el mismo lugar mientras el lector se adapta al registro seleccionado. Los modos Read y Rapid review cubren tanto la pasada cuidadosa como la cola que necesita una decisión rápida con teclado.

Los pares de DPO se revisan como respuesta A contra respuesta B, sin cambiar el flujo normal de registro. El dato con forma de traza gana filtros como Has tool calls y Missing final response, y eso es lo que hace revisable un dataset de agente: sin esas señales estás leyendo JSON y esperando.

Estadística, validación y duplicados

Estadística y métricas de tokens se combinan en una vista: número de documentos, total y media de tokens, caracteres, palabras, rango de tokens, cobertura de idioma, formatos, fuentes y distribución de decisiones.

La validación cubre idioma, repetición, tamaño, spam, código, secretos, toxicidad, seguridad, schema y contaminación. Los duplicados se encuentran en tres niveles — exactos, cercanos y semánticos opcionales — y las decisiones son reversibles: keep, review, quarantine, reject y restore. La herramienta también crea etiquetas, tags, decisiones de preferencia, datasets derivados, muestras, mixes y splits.

La contaminación es la comprobación que más importa en un conjunto de evaluación y la que más herramientas de dataset se saltan: una pregunta de benchmark que aparece en tus datos de entrenamiento convierte una buena nota en una nota sin significado.

Versiones y exportación

Las versiones son inmutables, con manifiestos, checksums, diff y restauración — así un experimento en un subconjunto nunca sobrescribe el dataset que tenías. La exportación escribe JSONL, Parquet y datasets de Hugging Face, más manifiestos, recetas de split y reportes de auditoría.

El repositorio también expone MCP y una superficie REST/OpenAPI, así que un agente puede conducir la curaduría con acciones explícitas y auditables en vez de un script privado.

Cómo usarlo

El flujo es: importar, leer la estadística, revisar en el Explorer, ejecutar validación y duplicados, decidir, exportar y versionar. El sample-corpus integrado es el camino de un clic para ver la forma de la app antes de importar datos reales.

Cuándo usarlo, cuándo no

Úsalo cuando un conjunto de SFT montado de tres fuentes necesite volverse un dataset pasable, cuando un archivo de pares de DPO nunca se leyó par a par, cuando las trazas de agente necesitan filtro por llamada a herramienta, o antes de correr un conjunto de evaluación que podría estar contaminado.

No lo uses para entrenar un modelo, y no esperes que escriba tus instrucciones o preferencias — el estudio cura y valida, y la decisión de contenido sigue siendo tuya. Tampoco lo uses como plataforma de etiquetado para un equipo grande: gestiona un dataset y sus versiones.

Sources

1. LLM Dataset Studio — repositorio — tour del producto, lista de funciones, formatos de entrenamiento soportados y alcance de exportación citados arriba.
2. README.md — formatos soportados, licencia (MIT).

Página del proyecto: LLM Dataset Studio

Para lo que el dato curado se convierte después, mira el ajuste fino de instrucción de Llama 3.2 1B Synthia; para la misma familia de estudio en el lado de imagen, Images Dataset Studio.

FAQ

¿Entrena un modelo? No. El README lo llama estudio de curaduría de dataset, no framework de entrenamiento; importa, revisa, valida, versiona y exporta.

¿Qué formatos de chat reconoce el importador? Chat OpenAI/TRL, ShareGPT, Alpaca, TRL DPO, prompt-completion SFT y trazas de agente con trace, steps, tool_calls, trajectory o trace_type.

¿Cómo se revisan los pares de DPO? Como comparación de respuesta A contra respuesta B, en el mismo Explorer, sin cambiar el flujo normal de registro.

¿Comprueba contaminación? Sí, junto con validación de idioma, repetición, tamaño, spam, código, secretos, toxicidad, seguridad y schema.