Voice Dataset Studio: curaduría de dataset de audio, local y primero

TL;DR

• Es herramienta de curaduría de dataset, no un framework de entrenamiento: importa, inventaría, escucha, inspecciona, corta, transcribe, diariza, anota, revisa, versiona y exporta.
• Todo corre en local sobre SQLite, sin GPU. El archivo bruto nunca se modifica, y el resultado automático es siempre sugerencia revisable, no decisión silenciosa.
• El análisis es una progresión con puertas — Files, Risk, Speech, Release — donde cada puerta expone una comprobación principal, el resultado y lo que desbloquea la siguiente.
• Las exportaciones cubren los formatos que las herramientas de voz consumen de verdad: kaldi, rttm, textgrid, lhotse, parquet de Hugging Face, webdataset, audformat-style y jsonl, cada una con manifiesto y checksums.

Qué es y para quién

Voice Dataset Studio — publicado como Audio Dataset Studio — es una app local para la curaduría de un dataset de audio o voz. El README declara la frontera sin rodeos: es un estudio de curaduría de dataset, no un framework de entrenamiento.

Es para quien ya tiene grabaciones y necesita convertirlas en conjunto de entrenamiento: decenas de tomas que hay que segmentar, transcripciones que hay que alinear, hablantes que hay que etiquetar y un paquete que el entrenador acepte a la primera. También para quien viene editando el dataset a mano en un árbol de carpetas y ya perdió la cuenta de qué archivo se cortó, se renombró o se exportó a medias.

Importación y procedencia

La importación acepta archivo único, carpeta, enlace público, archivo de dataset de Hugging Face, manifiestos JSONL, CSV, TSV o Parquet, directorios wav.scp de Kaldi y ZIP seguros contra traversal. Cada importación preserva rutas de origen, bytes originales, hashes SHA-256, metadatos de probe (códec, frecuencia de muestreo, canales), licencias y procedencia — y eso es lo que hace honesta la curaduría después, porque siempre sabes de dónde vino el archivo.

Escuchar y revisar

Un único espacio Explorer lista cada grabación con reproducción integrada, waveform, espectrograma y selección temporal. La revisión funciona con teclado: j y k navegan, 1–4 deciden. Seleccionar una grabación abre el inspector con pestañas de transporte, decisiones, segmentos, transcripción, hablantes, problemas y anotaciones, así el detalle técnico queda bajo demanda en vez de llenar la pantalla.

Las decisiones son keep, review, quarantine y reject, y son reversibles. El reproductor persistente mantiene el canvas de waveform y el espectrograma disponibles mientras avanzas por el conjunto, y eso es lo que hace posible revisar doscientas grabaciones.

Análisis por etapas

Analyze es una progresión con puertas: Files, Risk, Speech, Release. Cada puerta muestra una comprobación principal, su configuración, los hechos del resultado y lo que desbloquea la siguiente. Las comprobaciones avanzadas están detrás de una divulgación, y nada corre antes de que lo pidas.

Las comprobaciones de calidad — silencio, clipping, RMS bajo, duración cero — producen problemas con evidencia en vez de rechazos automáticos. Esa distinción es el principio de diseño: la herramienta expone el problema y tú decides si la grabación es inutilizable. Lo mismo vale para el escaneo de PII y secretos en transcripciones, para los grupos de duplicados exactos, recodificados y acústicos, y para las comprobaciones de fuga.

Segmentos, hablantes y versiones

Los segmentos se cortan y los clips se derivan con el archivo bruto intacto. Las anotaciones son rúbricas temporales, y los hablantes se registran con turnos, consentimiento y sesiones de grabación. Las divisiones son deterministas y conscientes del hablante.

Las versiones mantienen un libro de checkpoints con linaje y checksums, diff y confirmación de restauración como nuevo checkpoint — nada se sobrescribe. La retirada de hablante y de audio mantiene rastro de auditoría, que es la parte que la mayoría de las herramientas de dataset deja fuera.

Exportación

La exportación es un asistente de cuatro pasos — bloqueos de preparación, paquete, contenido, exportación — con la acción final desactivada hasta que salga cada bloqueo. Formatos: kaldi, rttm, textgrid, lhotse, hf (parquet), webdataset, audformat-style y jsonl. Cada exportación lleva manifiesto, checksums y reportes de licencia, consentimiento, calidad, procedencia y split, y la validación estricta bloquea un paquete engañoso.

Cómo instalarlo

Los requisitos son Python 3.11+, uv, Node 20+ o Bun y, opcionalmente, FFmpeg o ffprobe en el PATH — WAV puro funciona solo con la biblioteca estándar.

git clone https://github.com/artificialguybr/voice-dataset-studio.git
cd voice-dataset-studio
python tools/setup.py
cp .env.example .env       # opcional; la app corre sin él
python tools/start.py

La app abre en http://127.0.0.1:8767. En PowerShell de Windows usa py tools\setup.py y py tools\start.py. setup.py instala dependencias del backend con uv y del frontend con Bun o npm; start.py sirve el frontend compilado desde el proceso de la API y maneja Ctrl+C en cualquier sistema.

Las capacidades de voz son extras opcionales y la instalación base sigue ligera:

uv sync --extra speech        # whisperx + pyannote.audio
uv sync --extra features     # embeddings de speechbrain
uv sync --extra augmentation # recetas de audiomentations
uv sync --extra export      # escritores nativos lhotse/audformat

Un proveedor ausente falla el job con explicación accionable en vez de devolver un resultado falso, y la disponibilidad del proveedor siempre está visible en GET /api/providers y en Settings.

Plugins, MCP y API

Settings expone la misma costura de extensión modular de los otros Dataset Studios, y el repositorio trae packs de audio: audio-local para RMS, pico y duración más huellas acústicas; speech-local para transcripción con WhisperX más diarización y VAD con pyannote; y audio-export para comprobaciones de disponibilidad de Lhotse y audformat. Los packs se compilan desde el código rastreado con uv run python plugins/build_packs.py --plugin all y se instalan desde Settings o por POST /api/plugins/install. Los plugins usan el protocolo JSONL ids-plugin.v1, procesos persistentes, permisos mínimos, contención de rutas, timeouts y descarga por inactividad.

Un servidor MCP stdio acompaña el proyecto para Claude Desktop, Cursor y otros clientes MCP: arranca la API, copia mcp-config.example.json con la ruta de tu repositorio y ejecuta uv run python -m backend.mcp_server. Expone salud, listado de datasets, búsqueda e inspección de audio, comparación de segmentos, revisión de problemas, decisiones explícitas de audio, propuestas de transcripción, alineación y diarización, turnos de hablante, jobs asíncronos, versiones con diff, retirada con ids explícitos y exportaciones — contra la misma API REST local, así que valen las mismas reglas de validación.

El servicio FastAPI es la superficie completa de integración: GET /api/health y GET /api/openapi.json dan el contrato, y los grupos cubren datasets, importaciones y jobs, audio, decisiones, problemas, segmentos, transcripciones, hablantes, anotaciones, consentimiento, procedencia, features, duplicados, fuga, splits, versiones, retirada, exportaciones y proveedores.

Cuándo usarlo, cuándo no

Úsalo cuando tengas audio crudo y necesites un paquete listo para entrenar con rastro de auditoría, cuando una exportación anterior fue rechazada por el entrenador por un motivo que no veías, o cuando dos personas editaron el mismo árbol de carpetas y ya no sabes qué hay dentro.

No lo uses como framework de entrenamiento ni esperes que entrene nada. El README es explícito: curaduría, no entrenamiento. Y no esperes que las comprobaciones automáticas decidan por ti — silencio, clipping, duplicados y PII llegan como sugerencia con evidencia, y cada una necesita tu decisión.

Sources

1. Voice Dataset Studio — repositorio — tour del producto, lista de funciones, requisitos, comandos de instalación, tabla de proveedores, packs de plugin, MCP y grupos de la API citados arriba.
2. README.md — comandos de instalación y ejecución, extras, formatos de exportación, licencia (MIT).

Página del proyecto: Voice Dataset Studio

Para el lado de imagen del mismo flujo, mira creación automática de dataset para entrenar LoRA, y para lo que un buen dataset necesita antes que nada, montar un dataset de entrenamiento.

El repositorio tiene licencia MIT. El archivo bruto nunca se modifica, así que una decisión mala siempre es reversible.

FAQ

¿Entrena un modelo? No. El README lo llama estudio de curaduría de dataset, no framework de entrenamiento: prepara y valida el dataset, y el entrenador queda aparte.

¿Necesita GPU? No. SQLite es la base de datos local por defecto y el soporte de GPU es opcional, solo para proveedores locales seleccionados.

¿La comprobación de calidad rechaza grabaciones malas sola? No. Silencio, clipping, RMS bajo y duración cero producen problemas con evidencia; la decisión de rechazar es tuya y es reversible.

¿A dónde va el dataset exportado? A ningún lado por sí solo. La exportación es un asistente de cuatro pasos que escribe un paquete con manifiesto, checksums y reportes, y bloquea la acción final hasta que salga cada bloqueo de preparación.