Llama 3.2 1B Synthia: un modelo pequeño ajustado para seguir instrucciones

Los grandes modelos de lenguaje acaparan los titulares, pero los más prácticos para experimentar en local son los pequeños. Llama 3.2 1B Synthia I Redmond de ArtificialGuyBR es un ajuste fino de instrucciones de 1B de parámetros sobre el Llama 3.2 1B de Meta, entrenado con el dataset Synthia-v1.5-I y con soporte de GPU de RedmondAI. Apunta al punto óptimo entre una huella mínima y una capacidad conversacional utilizable. Un modelo de este tamaño cabe en la memoria de un portátil corriente y responde en segundos, así que puedes probar, descartar y repetir experimentos sin depender de infraestructura potente.

• Ajustado con el dataset de instrucciones Synthia-v1.5-I, con 20,7 mil ejemplos, durante 3 épocas completas.
• Construido sobre NousResearch/Llama-3.2-1B, una base multilingüe que cubre en, de, fr, it, pt, hi, es y th.
• Publicado bajo la Llama 3.2 Community License; no requiere ajustes de inferencia especiales más allá de los valores de generación estándar.

Qué hace este modelo

El Llama 3.2 1B base es un modelo multilingüe de Meta. Esta versión ajusta esa base con Synthia-v1.5-I, un dataset de instrucciones, con el objetivo de mejorar qué tan bien el modelo sigue indicaciones en escenarios conversacionales y de ejecución de tareas. Los usos previstos listados en la tarjeta del modelo son el seguimiento de instrucciones, aplicaciones de IA conversacional e investigación y desarrollo en PLN. Aquí no hay palabras desencadenantes ni prompts de instancia — a diferencia de un LoRA de imagen, se usa como un modelo generativo de texto normal y se le hace el prompt directamente.

Esa diferencia marca la forma de trabajar con él. Escribes la petición en lenguaje natural, tal como se la darías a una persona, y el modelo la continúa. No hay una plantilla de activación que recordar, ni un token especial que cambiar según la tarea. El prompt es el único control que tienes, junto con los parámetros de generación.

La tarjeta del modelo no publica puntuaciones de referencia, así que no hay cifras de benchmark que citar. Lo que sí declara son los tres usos previstos: seguir instrucciones, sostener conversaciones y servir de base para investigación en PLN. Para cualquier otra cosa, conviene medir el comportamiento por tu cuenta con tus propias tareas antes de confiar en él.

Para ver más modelos y proyectos de ArtificialGuyBR, consulta el índice de proyectos o explora la colección de LLMs.

Cómo se entrenó

La tarjeta del modelo publica la receta de entrenamiento completa, útil si quieres reproducir o ampliar el ajuste fino:

• Dataset: Synthia-v1.5-I, 20,7 mil ejemplos de entrenamiento
• Épocas: 3
• Tasa de aprendizaje: 2e-05
• Tamaño de batch: 1 por dispositivo, 8 pasos de acumulación de gradiente (8 en total)
• Tamaño de batch de evaluación: 1
• Semilla: 42
• Optimizador: Paged AdamW 8bit (betas 0.9/0.999, epsilon 1e-08)
• Planificador de LR: Coseno con 100 pasos de calentamiento
• Framework: Axolotl 0.5.0, Transformers 4.46.1, PyTorch 2.3.1, Datasets 3.0.1, Tokenizers 0.20.3

Los ocho pasos de acumulación de gradiente equivalen a un batch total de ocho. Ese es el patrón de los ajustes finos pequeños y eficientes: un dataset ligero, un entrenamiento corto y una pila estándar de código abierto. La tasa de aprendizaje 2e-05 con un planificador de coseno y 100 pasos de calentamiento es la combinación habitual para no desestabilizar un modelo base en las primeras iteraciones.

El entrenamiento se hizo con Axolotl 0.5.0 sobre PyTorch 2.3.1+cu121, la compilación de CUDA 12.1. El soporte de GPU de RedmondAI aparece acreditado en la tarjeta como el cómputo detrás del entrenamiento. Reproducir la receta exige por tanto una GPU, pero ejecutar el resultado ya entrenado no.

Cómo usarlo

El modelo es un modelo de pipeline text-generation en Hugging Face. La forma más rápida de ejecutarlo en Python:

from transformers import pipeline

gen = pipeline("text-generation", model="artificialguybr/LLAMA3.2-1B-Synthia-I-Redmond")
print(gen("Explain in one sentence what fine-tuning does.")[0]["generated_text"])

La tarjeta del modelo no publica ajustes de inferencia específicos, así que empieza con los valores de generación estándar del Llama 3.2 1B y ajusta la temperatura o el top-p a gusto. Una temperatura alta produce respuestas más variadas; una baja, más conservadoras y repetitivas.

Con 1B de parámetros corre sin problemas en CPU para generaciones cortas y con facilidad en GPUs de consumo. Los pesos se distribuyen en formato safetensors, y la etiqueta de la tarjeta indica compatibilidad con text-generation-inference y con endpoints, es decir, que puede servirse detrás de una API sin envolverlo en código propio. Si trabajas con otros modelos compactos, consulta los ajustes finos de LLM relacionados.

Licencia

Este modelo se publica bajo el Llama 3.2 Community License Agreement. Los usuarios deben cumplir todos los términos y condiciones especificados en esa licencia, como se indica en la tarjeta del modelo. La licencia es la misma que la del modelo base de Meta y se aplica al derivado, no solo a los pesos originales. Leer el texto completo antes de uso comercial es responsabilidad de quien despliega el modelo.

Errores comunes y soluciones

Preguntas frecuentes (FAQ)

¿Es un modelo de visión o de imagen? No. Es un LLM de generación de texto en la categoría LLM / Text Generation.

¿Necesita palabras desencadenantes? No. Los LLMs ajustados para instrucciones se usan con prompts directos — no hay palabra desencadenante ni prompt de instancia.

¿Qué idiomas admite? El modelo base es multilingüe: en, de, fr, it, pt, hi, es y th.

¿Quién proporcionó el cómputo de entrenamiento? RedmondAI aparece acreditado en la tarjeta del modelo por el soporte de GPU.