Llama 3.2 1B Synthia II Redmond

TL;DR

• Ajuste fino de NousResearch/Llama-3.2-1B con Synthia-v1.5-II para el seguimiento de instrucciones
• Admite 8 idiomas: en, de, fr, it, pt, hi, es, th
• Entrenado con Axolotl durante 3 épocas, LR 2e-05, programación coseno
• Licencia: Llama 3.2 Community License

Qué hace este modelo

Llama 3.2 1B Synthia II Redmond es una variante con ajuste fino del Llama 3.2 1B de Meta (mediante la publicación de NousResearch), adaptada con el conjunto de datos de instrucciones Synthia-v1.5-II. El modelo base es un transformador multilingüe compacto diseñado para chat estilo asistente, recuperación agéntica y resumen, con una ventana de contexto de 128k y Grouped-Query Attention. Este ajuste fino conserva esas propiedades mientras busca reforzar el comportamiento de seguimiento de instrucciones con el conjunto de datos Synthia.

El tamaño de 1B lo convierte en una opción práctica para la inferencia local y en el borde (edge): los pesos ocupan aproximadamente 2,5 GB en BF16 y funcionan con fluidez en hardware modesto, incluidas configuraciones solo con CPU. Eso lo hace un campo de pruebas útil para experimentar con el ajuste de instrucciones al estilo Synthia sin el apetito de VRAM de modelos más grandes.

Detalles del entrenamiento

Parámetro | Valor

|---|---

Modelo base | NousResearch/Llama-3.2-1B Conjunto de datos | migtissera/Synthia-v1.5-II Épocas | 3 Tasa de aprendizaje | 2e-05 Tamaño de lote | 1 (efectivo 8 mediante acumulación de gradientes) Optimizador | Paged AdamW de 8 bits Programador de LR | Coseno, 100 pasos de calentamiento Framework | Axolotl 0.5.0 Transformers | 4.46.1 PyTorch | 2.3.1+cu121 La infraestructura de entrenamiento fue proporcionada por RedmondAI, lo que da al modelo su sufijo Redmond.

Cómo usarlo

Con Transformers

Carga el modelo con el pipeline estándar de LM causal (requiere transformers >= 4.43):

import torch
from transformers import pipeline

model_id = "artificialguybr/LLAMA3.2-1B-Synthia-II-Redmond"

pipe = pipeline("text-generation", model=model_id, torch_dtype=torch.bfloat16, device_map="auto")
print(pipe("Explain the water cycle in one paragraph"))

También puedes cargarlo directamente con AutoModelForCausalLM y AutoTokenizer, y luego llamar a generate() con tus propios parámetros de decodificación (temperature, top-p, max_new_tokens). El repositorio incluye pesos en safetensors, archivos del tokenizador y una configuración de generación.

Notas de despliegue

El modelo está etiquetado como compatible con text-generation-inference y endpoints, por lo que puede servirse en plataformas de inferencia estándar así como ejecutarse localmente.

Licencia

Este modelo se rige por la Llama 3.2 Community License — una licencia comercial personalizada. Obligaciones clave para la redistribución:

• Proporcionar una copia de la licencia con cualquier material distribuido
• Mostrar "Built with Llama" en los sitios web o documentación relacionados
• Los nombres de los modelos derivados deben comenzar con "Llama"
• Cumplir la Política de Uso Aceptable de Meta

Errores comunes y soluciones

Error | Causa | Solución | Fuente

|---|---|---|---

Sin memoria al cargar | Los pesos BF16 de 1,2 mil millones de parámetros necesitan ~2,5 GB | Usar cuantización de 4/8 bits o descarga a CPU | Índice safetensors del repositorio del modelo Generación lenta | Carga de precisión completa en una GPU débil | Cuantizar o usar un max_new_tokens menor | — Salida en idiomas distintos del inglés más débil | Modelo base entrenado principalmente con datos predominantes en inglés | Ajustar más con datos en el idioma objetivo | Tarjeta del modelo base

Preguntas frecuentes

P: ¿Qué es el conjunto de datos Synthia-v1.5-II? R: Un conjunto de datos de ajuste de instrucciones creado por migtissera, alojado en Hugging Face, usado aquí para adaptar Llama 3.2 1B para un mejor seguimiento de instrucciones.

P: ¿Puedo usarlo comercialmente? R: Sí, bajo los términos de la Llama 3.2 Community License, incluidos los requisitos de atribución mencionados arriba.

P: ¿En qué se diferencia del Llama 3.2 1B base? R: El modelo base es la fundación preentrenada. Esta variante fue ajustada con Synthia-v1.5-II con los hiperparámetros anteriores, y se distribuye como un checkpoint de transformers listo para usar.

P: ¿Qué hardware necesito? R: Los pesos BF16 ocupan unos 2,5 GB, así que aproximadamente 4 GB de VRAM de GPU libre (o RAM de CPU) es un punto de partida seguro; la cuantización lo reduce aún más.

Fuentes

• Tarjeta del modelo en Hugging Face — detalles de entrenamiento, hiperparámetros, licencia
• NousResearch/Llama-3.2-1B — tarjeta del modelo base, datos de arquitectura
• Conjunto de datos Synthia-v1.5-II — datos de entrenamiento
• Framework Axolotl — infraestructura de entrenamiento