Qwen2.5 0.5B OpenHermes 2.5

Un modelo de lenguaje de parámetros liviano de 0.5B ajustado en el conjunto de datos OpenHermes 2.5 para seguir instrucciones y tareas de chat.

Qué hace este modelo

Este modelo toma Qwen/Qwen2.5-0.5B, un modelo base compacto con sólidas capacidades de codificación, matemáticas y multilingüe, y lo ajusta con 1 millón de instrucciones sintéticas y muestras de chat de OpenHermes 2.5. El resultado es un modelo que sigue las instrucciones mejor que la base y al mismo tiempo es lo suficientemente pequeño como para ejecutarse en hardware de consumo.

Especificaciones del modelo

Propiedad | Valor

|---|---

Modelo base | Qwen/Qwen2.5-0.5B Parámetros | 0,49 B (0,36 B no integrados) Arquitectura | Transformadores, cuerda, SwiGLU, RMSNorm, GQA (14Q/2KV) Longitud del contexto | 32.768 fichas Licencia | apache 2.0 Marco | Transformadores >= 4.37.0

Detalles del entrenamiento

• Conjunto de datos: teknium/OpenHermes-2.5 (1 millón de muestras)
• Epocas: 3
• Tasa de aprendizaje: 1e-5 (coseno, 100 pasos de calentamiento)
• Tamaño del lote: 40 (grado acumulado 8)
• Precisión: BF16
• Longitud de secuencia: 4096 con embalaje de muestra
• Optimizador: Adam (β=(0,9,0,999), ε=1e-8)
• Caída de peso: 0,01
• Construido con: Axolotl 0.4.1

Cómo utilizar

from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained(
    "artificialguybr/Qwen2.5-0.5B-OpenHermes2.5",
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(
    "artificialguybr/Qwen2.5-0.5B-OpenHermes2.5"
)

Para chatear, aplique la plantilla de chat Qwen2.5 a través del tokenizador.

Limitaciones

• No es un modelo de chat listo para usar: necesita SFT/RLHF para uso conversacional de producción
• El rendimiento varía según el idioma y el dominio.
• Puede reflejar sesgos de los datos de entrenamiento de OpenHermes 2.5

Fuentes

• Tarjeta modelo HuggingFace
• Blog Qwen2.5
• Conjunto de datos OpenHermes 2.5
• marco ajolote