Qwen2.5 0.5B OpenHermes2.5 GGUF: un pequeño modelo de instrucción para inferencia local

TL;DR:

• Cuantización GGUF de un ajuste fino de parámetros Qwen2.5-0.5B de 0,49 B, entrenado en el conjunto de datos OpenHermes 2.5 de 1 millón de muestras.
• Se ejecuta en herramientas basadas en llama.cpp (Ollama, LM Studio, llama-cpp-python) con RAM mínima, diseñadas para CPU e inferencia de borde.
• Licencia Apache-2.0 de extremo a extremo: modelo base, ajuste y conjunto de datos.

Cual es el modelo

Qwen2.5 0.5B OpenHermes2.5 GGUF es la versión cuantificada de artificialguybr/Qwen2.5-0.5B-OpenHermes2.5, un ajuste de instrucciones de Qwen/Qwen2.5-0.5B en el conjunto de datos de OpenHermes 2.5. La tarjeta de ajuste fino describe a OpenHermes 2.5 como una compilación de alta qualidade de muestras de instrucciones y chat generadas principalmente de forma sintética, alcanzando 1 millón de muestras en total.

Con 0,49 B de parámetros (0,36 B sin incrustación), este es deliberadamente un modelo pequeño. La conversión GGUF de artificialguybr existe para que sea práctica en hardware donde no cabe un modelo 7B o superior: computadoras portátiles, dispositivos tipo Raspberry-Pi y servidores solo con CPU.

Como fue entrenado

El ajuste básico utilizó el marco Axolotl con estos hiperparámetros (de la tarjeta modelo):

• Tasa de aprendizaje: 1e-05, programa de coseno con 100 pasos de calentamiento
• Tamaño del lote: 5 por dispositivo, acumulación de gradiente 8 (40 en total)
• Precisión mixta: BF16, punto de control de gradiente habilitado
• Longitud de secuencia: 4096, empaquetado de muestra, 3 épocas
• Optimizador: Adam (betas 0,9/0,999), caída de peso 0,01

Hereda la arquitectura Qwen2.5: Transformers con RoPE, SwiGLU, RMSNorm y atención de consultas agrupadas (14 cabezales de consulta, 2 cabezales KV), una ventana de contexto de 32,768 tokens y soporte multilingüe. Redmond.ai apoyó la capacitación según la tarjeta de ajuste.

Palabras desencadenantes e indicaciones

No existe una palabra desencadenante especial. El modelo sigue el formato de instrucción estilo ChatML de OpenHermes 2.5, por lo que las instrucciones simples funcionan: déle al modelo un turno de sistema/usuario y déjelo responder.

Cómo utilizar el GGUF

Los archivos GGUF se ejecutan a través de llama.cpp y sus contenedores:

• Ollama / LM Studio: apúntelos al archivo GGUF o impórtelo; ambos manejan la cuantización automáticamente.
• llama-cpp-python: carga el archivo directamente y genera.
• Archivos de varias partes: si el repositorio envía fragmentos divididos, concatenelos antes de cargarlos: las guías GGUF de TheBloke cubren los pasos exactos.

Para la versión de PyTorch no cuantificada, la tarjeta de ajuste fino indica que se requiere Hugging Face Transformers 4.37.0 o posterior.

Caso de uso de ejemplo

Debido a su tamaño, este modelo se adapta a cargas de trabajo livianas de conversación y generación de texto donde la latencia y la memoria importan más que la calidad bruta: creación de prototipos de flujos de chat, ejecución en dispositivos que funcionan con batería o atención a muchas solicitudes pequeñas simultáneas. Combina bien con modelos más grandes de estilo OpenHermes como nivel de respaldo rápido.

Errores y correcciones comunes

Error | Causa | Arreglar | Fuente

|---|---|---|---

GGUF de varias partes no se carga | Fragmentos cargados individualmente | Concatenar piezas antes de cargar | tarjeta GGUF Incompatibilidad de transformadores en el modelo base | Biblioteca obsoleta | Actualización a transformadores >= 4.37.0 | Tarjeta de ajuste fino Formato de chat inesperado | Plantilla de mensaje incorrecta | Utilice turnos de instrucciones estilo ChatML | Conjunto de datos OpenHermes 2.5

Preguntas frecuentes

¿Puedo ejecutar esto en la CPU? Sí: la cuantificación GGUF más parámetros de 0,49 B es el objetivo de esta versión; Los tiempos de ejecución de llama.cpp lo ejecutan sin una GPU.

¿Qué licencia se aplica? Apache-2.0, compartido por el modelo base Qwen2.5, el ajuste fino y el conjunto de datos OpenHermes 2.5.

¿Es este modelo lo suficientemente bueno para el chat de producción? Es un modelo de instrucción pequeño; Espere respuestas ligeras y útiles en lugar de una calidad de vanguardia. Úselo cuando un modelo más grande no sea práctico.

Fuentes

• Página del modelo GGUF — detalles de cuantificación, indicaciones de uso, licencia
• Página de ajuste fino de la base — entrenamiento de hiperparámetros, conjunto de datos, arquitectura
• Conjunto de datos OpenHermes 2.5 — composición de datos de entrenamiento
• Blog Qwen2.5 — capacidades del modelo base
• Explore más herramientas de IA: Sólo buena IA