Qwen 2 1.5B Synthia II Redmond GGUF

TL;DR:

• Cuantización GGUF de un modelo Qwen 2 1.5B ajustado fino con datos de conversación sintética generados por GPT-4, listo para inferencia local a través de runtimes compatibles con llama.cpp
• Licencia Apache 2.0, modelo de instrucciones que usa el formato de prompt ChatML y se ejecuta sin GPU en hardware modesto
• El dataset de entrenamiento es el Synthia v1.5-II, construido a partir de conversaciones sintéticas de GPT-4

Qué es este modelo

Esta es una versión cuantizada en GGUF de Qwen 2 1.5B Synthia II Redmond — un modelo de instrucciones de 1,5 mil millones de parámetros basado en Qwen 2, ajustado fino con el dataset Synthia v1.5-II de migtissera. El dataset Synthia se construye a partir de conversaciones sintéticas generadas por GPT-4, un enfoque de destilación que transfiere los hábitos de razonamiento y de formato de GPT-4 a un modelo abierto mucho más pequeño. La tarjeta del modelo GGUF lista entre sus etiquetas synthetic data y distillation, lo que confirma el enfoque de entrenamiento.

La cuantización la hizo ArtificialGuyBR, con patrocinio de GPU de Redmond.AI, y apunta al ajuste fino de instrucciones publicado en artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond, cuyo peso base, formato y licencia hereda. El resultado es un modelo de un solo archivo que corre en hardware modesto sin necesidad de GPU, por lo que sirve igualmente para un portátil o para una VPS pequeña. Al contrario que el modelo base multilingüe de Qwen 2, el ajuste fino apunta a la conversación en inglés, así que no esperes calidad comparable en otros idiomas aunque el prompt esté en ellos.

Antecedentes del entrenamiento

• Modelo base: Qwen 2 1.5B, publicado por el equipo de Qwen
• Dataset del ajuste fino: migtissera/Synthia-v1.5-II (conversaciones sintéticas de GPT-4)
• Formato: ChatML (roles <|im_start|>, <|im_end|>)
• Licencia: Apache 2.0
• Idioma: inglés (según la tarjeta del modelo)

La lineage Synthia es una familia de destilación conocida: GPT-4 genera pares instrucción-respuesta de alta calidad, y esos pares ajustan modelos más pequeños. Esta versión aplica esa receta a Qwen 2 en la escala de 1.5B, manteniendo el modelo lo bastante pequeño para casos de uso embebidos o sin conexión. La tarjeta del modelo lista synthetic data y distillation entre sus etiquetas, lo que confirma el enfoque de entrenamiento. Tanto el Qwen 2 base como el dataset Synthia llevan licencias permisivas, y por eso este ajuste fino puede distribuirse tal cual.

Cómo usarlo

El archivo GGUF se coloca directamente en cualquier runtime compatible con llama.cpp:

• llama.cpp — carga directa por CLI: llama-cli -m qwen-2-1.5b-synthia-ii-redmond.gguf -p " (user)\nHello \n (assistant)\n"
• Ollama — crea un Modelfile que apunte al archivo GGUF (con TEMPLATE """ (user)\n{{ .Prompt }} \n (assistant)\n""")
• LM Studio — arrastra el GGUF a la carpeta de modelos
• text-generation-webui — usa el cargador GGUF con el backend de llama.cpp

La tarjeta del modelo remite expresamente a las guías de GGUF de TheBloke para los detalles de uso, incluida la concatenación de archivos GGUF multiparte cuando una versión se divide en varias partes. Si eres nuevo en los archivos GGUF, nuestra guía para ejecutar LLMs en local cubre el mismo flujo de trabajo en los distintos runtimes. La tarjeta GGUF enlaza asimismo al repositorio base, por lo que conviene verificar ahí la lista actualizada de cuantizaciones antes de descargar.

Plantilla de prompt

Este es un modelo de instrucciones ChatML. Los prompts deben usar los roles de ChatML:

 (system)
You are a helpful assistant. (user)
{prompt} (assistant)

La mayoría de los runtimes modernos detectan la configuración del tokenizador desde el archivo GGUF y aplican esta plantilla automáticamente; en el uso directo del CLI de llama.cpp la pasas a mano.

Cómo elegir una cuantización

Los archivos GGUF cuantizados equilibran tamaño y memoria contra calidad. La orientación estándar se aplica aquí igual que en nuestra guía de cuantización GGUF: empieza con una K-quant de 4 o 5 bits (Q4_K_M, Q5_K_M) para el mejor equilibrio tamaño/calidad, y pasa a Q8_0 solo si la memoria lo permite y quieres una calidad cercana a fp16. El árbol de archivos del repositorio lista las cuantizaciones disponibles por archivo; elige la que quepa en tu presupuesto de RAM.

Con 1,5 mil millones de parámetros, incluso las cuantizaciones más grandes se mantienen por debajo de un par de gigabytes, así que el modelo sigue siendo práctico para portátiles, VPS pequeñas y despliegues en placas de bajo consumo. La tarjeta no publica ninguna cifra exacta de VRAM, así que mide en tu propio hardware en vez de confiar en estimaciones. Si solo tienes CPU, una cuantización de 4 bits da la mejor relación entre velocidad y calidad; una de 8 bits mejora la fidelidad a costa de memoria y tiempo por token.

Licencia

Apache 2.0, según los metadatos de la tarjeta del modelo. Eso permite el uso comercial y no comercial, la modificación y la redistribución con atribución. Tanto el Qwen 2 base como el dataset Synthia llevan licencias permisivas, y por eso este ajuste fino puede distribuirse tal cual. La licencia aplica también a las cuantizaciones distribuidas en el repositorio GGUF, sin requerir pasos adicionales.

Errores comunes y soluciones

FAQ

¿Es lo mismo que el Qwen 2 1.5B original? No. Es Qwen 2 1.5B ajustado fino con Synthia v1.5-II (datos sintéticos de GPT-4), publicado por ArtificialGuyBR, y luego cuantizado a GGUF. El ajuste fino cambia el estilo de respuesta para tareas de instrucciones y retoma los hábitos de formato de GPT-4.

¿Necesito una GPU? No. Los archivos GGUF corren en CPU a través de llama.cpp; una GPU solo los acelera. La tarjeta no publica cifras exactas de VRAM, así que mide tu propio caso.

¿Se permite el uso comercial? Sí, el modelo está bajo licencia Apache 2.0. La redistribución con atribución está permitida, y las cuantizaciones GGUF heredan el mismo permiso.

¿Qué idiomas admite? La tarjeta lista el inglés. El Qwen 2 base es multilingüe, pero el ajuste fino de Synthia apunta a la conversación en inglés, por lo que el rendimiento en otros idiomas no está garantizado.

¿Dónde está la versión sin cuantizar? En artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond, que es la que esta versión GGUF cuantiza.