Gemma 2 2B OpenHermes2.5: un ajuste ligero de instrucciones

TL;DR:

• Gemma 2 2B OpenHermes2.5 es el modelo base 2B Gemma 2 de Google ajustado en el conjunto de datos OpenHermes-2.5, distribuido bajo Apache 2.0.
• Está diseñado para seguir instrucciones y chatear, y utiliza el formato de conversación ChatML (turnos de sistema/usuario/asistente).
• Con parámetros de 2B, se ejecuta en hardware modesto, incluida la inferencia solo de CPU y instancias de GPU de nivel gratuito.

¿Qué hace el modelo?

Gemma 2 2B OpenHermes2.5 es un modelo de generación de texto creado por ArtificialGuyBR. comienza desde google/gemma-2-2b y está ajustado en teknium/OpenHermes-2.5, un conjunto de datos construido en gran parte a partir de datos sintéticos GPT-4. El resultado es un pequeño tun de instrucciones.teknium/OpenHermes-2.5l Tareas lingüísticas: responder preguntas, seguir instrucciones y mantener turnos de conversación.

Debido a que el conjunto de datos OpenHermes-2.5 está formateado en ChatML, el modelo espera indicaciones en esa estructura: <|im_start|> y tokens <|im_end|> que separan los turnos del sistema, usuario y asistente. Las etiquetas de la tarjeta modelo (chatml, instruct, gpt4, s<|im_end|>a, destilación) reflejan esto directamente.chatmlinstructgpt4synthetic datadistillation

Detalles del entrenamiento

Según el modelo de tarjeta, el ajuste utilizó una única GPU NVIDIA A100-SXM4-80GB con el marco de entrenamiento Axolotl además de Hugging Face Transformers. El modelo base es google/gemma-2-2b, publicado bajo la licencia Gemma; el ajuste fino en sí se distribuye bajo Apache 2.0, lo que lo hace permisivo para uso comercial y de investigación. Los datos y el procedimiento de entrenamiento se limitan al resumen anterior: la tarjeta no publica hiperparámetros.

Como usarlo

El modelo se publica como pesos de tensores de seguridad compatibles con transformadores y figura como compatible con los puntos finales de inferencia de generación de texto y de inferencia de Hugging Face. En la práctica puedes cargarlo con los Transformers estándar. pipeline API o mediante TGI, y el tamaño lo hace viable en CPU, GPU pequeñas e instancias de nube de nivel gratuito. Para uso conversacional, aplique la plantilla ChatML en lugar de enviar texto de instrucciones sin formato, ya que ese es el formato en el que se entrenó el ajuste fino.

Para otras opciones de instrucción ligera en el mismo espacio, consulte nuestra Gema 2 variantes y resumen del modelo de instrucción 2B; si elige entre pesos base e instrucciones, la guía de ajuste fino vs modelo base cubre las compensaciones.

Errores y correcciones comunes

Error | Causa | Arreglar | Fuente

|---|---|---|---

Respuestas incoherentes o fuera de tema | Mensaje enviado como texto sin formato en lugar de turnos de ChatML | Ajustar la entrada en <|im_start|>system/user/assistant bloques | Tarjeta modelo Generación lenta en CPU | El modelo 2B todavía recibe una gran atención por token | Utilice cuantificación de 4/8 bits o un backend de GPU | Etiquetas de tarjeta modelo (transformers, tensores de seguridad)safetensors CORS/errores de formato en puntos finales de inferencia | TGI a veces necesita una plantilla de chat explícita | Solicite con una plantilla ChatML o la API de chat de TGI | Tarjeta modelo (text-generation-inference etiqueta)

Preguntas frecuentes

¿Qué es Gemma 2 2B OpenHermes2.5? Un ajuste fino de Gemma 2 2B de Google en el conjunto de datos OpenHermes-2.5, realizado por ArtificialGuyBR para seguir instrucciones y tareas de lenguaje general.

¿En qué modelo base está entrenado? google/gemma-2-2b, según el campo "Ajustado desde el modelo" de la tarjeta de modelo.

¿Qué licencia utiliza? Apache 2.0, indicado en la ficha del modelo. El modelo básico de Gemma 2 tiene sus propios términos de uso de Gemma.

¿Qué formato de aviso espera? ChatML, que coincide con el formato del conjunto de datos OpenHermes-2.5 (sistema/usuario/asistente gira con im_start/ tokens im_end).im_end

¿Puede funcionar sin una GPU grande? Con parámetros 2B es pequeño para los estándares LLM; La tarjeta no publica los requisitos de VRAM, pero el tamaño es compatible con la inferencia de CPU y GPU modestas.

¿Cómo fue entrenado? Con Axolotl y Hugging Face Transformers en una GPU NVIDIA A100-SXM4-80GB, según el modelo de tarjeta.

Fuentes

• Tarjeta modelo Hugging Face: artificialguybr/Gemma2-2B-OpenHermes2.5 — datos de entrenamiento, hardware, licencia y notas de uso.