GenStructDolphin 7B Slerp: un Mergekit Slerp de Genstruct y Dolphin

GenStructDolphin-7B-Slerp es una fusión de Mistral-7B que combina las habilidades de generación de conjuntos de datos de instrucciones de NousResearch/Genstruct-7B con el estilo conversacional de Dolphin 2.6 Mistral. Construido con LazyMergekit y el método de fusión slerp, tiene como objetivo una cosa: un único modelo 7B que puede estructurar instrucciones y chatear de forma natural.

• Qué es: un mergekit slerp de Genstruct-7B y Dolphin-2.6-mistral-7b-dpo-laser, ambos basados ​​en Mistral-7B.
• Cómo usarlo: canalización de transformadores estándar con la plantilla de chat del modelo: no se necesitan palabras desencadenantes.
• Configuraciones recomendadas: float16, temperatura 0,7, top_k 50, top_p 0,95, según la tarjeta del modelo.

Qué hace el modelo

Los dos padres cubren terrenos diferentes. Genstruct-7B está capacitado para generar conjuntos de datos que siguen instrucciones: produce la estructura de preguntas y respuestas que desea al crear datos de entrenamiento. Dolphin 2.6 Mistral es Delfín 2.6 MistralIncluye esos comportamientos en un archivo de pesos, por lo que un solo modelo puede manejar tareas de instrucción estructurada y chat abierto.

Debido a que se trata de una fusión, no de un ajuste fino, no hay nuevos datos de entrenamiento ni ningún activador o mensaje de instancia por separado. Interactúa con él exactamente como cualquier modelo de instrucción basado en Mistral: cree una lista de mensajes de chat, aplique la plantilla de chat y genere.

Cómo se configura la combinación

La tarjeta modelo publica la configuración completa del mergekit, que es lo que lo hace reproducible:

slices:
  - sources:
      - model: NousResearch/Genstruct-7B
        layer_range: [0, 32]
      - model: cognitivecomputations/dolphin-2.6-mistral-7b-dpo-laser
        layer_range: [0, 32]
merge_method: slerp
base_model: NousResearch/Genstruct-7B
parameters:
  t:
    - filter: self_attn
      value: [0, 0.5, 0.3, 0.7, 1]
    - filter: mlp
      value: [1, 0.5, 0.7, 0.3, 0]
    - value: 0.5
dtype: bfloat16

Aquí importan dos detalles. el t Los valores dependen de la capa: la autoatención se inclina hacia Genstruct al final de la pila de capas, mientras que los bloques MLP se inclinan en sentido opuesto, con 0,5 como valor predeterminado general. Esa ponderación asimétrica es el tipo de ajuste que distingue una fusión deliberada de un promedio ingenuo. El modelo base es Genstruct-7B, por lo que el modelo fusionado hereda su tokenizador y arquitectura. Si es nuevo en este flujo de trabajo, un tutorial de mergekitgs confía en.

Cómo usarlo

La tarjeta modelo incluye un ejemplo de transformadores de copiar y pegar:

from transformers import AutoTokenizer
import transformers
import torch

model = "artificialguybr/GenStructDolphin-7B-Slerp"
messages = [{"role": "user", "content": "What is a large language model?"}]

tokenizer = AutoTokenizer.from_pretrained(model)
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
pipeline = transformers.pipeline(
    "text-generation",
    model=model,
    torch_dtype=torch.float16,
    device_map="auto",
)

outputs = pipeline(prompt, max_new_tokens=256, do_sample=True, temperature=0.7, top_k=50, top_p=0.95)
print(outputs[0]["generated_text"])

Los mismos pesos funcionan en otras herramientas de Mistral-7B: cuantificación GGUF para tiempos de ejecución estilo llama.cpp, vLLM o TGI para servicio y UI locales estilo ComfyUI que cargan puntos de control HF. Los parámetros de canalización anteriores (temperatura 0,7, top_k 50, top_p 0,95) son los valores predeterminados recomendados para la generación del estilo de chat. Para obtener instrucciones estructuradas, reduzca la temperatura entre 0,3 y 0,5.

Errores y soluciones comunes

Error | Causa | Arreglar | Fuente

|---|---|---|---

Formato de chat incorrecto/respuestas incoherentes | Plantilla de chat no aplicada antes de la generación | uso apply_chat_template(...) con add_generación_prompt=True | Ejemplo de uso de tarjeta modeloadd_generation_prompt=True Sin memoria en la GPU | Modelo 7B cargado con total precisión | Cargar con torch_dtype=torch.float16 y device_map="auto" | Ejemplo de uso de tarjeta modelodevice_map="auto" El comportamiento de fusión difiere de las expectativas | Por capa t los valores cambian qué padre domina | Lea la configuración t publicada antes de volver a fusionar o ajustar | Configuración de tarjeta modelotración Preguntas sobre licencia para uso comercial | Fusionar licencia no indicada en la tarjeta | Verifique ambos repositorios de modelos base (Genstruct-7B, Dolphin 2.6 Mistral) | Tarjeta de modelo, páginas de modelo base

Preguntas frecuentes

¿GenStructDolphin es un ajuste fino? No. Es una fusión rápida de dos puntos de control Mistral-7B creados con LazyMergekit; no se realizó ningún entrenamiento adicional.

¿Necesito una palabra desencadenante o un mensaje de instancia? No. Se utiliza a través de su plantilla de chat como cualquier modelo de instrucción basado en Mistral.

¿Qué hardware necesito? La tarjeta no indica los requisitos de VRAM. Como modelo 7B bfloat16, se ajusta al tamaño habitual del Mistral-7B; ejecútelo con carga float16 y device_map auto.

¿Puedo reproducir la combinación yo mismo? Sí. La configuración completa de mergekit YAML se publica en la tarjeta del modelo y los modelos base son públicos en Hugging Face. ver un [guía del kit de combinación(/mergekit-slerp-tutorial) para el flujo de trabajo.

Fuentes

• Tarjeta modelo GenStructDolphin-7B-Slerp — configuración de fusión, código de uso, configuraciones de muestreo recomendadas
• NousResearch/Genstruct-7B — modelo base de generación de conjuntos de datos de instrucciones
• cálculos cognitivos/dolphin-2.6-mistral-7b-dpo-laser — modelo base conversacional