OpenHermes 2 Mistral 7B PTBR: chat, codificación y juego de roles en portugués

OpenHermesV2 PTBR es una adaptación portuguesa brasileña de OpenHermes 2 Mistral 7B, publicada en Hugging Face por ArtificialGuyBR. Mantiene todo lo que hizo popular al modelo original (seguimiento estricto de instrucciones, formato ChatML y chat compatible con OpenAI) y lo adapta para responder en portugués. Esto es lo que necesita saber para ejecutarlo.

• Modelo base: OpenHermes 2 Mistral 7B (el ajuste fino de Teknium de mistralai/Mistral-7B-v0.1)
• Formato de solicitud: ChatML con <|im_start|> / <|im_end|> tokens y soporte de avisos del sistema<|im_end|>
• Licencia: Apache 2.0, gratuito para uso comercial y personal

¿Qué hace el modelo?

OpenHermes 2 Mistral 7B se entrenó en aproximadamente 900.000 entradas de datos, en su mayoría generados por GPT-4, recopilados de conjuntos de datos abiertos, según la tarjeta modelo. Los conjuntos de datos se filtraron y convirtieron a ShareGPT y luego al formato ChatML usando axolotl. El lanzamiento de PTBR es un ajuste adicional de ese modelo, por lo que hereda las mismas capacidades (asistencia, preguntas y respuestas sobre programación, juego de roles y diálogo de múltiples turnos) mientras responde en portugués.

La página Hugging Face muestra resultados de ejemplo para chat de programación, recetas gourmet, conversaciones filosóficas sobre la propia "conciencia" del modelo y juegos de roles en el mundo de Fullmetal Alchemist. El autor lo describe como un proyecto personal hecho "sólo por diversión/prueba", así que trátelo como un experimento en lugar de un modelo de producción.

Formato de mensaje: ChatML

Al igual que OpenHermes 2, este modelo utiliza la plantilla de chat ChatML. Las indicaciones del sistema son importantes: el modelo fue entrenado para usarlas para seguir instrucciones que abarcan muchos turnos. Un mensaje completo se ve así:

<|im_start|>system
You are "Hermes 2", an artificial intelligence developed by Teknium.<|im_end|>
<|im_start|>user
Hello, who are you?<|im_end|>
<|im_start|>assistant
Hi there! I'm Hermes 2.<|im_end|>

El formato se asigna directamente a la API de chat OpenAI, por lo que los puntos finales creados para él aceptan la misma estructura de mensajes. En Transformers, use la plantilla de chat incluida en lugar de construir la cadena manualmente:

messages = [
    {"role": "system", "content": "Você é Hermes 2."},
    {"role": "user", "content": "Olá, quem é você?"}
]
gen_input = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
model.generate(**gen_input)

conjunto add_generation_prompt=True entonces la plantilla agrega <|im_start|>assistant\n y th<|im_start|>assistant\ns respuesta. En las tarjetas originales, el autor recomienda LM Studio para chatear: ejecuta cuantificaciones GGUF en llama.cpp, ofrece una interfaz similar a ChatGPT y admite ChatML desde el primer momento; simplemente seleccione el prefijo ChatML en el panel de configuración.

Configuraciones recomendadas

La tarjeta del modelo no enumera la configuración del muestreador para esta versión de PTBR. Como regla general para los modelos Mistral-7B ChatML, una temperatura de alrededor de 0,7 con un máximo predeterminado suele funcionar bien para el chat general, y las temperaturas más bajas hacen que la codificación de las respuestas sea más determinista, pero el autor no especifica nada aquí, así que sintonice sus gustos.

Imágenes de ejemplo

No se incluyen imágenes de muestra con la versión Hugging Face, ya que se trata de un modelo de generación de texto, por lo que esta guía no tiene galería. La propia tarjeta modelo incluye capturas de pantalla de conversaciones de ejemplo como referencia.

Errores y correcciones comunes

Error | Causa | Arreglar | Fuente

|---|---|---|---

El modelo responde en inglés | Ninguna instrucción obliga al portugués | Agregue un mensaje del sistema como "Sempre responda em português brasileiro". | tarjeta modelo Salida confusa o truncada en LM Studio | Plantilla incorrecta seleccionada | Elija el prefijo ChatML en el panel de configuración de LM Studio | tarjeta modelo La generación se detiene ante el turno de un asistente | Mensaje de generación faltante | llamar apply_chat_template(..., add_generation_prompt=True) | tarjeta modelo

Preguntas frecuentes

¿En qué modelo base está construido OpenHermesV2 PTBR? Mistral-7B-v0.1, mediante el ajuste fino de OpenHermes 2 Mistral 7B de Teknium. Vea la etiqueta del modelo base en la Tarjeta modelo Hugging Face.

¿Qué licencia utiliza? Apache 2.0, por lo que puede usarse comercialmente, modificarse y redistribuirse con atribución.

¿Admite indicaciones del sistema? Sí. ChatML se basa en <|im_start|>system turnos, y OpenHermes 2 fue entrenado para usar instrucciones del sistema en conversaciones de varios turnos.

Fuentes

• artificialguybr/OpenHermesV2-PTBR — Abrazando la cara: modelo de tarjeta, formato de solicitud, detalles de capacitación y licencia.
• Lecturas relacionadas en este portafolio: el OpenHermes 2 Mistral 7B original, Notas de arquitectura de Mistral 7B y una introducción a las plantillas de mensajes de ChatML.