ArtificialGuyBR

Home / Blog / Fixing things

Qwen2.5 0.5B OpenHermes2.5 GGUF: LLM de Instrução Minúsculo

Quantização GGUF do Qwen2.5-0.5B ajustado no OpenHermes 2.5 — um modelo de instrução de 0.49B para inferência local rápida e de baixa memória.

2 sources cited Fixing things

On this page

  1. O que é o modelo
  2. Como foi treinado
  3. Palavras-gatilho e prompting
  4. Como usar o GGUF
  5. Caso de uso exemplo
  6. Erros comuns e correções
  7. FAQ
  8. Fontes

Qwen2.5 0.5B OpenHermes2.5 GGUF: Um Modelo de Instrução Minúsculo para Inferência Local

TL;DR:

  • Quantização GGUF de um fine-tune do Qwen2.5-0.5B com 0.49B parâmetros, treinado no dataset OpenHermes 2.5 com 1M de amostras.
  • Roda em ferramentas baseadas em llama.cpp (Ollama, LM Studio, llama-cpp-python) com RAM mínima — feito para inferência em CPU e em dispositivos de borda.
  • Licença Apache-2.0 de ponta a ponta: modelo base, fine-tune e dataset.

O que é o modelo

Qwen2.5 0.5B OpenHermes2.5 GGUF é a versão quantizada de artificialguybr/Qwen2.5-0.5B-OpenHermes2.5, um fine-tune de instrução de Qwen/Qwen2.5-0.5B no dataset OpenHermes 2.5. O card do fine-tune descreve o OpenHermes 2.5 como uma compilação de alta qualidade, composta principalmente por amostras de instrução e chat geradas sinteticamente, totalizando 1 milhão de amostras.

Com 0.49B parâmetros (0.36B não-embedding), este é um modelo propositalmente pequeno. A conversão para GGUF por artificialguybr existe para torná-lo viável em hardware onde modelos de 7B ou maiores não cabem — notebooks, dispositivos da classe Raspberry Pi e servidores apenas com CPU.

Como foi treinado

O fine-tune base usou o framework Axolotl com estes hiperparâmetros (do card do modelo):

  • Learning rate: 1e-05, schedule cosseno com 100 passos de warmup
  • Batch size: 5 por dispositivo, acúmulo de gradiente 8 (total 40)
  • Precisão mista: BF16, gradient checkpointing habilitado
  • Comprimento de sequência: 4096, empacotamento de amostras ativado, 3 epochs
  • Otimizador: Adam (betas 0.9/0.999), weight decay 0.01

Ele herda a arquitetura do Qwen2.5: Transformers com RoPE, SwiGLU, RMSNorm e grouped-query attention (14 cabeças de query, 2 cabeças KV), janela de contexto de 32.768 tokens e suporte multilíngue. O treinamento foi apoiado pela Redmond.ai, segundo o card do fine-tune.

Palavras-gatilho e prompting

Não há palavra-gatilho especial. O modelo segue o formato de instrução estilo ChatML do OpenHermes 2.5, então prompting simples funciona: dê ao modelo um turno de sistema/usuário e deixe-o responder.

Como usar o GGUF

Arquivos GGUF rodam via llama.cpp e seus wrappers:

  • Ollama / LM Studio: aponte para o arquivo GGUF ou importe; ambos lidam com a quantização automaticamente.
  • llama-cpp-python: carregue o arquivo diretamente e gere.
  • Arquivos em várias partes: se o repositório distribuir shards divididos, concatene-os antes de carregar — os guias de GGUF do TheBloke cobrem os passos exatos.

Para a versão PyTorch não quantizada, o card do fine-tune observa que é necessário Hugging Face transformers 4.37.0 ou superior.

Caso de uso exemplo

Devido ao seu tamanho, este modelo se encaixa em cargas de trabalho leves de conversa e geração de texto onde latência e memória importam mais do que qualidade bruta: prototipagem de fluxos de chat, execução em dispositivos alimentados por bateria, ou atendimento de muitas pequenas solicitações concorrentes. Combina bem com modelos maiores estilo OpenHermes como um nível de fallback rápido.

Erros comuns e correções

Erro | Causa | Correção | Fonte

|---|---|---|---

GGUF em várias partes falha ao carregar | Shards carregados individualmente | Concatenar partes antes de carregar | Card do GGUF Incompatibilidade do transformers no modelo base | Biblioteca desatualizada | Atualizar para transformers >= 4.37.0 | Card do fine-tune Formatação de chat inesperada | Template de prompt incorreto | Usar turnos de instrução estilo ChatML | Dataset OpenHermes 2.5

FAQ

Posso rodar isso em CPU? Sim — a quantização GGUF somada aos 0.49B parâmetros é o ponto deste lançamento; runtimes llama.cpp o executam sem GPU.

Qual licença se aplica? Apache-2.0, compartilhada pelo modelo base Qwen2.5, pelo fine-tune e pelo dataset OpenHermes 2.5.

Este modelo é bom o suficiente para chat de produção? É um pequeno modelo de instrução; espere respostas leves e funcionais, em vez de qualidade de fronteira. Use-o onde um modelo maior é inviável.

Fontes