Qwen2.5 0.5B OpenHermes 2.5: Modelo Instruct Leve
Qwen2.5 0.5B fine-tunado no OpenHermes 2.5 para seguir instruções. Apache 2.0, roda localmente, 0.5B parâmetros.
On this page
Qwen2.5 0.5B OpenHermes 2.5
Um modelo de linguagem leve de 0,5B de parâmetros, fine-tunado no dataset OpenHermes 2.5 para seguimento de instruções e tarefas de chat.
O Que Este Modelo Faz
Este modelo pega Qwen/Qwen2.5-0.5B — um modelo base compacto com fortes capacidades em código, matemática e multilinguismo — e faz o fine-tuning em 1 milhão de amostras sintéticas de instruções e chat do OpenHermes 2.5. O resultado é um modelo que segue instruções melhor que o base, mantendo-se pequeno o suficiente para rodar em hardware de consumo.
Especificações do Modelo
Propriedade | Valor
|---|---
Modelo base | Qwen/Qwen2.5-0.5B Parâmetros | 0.49B (0.36B não-embedding) Arquitetura | Transformers, RoPE, SwiGLU, RMSNorm, GQA (14Q/2KV) Comprimento de contexto | 32,768 tokens Licença | Apache 2.0 Framework | Transformers >= 4.37.0
Detalhes do Treinamento
- Dataset: teknium/OpenHermes-2.5 (1M amostras)
- Épocas: 3
- Taxa de aprendizado: 1e-5 (cosseno, 100 passos de warmup)
- Tamanho do batch: 40 (acumulação de gradiente 8)
- Precisão: BF16
- Comprimento da sequência: 4096 com empacotamento de amostras
- Otimizador: Adam (β=(0.9,0.999), ε=1e-8)
- Decaimento de peso: 0.01
- Construído com: Axolotl 0.4.1
Como Usar
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
"artificialguybr/Qwen2.5-0.5B-OpenHermes2.5",
torch_dtype="auto",
device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(
"artificialguybr/Qwen2.5-0.5B-OpenHermes2.5"
)Para chat, aplique o template de chat do Qwen2.5 via tokenizer.
Limitações
- Não é um modelo de chat pronto para uso — precisa de SFT/RLHF para uso conversacional em produção
- O desempenho varia por idioma e domínio
- Pode refletir vieses dos dados de treinamento do OpenHermes 2.5