Qwen 2 1.5B Synthia II Redmond GGUF

TL;DR:

• Quantização GGUF de um modelo Qwen 2 de 1.5B afinado em dados de conversa sintéticos do GPT-4
• Executa localmente via runtimes compatíveis com llama.cpp (llama.cpp, Ollama, LM Studio)
• Licença Apache 2.0, modelo instruct usando formato de prompt ChatML

O Que É Este Modelo

Este é um lançamento quantizado em GGUF do Qwen 2 1.5B Synthia II Redmond — um modelo instruct de 1,5 bilhão de parâmetros baseado no Qwen 2, afinado no dataset Synthia v1.5-II da migtissera. O dataset Synthia é construído a partir de conversas sintéticas geradas pelo GPT-4, uma abordagem de destilação que transfere raciocínio e hábitos de formatação no estilo GPT-4 para um modelo aberto muito menor.

A quantização foi feita pelo ArtificialGuyBR, com patrocínio de GPU da Redmond.AI, e visa o fine-tune instruct publicado em artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond. O resultado é um modelo em arquivo único que roda em hardware modesto sem necessidade de GPU.

Contexto do Treinamento

• Modelo base: Qwen 2 1.5B
• Dataset de fine-tune: migtissera/Synthia-v1.5-II (conversas sintéticas do GPT-4)
• Formato: ChatML (<|im_start|>, <|im_end|> roles)
• Licença: Apache 2.0
• Idioma: Inglês (conforme o model card)

A linhagem Synthia é uma família conhecida de destilação: o GPT-4 gera pares instrução-resposta de alta qualidade, e esses pares afinam modelos menores. Este lançamento aplica essa receita ao Qwen 2 na escala de 1.5B, mantendo o modelo pequeno o suficiente para casos de uso embarcados ou offline. O model card lista synthetic data e distillation entre suas tags, confirmando a abordagem de treinamento.

Como Usar

O arquivo GGUF funciona em qualquer runtime compatível com llama.cpp:

• llama.cpp — carregamento direto via CLI: llama-cli -m qwen-2-1.5b-synthia-ii-redmond.gguf -p "<|im_start|>\nuser\nHello <|im_end|>\n<|im_start|>\nassistant\n"
• Ollama — crie um Modelfile apontando para o arquivo GGUF (com TEMPLATE """<|im_start|>\nuser\n{{ .Prompt }}<|im_end|>\n<|im_start|>\nassistant\n""")
• LM Studio — arraste o GGUF para a pasta de modelos
• text-generation-webui — use o carregador GGUF com backend llama.cpp

O model card aponta explicitamente os leitores para os guias GGUF do TheBloke para detalhes de uso, incluindo como concatenar arquivos GGUF multi-parte quando um lançamento é dividido em várias partes. Se você é novo em arquivos GGUF, nosso guia para rodar LLMs localmente cobre o mesmo fluxo de trabalho entre runtimes.

Template de Prompt

Este é um modelo instruct ChatML. Prompts devem usar os roles ChatML:

<|im_start|>system
You are a helpful assistant.<|im_end|>
<|im_start|>user
{prompt}<|im_end|>
<|im_start|>assistant

A maioria dos runtimes modernos detecta a configuração do tokenizer do arquivo GGUF e aplica este template automaticamente; no uso bruto da CLI do llama.cpp você o passa manualmente.

Escolhendo uma Quantização

Arquivos GGUF quantizados trocam tamanho e memória por qualidade. A orientação padrão se aplica aqui como em nosso guia de quantização GGUF: comece com um K-quant de 4-bit ou 5-bit (Q4_K_M, Q5_K_M) para o melhor equilíbrio tamanho/qualidade, e só vá para Q8_0 se a memória permitir e você quiser qualidade próxima a fp16. A árvore de arquivos do repo lista as quantizações disponíveis por arquivo; escolha a que cabe no seu orçamento de RAM.

Com 1.5B parâmetros, mesmo as maiores quantizações ficam abaixo de alguns gigabytes, então o modelo permanece prático para laptops, VPS pequenos e deployments em single-board. Nenhum valor exato de VRAM é publicado no card, então meça no seu próprio hardware em vez de confiar em estimativas.

Licença

Apache 2.0, conforme metadados do model card. Isso permite uso comercial e não comercial, modificação e redistribuição com atribuição. A base Qwen 2 upstream e o dataset Synthia carregam licenças permissivas, por isso este fine-tune pode ser distribuído como está.

Erros Comuns e Correções

Erro | Causa | Correção

|---|---|---

Saída embaralhada ou repetitiva | Template de prompt errado | Aplique roles ChatML explicitamente; verifique a sobrescrita de template do runtime Geração lenta | Quantização pesada ou CPU-only | Use K-quant de 4-bit/5-bit; ative GPU offload nas configurações do runtime Arquivo multi-parte não carrega | Partes não concatenadas | Siga as instruções de concatenação do TheBloke referenciadas no model card

FAQ

P: É o mesmo que o Qwen 2 1.5B original? R: Não. É o Qwen 2 1.5B afinado no Synthia v1.5-II (dados sintéticos do GPT-4), depois quantizado para GGUF pelo ArtificialGuyBR.

P: Preciso de GPU? R: Não. Arquivos GGUF rodam em CPU via llama.cpp; GPU só acelera. O card não publica números exatos de VRAM.

P: Uso comercial é permitido? R: Sim, o modelo é licenciado Apache 2.0.

P: Quais idiomas ele suporta? R: O card lista Inglês. A base Qwen 2 upstream é multilíngue, mas o fine-tune Synthia visa conversa em inglês.

P: Onde está a versão não quantizada? R: artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond, que este lançamento GGUF quantiza.

Fontes

• HF model card: artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond-gguf — detalhes de quantização, licença, ponteiro de uso
• HF model card: artificialguybr/QWEN-2-1.5B-Synthia-II-Redmond — o fine-tune que este GGUF quantiza
• Dataset Synthia v1.5-II — os dados de treino sintéticos do GPT-4