Llama 3.2 1B Synthia: um modelo pequeno fine-tunado para seguir instruções

Modelos de linguagem grandes ganham os titulares, mas os mais práticos para experimentação local são os pequenos. Llama 3.2 1B Synthia I Redmond, da ArtificialGuyBR, é um fine-tune instrucional de 1B de parâmetros sobre o Llama 3.2 1B da Meta, treinado no dataset Synthia-v1.5-I com suporte de GPU da RedmondAI. Ele visa o ponto ideal entre footprint pequeno e capacidade conversacional utilizável.

• Fine-tunado no dataset instrucional Synthia-v1.5-I (20,7k exemplos) por 3 épocas.
• Baseado em NousResearch/Llama-3.2-1B, uma base multilíngue cobrindo en, de, fr, it, pt, hi, es e th.
• Lançado sob a Llama 3.2 Community License; sem configurações de inferência especiais além dos padrões de geração padrão.

O que este modelo faz

A base Llama 3.2 1B é um modelo multilíngue da Meta. Esta versão fine-tuna essa base no Synthia-v1.5-I, um dataset instrucional, com o objetivo de melhorar o quanto o modelo segue direções em cenários conversacionais e de seguir tarefas. Os usos pretendidos listados no model card são: seguir instruções, aplicações de IA conversacional e pesquisa e desenvolvimento em NLP. Não há palavras de ativação nem prompts de instância aqui — ao contrário de um LoRA de imagem, você o usa como modelo generativo de texto puro e o prompta diretamente.

Para mais modelos e projetos da ArtificialGuyBR, veja o índice de projetos ou explore a coleção de LLM.

Como foi treinado

O model card publica a receita completa de treino, útil para reproduzir ou estender o fine-tune:

• Dataset: Synthia-v1.5-I, 20,7k exemplos de treino
• Épocas: 3
• Taxa de aprendizado: 2e-05
• Batch size: 1 por dispositivo, 8 passos de acumulação de gradiente (total 8)
• Otimizador: Paged AdamW 8bit (betas 0,9/0,999, epsilon 1e-08)
• Agendador de LR: Cosine com 100 passos de warmup
• Framework: Axolotl 0.5.0, Transformers 4.46.1, PyTorch 2.3.1, Datasets 3.0.1

Este é o padrão dos fine-tunes pequenos e eficientes: dataset enxuto, treino curto e stack open-source padrão. O suporte de GPU da RedmondAI é creditado no card como a computação por trás do run.

Como usar

O modelo é um pipeline text-generation no Hugging Face. A forma mais rápida de rodá-lo em Python:

from transformers import pipeline

gen = pipeline("text-generation", model="artificialguybr/LLAMA3.2-1B-Synthia-I-Redmond")
print(gen("Explain in one sentence what fine-tuning does.")[0]["generated_text"])

O model card não publica configurações específicas de inferência, então comece com os padrões de geração padrão do Llama 3.2 1B e ajuste temperatura ou top-p a gosto. Com 1B de parâmetros, roda confortavelmente na CPU para gerações curtas e facilmente em GPUs de consumidor. Se você trabalha com outros modelos compactos, veja os LLM fine-tunes relacionados.

Licença

Este modelo é lançado sob o Llama 3.2 Community License Agreement. Os usuários devem cumprir todos os termos e condições especificados nessa licença, conforme consta no model card.

Erros comuns e correções

FAQ

É um modelo de visão ou imagem? Não. É um LLM de text-generation na categoria LLM / Text Generation.

Precisa de palavras de ativação? Não. LLMs instrucional-tuned são promptados diretamente — sem palavra de ativação ou prompt de instância.

Quais idiomas suporta? A base é multilíngue: en, de, fr, it, pt, hi, es e th.

Quem forneceu a computação de treino? A RedmondAI é creditada no model card pelo suporte de GPU.

Sources

• Hugging Face model card: artificialguybr/LLAMA3.2-1B-Synthia-I-Redmond — detalhes de treino, licença e uso pretendido.