Lhama 3.2 1B Synthia II Redmond

TL;DR

• NousResearch/Llama-3.2-1B ajustado em Synthia-v1.5-II para instruções a seguir
• Suporta 8 idiomas: en, de, fr, it, pt, hi, es, th
• Treinado com Axolotl por 3 épocas, LR 2e-05, programação cosseno
• Licença: Licença da comunidade Llama 3.2

O que este modelo faz

Llama 3.2 1B Synthia II Redmond é uma variante aprimorada do Llama 3.2 1B do Meta (por meio do lançamento da NousResearch), adaptado no Synthia-v1.5-II conjunto de dados de instruções. O modelo básico é um transformador multilíngue compacto desenvolvido para bate-papo estilo assistente, recuperação de agente e resumo, com uma janela de contexto de 128k e atenção de consulta agrupada. Esse ajuste fino mantém essas propriedades ao mesmo tempo em que visa fortalecer o comportamento de seguimento de instruções no conjunto de dados Synthia.

O tamanho de 1B o torna uma escolha prática para inferência local e de borda — o peso é de aproximadamente 2,5 GB no BF16 e funciona confortavelmente em hardware modesto, incluindo configurações somente de CPU. Isso o torna um playground útil para experimentar o ajuste de instruções no estilo Synthia sem o apetite VRAM de modelos maiores.

Detalhes do treinamento

Parâmetro | Valor

|---|---

Modelo básico | NousResearch/Llama-3.2-1B Conjunto de dados | migtissera/Synthia-v1.5-II Épocas | 3 Taxa de aprendizagem | 2e-05 Tamanho do lote | 1 (efetivo 8 via acumulação de gradiente) Otimizador | AdamW paginado de 8 bits Agendador LR | Cosseno, 100 passos de aquecimento Estrutura | Axolote 0.5.0 Transformadores | 4.46.1 PyTorch | 2.3.1+cu121 A infraestrutura de treinamento foi fornecida por RedmondAI, que dá ao modelo seu sufixo Redmond.

Como usar

Com transformadores

Carregue o modelo com o pipeline LM causal padrão (requer transformadores >= 4,43):

import torch
from transformers import pipeline

model_id = "artificialguybr/LLAMA3.2-1B-Synthia-II-Redmond"

pipe = pipeline("text-generation", model=model_id, torch_dtype=torch.bfloat16, device_map="auto")
print(pipe("Explain the water cycle in one paragraph"))

Você também pode carregá-lo diretamente com AutoModelForCausalLM e AutoTokenizer, então chame generate() com seu próprio decAutoTokenizers (temperatura, top-p, max_new_tokens). O repo envia pesos de tensores de segurança, tokenizer filgenerate()configuração de geração.

Notas de implantação

O modelo é marcado como compatível com inferência de geração de texto e endpoints, para que possa ser servido em plataformas de inferência padrão, bem como executado localmente.

Licença

Este modelo é regido pelo Licença comunitária do Llama 3.2 - uma licença comercial personalizada. Principais obrigações para redistribuição:

• Forneça uma cópia da licença com todos os materiais distribuídos
• Exibir "Built with Llama" em sites ou documentação relacionados
• Os nomes dos modelos derivados devem começar com "Llama"
• Cumpra a Política de Uso Aceitável da Meta

Erros e correções comuns

Erro | Causa | Correção | Fonte

|---|---|---|---

Sem memória durante o carregamento | Os pesos BF16 de parâmetro 1.2B precisam de ~ 2,5 GB | Use quantização de 4/8 bits ou descarregamento de CPU | Índice de tensores de segurança do repositório de modelo Geração lenta | Carga de precisão total em GPU fraca | Quantize ou use um max_new_tokens | - Produção não inglesa mais fraca | Modelo básico treinado principalmente em dados com alto teor de inglês | Ajustar ainda mais os dados do idioma alvo | Cartão de modelo básico

Perguntas frequentes

P: O que é o conjunto de dados Synthia-v1.5-II? R: Um conjunto de dados de ajuste de instruções da migtissera, hospedado no Hugging Face, usado aqui para adaptar o Llama 3.2 1B para melhor seguir as instruções.

P: Posso usar isso comercialmente? R: Sim, de acordo com os termos da Licença Comunitária do Llama 3.2, incluindo os requisitos de atribuição listados acima.

P: Como isso difere do Llama 3.2 1B básico? R: O modelo básico é a base pré-treinada. Esta variante foi ajustada no Synthia-v1.5-II com os hiperparâmetros acima e é distribuída como um ponto de verificação de transformadores pronto para uso.

P: De que hardware eu preciso? R: O peso do BF16 é de cerca de 2,5 GB, portanto, cerca de 4 GB de GPU VRAM livre (ou CPU RAM) é um ponto de partida seguro; a quantização reduz isso ainda mais.

Fontes

• Cartão modelo Abraçando o Rosto — detalhes de treinamento, hiperparâmetros, licença
• NousResearch/Llama-3.2-1B - cartão de modelo básico, fatos de arquitetura
• Conjunto de dados Synthia-v1.5-II - dados de treinamento
• Estrutura Axolote — infraestrutura de treinamento